2023优秀案例丨视觉孪生道路车辆全息轨迹平台

视觉孪生道路车辆全息轨迹平台

蒋如乔   杨亚宁   钱程扬

园测信息科技股份有限公司

随着社会经济的发展，城市交通系统日益复杂，交通管理面临着越来越多的挑战。同时人工智能技术和数字孪生理念的兴起，为智能交通管理带来了新的机遇。城市交通系统是一个动态复杂的系统，覆盖范围广，很难在真实物理空间全面掌握交通系统运行状况和车辆动态，因此可以基于数字孪生场景对现实交通进行模拟复刻，通过仿真、模拟、预测车辆运行，进而实现车辆监控以及轨迹预测等智能化分析，并最终辅助智能交通决策。

城市道路监控作为重要的信息采集基础设备，在城市道路管理过程中发挥着重要的作用。道路监控设备密集布设在道路交叉口、重点路段等，为城市安全提供了强有力的数据支撑。在重大安保、治安管理、刑事案件、交通违法等业务场景中，经常需要对特定车辆进行实时监控、追踪，确保目标车辆在监控视频中实时可见，能够密切追踪。

目前，部署在城市道路上的监控设备数量巨大，市级范围通常会达到几万路，且类别多样，有卡口、电子警察、枪机、球机、高空监控等。由于建设时间不一，有些监控只是具备传统拍摄能力，而有些已经在前端集成了AI识别能力，有些视角固定，有些能够通过云台操控来控制监控角度和范围。车辆视频监控存在以下问题：

1）初期纯粹依靠人力基于经验对监控视频进行筛查，这种方式费时费力，且容易漏看误查，往往事倍功半。

2）随着人工智能技术的兴起，AI识别在图像检索中得到广泛应用，但基于AI的图像目标识别要求有强大的算力支撑，对计算资源要求较高，现有设备在性能上无法满足实时追踪的需求。

3）当前主要的追踪算法还是以GIS缓冲区分析为主，按照固定半径的空间距离进行监控检索推荐，这种方式忽略了城市道路空间拓扑结构，搜索结果不够准确。

针对现有技术中存在的问题，本案例通过研究基于视频的GeoAI车辆轨迹分析技术，根据路网、监控设备的空间拓扑关系构建城市路网、监控设备有向图，基于AI技术实现道路监控视频中的车辆检测和追踪，最终融合识别结果和空间有向图实现车辆轨迹分析，辅助实现数字孪生场景中全息路口建设，为更深入的如流量分析、事故分析、拥堵分析等应用提供基础算法能力支撑。

1. 基于视频的车辆识别与轨迹提取模型

融合交通灯态信息自动筛选关注区域，以车辆运行区域为重点关注区域进行监控视频检测；利用多目标跟踪技术进行视频中的车辆识别、车牌识别和追踪；在车辆追踪过程中实现图像坐标和地理坐标的转换工作，最终提取车辆的实际行驶轨迹；依靠空间控制点实现多路视频融合，对同一路口不同角度的多路监控视频同时进行车辆检测与轨迹分析。该技术结合交通灯状态，对摄像头视域进行分析，划分视频画面检测区域，实现同一路口多路视频检测结果的去重和视频盲区补充，从而达到车辆在多摄像头中相对连续的轨迹追踪，模型如图1所示。

2. 基于图像的二三维坐标映射

（1）二维地理与视频坐标互映射

基于图像单应性转换可实现视频图像平面到地理空间平面的映射，验证该技术实现的转换精度，针对坐标偏移和坐标锯齿分布问题进行优化，以实现车辆轨迹坐标转换精度满足车道级映射的需求。

（2）基于相机参数精确标定的三维空间投影

以图像本身特征为输入，精确标定相机内外参数，重建相机投影模型，实现视频空间与三维地理空间的精确映射，可以满足三维场景视频融合等场景应用。相关技术流程如图2所示。

3. 车道转向分析及车流量统计分析模型

基于车辆轨迹检测算法模型，提取车辆地理轨迹数据，研究车辆转向类型，结合城市路网、设备有向图，实现车辆抵达路口预测及监控设备提前调阅。同时，根据车辆轨迹聚类进一步分析车道类型、车道转向流量统计等：以路口单个朝向的监控车辆轨迹数据为输入，分析该路口朝向的车道数量、各车道类型（左转、直行、右转），以及计算各车道在某个时间段内的分转向车流量。相关模型如图3所示。

1. 基于视频的车辆轨迹检测算法

基于计算机视觉、深度学习、图像分析、GeoAI等技术，实现从监控图像中自动识别车辆，包括车辆类型、车辆在图像中的位置、车牌信息等，在此基础上进行视频流的车辆轨迹跟踪，识别不同视频帧画面中的相同车辆对象，获取车辆在连续视频帧中的图像轨迹。算法模型最终可满足单路摄像头的实时检测效率，并发情况下可支持6路监控视频同时检测，检测延迟为视频时空的5倍，成果如图4所示。

2. 二维地理与视频坐标互映射

传统的车辆轨迹检测只能获取车辆在视频画面中的图像坐标，图像坐标只能表示局部信息，不具备表达车辆真实地理位置的能力，本案例针对图像画面与真实地理空间的转换关系，实现图像坐标与真实地理坐标的互映射，只需要预先选取图像与地图空间四对位置对应的控制点，即可实时转换图像任意位置坐标到地理空间。这种方式使用简单，且满足车道级坐标转换需求，能够实现以单幅视频为输入，获取车辆在真实地理空间中的位置轨迹数据，为构建数字孪生路口提供技术支撑，成果如图5所示。

3. 基于相机参数精确标定的三维空间投影

二维坐标映射实现简单，只能实现平面到平面的转换，在开阔道路场景应用具有优势，但真正的数字孪生场景是真实三维空间，只计算车辆的二维平面位置还远远不够。本案例从图像出发，基于视频图像中的平行线特征，精确计算监控相机的内外参数，以此恢复相机模型。在此基础上便可建立视频画面与真实三维空间的一一映射关系，实现视频画面到三维空间的投射，结合真实三维模型，便可将视频图像中任意位置与三维空间建立映射关系。这种方式相较传统量测级相机标定，使用简单，精度也能满足基本需求，可以辅助应用在视频融合、三维目标定位等应用场景中。

4. 基于视频的全息路口建设应用

全息路口是基于数字孪生技术，将城市道路上的交通要素进行全息数字化还原，进而为交通精细化治理提供数据支撑。交通路口精细化治理，首先要获得路口的交通信息，如流量、排队长度等交通参数信息，压线、路口溢出等交通事件信息，车辆型号、车牌等车辆信息，以及车辆实时轨迹信息。传统的全息路口解决方案大都依赖于前端设备，如雷视一体机、微波雷达等，虽然精度较高，但价格昂贵，且有些场景下需要开挖施工，在现有城市环境中很难全域展开。而路口监控在现有交通系统中覆盖域广，且近年来智能监控也逐渐广泛应用，大量的监控视频已然涵盖了很多重要信息，结合现在日益成熟的AI算法，实现从视频图像中提取路口交通信息具备实施可行性与优势。因此本案例结合计算机视觉、深度学习、图像分析、GeoAI等技术，进行基于监控视频的车辆信息提取、车辆轨迹检测、地理轨迹映射，以获得交通路口车辆地理轨迹基础数据，基于这些基础轨迹数据可进一步分析提取更多交通参数、交通信息等，据此便可用于全息路口场景建设。

1.社会经济效益

（1）提升交叉路口通行效率

以交通监控视频为支撑，融合计算机视觉、深度学习技术，获取多项交通指标，基于实时数据智能分析车辆个体行为、结合历史数据分析群体行为，发现车辆运行潜在规律，为优化路口调控方案提供决策支持，实现交通拥堵缓解，通行能力提升。

（2）提升道路交通安全

缓解交通拥堵、提升道路通行能力是降低交通事故发生率的有效手段之一。通过对车辆实时轨迹、历史行为的智能化分析，能够发现交通安全问题共性及诱发条件，挖掘易导致交通事故的不安全因素，提出针对性的改善措施，使安全问题得到有效防范，提升道路交通安全。

（3）提升现有设备资源利用率

对现有监控视频数据进行 AI 分析、信息挖掘，减少新设备的安装部署，能够提高 设备利用率，避免重复投入，提升交通管理部门运营管理成本，同时减少对社会环境的 干扰。与此同时，通过数据挖掘提升数据价值，进一步深化应用和信息挖掘，提升整个 交通系统的运行效率。

案例成果已应用于智慧文旅相关项目中。在项目中引入轨迹预测的相关技术，用于测景点附近的车流量预测及车辆疏导，为旅游景点路径规划、人员密集度提醒等提供帮助。提升了车辆路口转向意图的预测，提供了车辆轨迹行驶过程中可能抵达各个目的地的概率分布，技术稳定可靠，得到了实际应用。

《2023智慧城市 · 优秀应用案例集》已正式开启征订，欢迎各位新老朋友征订！