Video vehicle tracking and speed measurement optimization based on YOLO network and wavelet noise reduction
-
摘要: 为获取准确有效的交通动态信息，提出一种源于YOLOv5的多目标检测算法，并融入注意力模块改进网络，结合DeepSORT实现长时间跟踪，同时运用摄像机标定方式获取真实运动轨迹。针对复杂环境下噪声等导致的测速质量下降问题，对原始车辆轨迹信号运用小波阈值降噪算法来减少噪声，降噪后的车速波动范围更小，车速标准差最高降低了44%，信噪比最高提升了2.37倍，速度相较降噪前更稳定，表明利用小波滤波对轨迹信号降噪可以大幅提高车速测量的质量，使得后续对交通车辆行为的判定分析更为精准。Abstract: In order to obtain accurate and effective traffic dynamic information, we propose a multi-target detection algorithm from YOLOv5. The attention module is incorporated to improve the network, and by combination with DeepSORT, a long time tracking is achieved. And at the same time, the camera calibration is used to obtain the real movement trajectory. For the speed measurement quality degradation caused by noise in complex environments, the wavelet threshold noise reduction algorithm is applied to the original vehicle trajectory signals to reduce noise. After noise reduction, the speed fluctuation range is smaller, the maximum vehicle speed standard deviation is reduced by 44%, the signal to noise ratio is increased by 2.37 times at most and the speed is more stable than that before noise reduction, which indicates that noise reduction of the trajectory signals using wavelet filtering can significantly improve the quality of speed measurement and make the subsequent determination and analysis of the traffic vehicle behavior more accurate.
-
近些年来，智慧交通系统（intelligent traffic system，ITS）的研究热度也使得现代交通系统逐渐向有效、准确、多样化的趋势发展。获取精确丰富的动态交通数据信息是ITS的实现关键，也是交通监管领域对数据分析、交通情况预测以及交通监管的重要组成前提[1]。对比各类交通数据信息，视频数据因其连续性好、直观、可信度高的特点常作为主要交通信息来源被解析计算，这也是现阶段采集交通动态信息的主要手段[2]。
为了对目标检测识别并进行长时间的跟踪，杨剑锋等[3]使用了相关滤波算法优化了目标跟踪框架，利用目标物周围未被遮挡的局部位置信息推演预测其实际位置，实现对目标的长期检测追踪。谢彬等[4]提出了一种基于统计理论的轨迹预测算法，该算法通过聚类车辆真实轨迹实现轨迹预测。林广宇等[5]通过采集的视频监控数据对车辆轨迹曲线拟合，融合该曲线与真实运动轨迹作为预测轨迹；而罗成等[6]采用二次B样条拟合的思路，该算法能够生成更多点来拟合目标车辆轨迹，从而解决车辆转弯时的轨迹线完全不圆滑的问题。李永上等[7]采用注意力机制来进一步提升YOLOv5网络目标检测性能的方式，从而实现了更高准确度的交通视频车流量监控。
相较于上述引例针对单目标跟踪算法框架的优化与改进，本文使用最新的YOLOv5目标检测与DeepSORT多目标跟踪相结合的算法，实现了对交通车辆的多目标检测与跟踪。而针对多目标下目标检测框不稳定、突然丢失的现象，提出使用小波阈值降噪算法[8]对车辆轨迹坐标进行优化，并将卷积注意力模块（convolutional block attention module，CBAM）融入YOLOv5目标检测，提高了车速测量的精确性。
1. 车辆目标跟踪
车辆检测跟踪主体流程如图1所示。文中对车辆目标的检测识别使用YOLOv5网络，同时运用DeepSORT多目标跟踪算法预测车辆在当前帧的位置，以此来解决可能出现的检测框不稳定、目标丢失等问题。追踪主要采用匹配目标检测框与系统历史轨迹的方式，结合目标框的尺寸大小等因素，主要以目标框交叠率（intersection over union，IOU）Iou为参考指标数据，以此长期追踪情况复杂的道路上的各个车辆。
图 1 车辆检测跟踪主体流程
下载:
全尺寸图片
1.1 YOLOv5算法
为了提升目标检测的速度，使其能到达实时的效果，Joseph于2016年提出YOLO[9]算法，处理图片速度为45张/s，是首个端到端的目标检测算法。最新的YOLOv5是目前目标检测中速度最快的算法，且精度也与YOLOv4模型相当[10]。模型相较于上代的YOLOv4框架改进不大，主要在数据增强、选择损失函数以及选择激活函数方面进行了改进。
YOLOv5网络在检测开始对数据集使用了Mosaic数据增强的方法，并加入了自适应的学习锚框，同时使用Sigmoid与Leaky ReLU作为新的激活函数，同时将坐标值损失函数由CIOU(complete intersection of union)改为GIOU(generalized intersection of union)，测试表明，其在交通监测与自动驾驶等多目标、复杂环境的目标检测识别上的效果很好。
1.2 注意力模块融合改进
注意力机制基于人类视觉对目标检测识别的处理机制，对整体图像的感兴趣区域更加关注，忽略不太重要的非感兴趣区域。本文采用卷积注意力模块CBAM改进对交通车辆的多目标检测。CBAM主要由2个子模块组成，其中通道注意力模块(channel attention module，CAM)负责过滤网络的各个通道，提高有效通道的比重，降低其他通道的比重；空间注意力模块(spartial attention module，SAM)负责在空间上进行过滤，提高重要位置的比重，降低其他位置的比重。
图 2 CAM流程下载:
全尺寸图片
图 3 SAM流程下载:
全尺寸图片
CAM和SAM的具体流程可描述为
$$ {M}_{c}\left(F\right)=\sigma (\mathrm{M}\mathrm{L}\mathrm{P}\left(\mathrm{A}\mathrm{v}\mathrm{g}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}\left(F\right)\right)+\mathrm{M}\mathrm{L}\mathrm{P}(\mathrm{M}\mathrm{a}\mathrm{x}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}\left(F\right)\left)\right) $$ $$ {M}_{s}\left(F\right)=\sigma \left({f}^{7\times 7}\left(\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}(\mathrm{A}\mathrm{v}\mathrm{g}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}\left(F\right),\mathrm{M}\mathrm{a}\mathrm{x}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}(F\left)\right)\right)\right) $$ 式中：F为输入特征，MLP（multi-layer perceptron）指激活函数为Relu的两层感知机神经网络，
$ \sigma $ 为激活函数，AvgPool表示全局均值池化（global average pooling），MaxPool表示全局最大池化（global max pooling），concat表示通道拼接，$ {f}^{7\times 7} $ 为7×7的卷积操作，$ {M}_{{\rm{c}}} $ 为CAM的输出，$ {M}_{{\rm{s}}} $ 为SAM的输出。根据实验，CBAM选择串行组合CAM和SAM的方式，先在通道上进行过滤，再在空间上进行过滤，本文将CBAM应用在YOLOv5网络的Backbone部分，利用注意力机制提高了网络性能，改进效果较好。
1.3 DeepSORT多目标跟踪算法
带有深度关联特征的DeepSORT[11]算法，作为对SORT算法的改进与衍生，在原有目标检测精度的基础上进一步提高了目标追踪精度。陈佳倩等[12]基于该算法提高了车流量统计精度。跟踪过程首先输入检测结果得到的3个参数bounding box、confidence以及feature。在提取深度信息特征时，使用confidence初步筛选候选框，而对跟踪器的匹配部分，则将bounding box与feature(ReID)结合进行计算。使用卡尔曼滤波器对匹配度预测后，最后使用级联匹配以及IOU回归并搭配匈牙利算法进行目标匹配，多目标跟踪步骤如图4所示。
图 4 跟踪流程框架下载:
全尺寸图片
1.4 摄像机标定获取真实运动轨迹
在现代交通视频监控中，摄像机标定技术将图像中的目标位置转换为现实三维位置，是后续能够智能化精准分析判定交通车辆行为的基础。图5为相机成像模型。如图5所示，李勃等[13]采用使用路况PTZ(pan/tilt/zoom)摄像机自标定方法得到车辆在真实世界坐标系下的运动坐标，仅需知道相机高度，就可预测估计其真实运动轨迹。
图 5 相机成像模型下载:
全尺寸图片
将车辆从三维世界坐标逆变换到二维成像坐标系的步骤如下：
1)把世界坐标系
${X}_{{\rm{w}}}-{Y}_{{\rm{w}}}-{Z}_{{\rm{{\rm{w}}}}} $ 映射至${X}_{{\rm{c}}s}-{Y}_{{\rm{c}}s}-{Z}_{{\rm{c}}s}$ 坐标系，即把$ {X}_{{\rm{w}}}-{Y}_{{\rm{w}}}-{Z}_{{\rm{{\rm{w}}}}} $ 坐标系绕$ {Z}_{{\rm{{\rm{w}}}}} $ 旋转$ p $ 角，顺时针绕$ {X}_{{\rm{{\rm{w}}}}} $ 轴旋转$t+{\text{π}}/2$ 角，沿光轴平移$ l $ ，将${X}_{{\rm{c}}s}- {Y}_{{\rm{c}}s}-{Z}_{{\rm{c}}s}$ 旋转$ s $ 至$ {X}_{{\rm{c}}}-{Y}_{{\rm{c}}}-{Z}_{{\rm{c}}} $ 坐标系，如下：$$ \begin{split} &\qquad\qquad\qquad \left[\begin{array}{*{20}{c}} {X}_{{\rm{c}}s} \\ {Y}_{{\rm{c}}s} \\ {Z}_{{\rm{c}}s} \\ 0 \end{array} \right]=\\& \left[\begin{array}{*{20}{c}} \mathrm{c}\mathrm{o}\mathrm{s}\left(p\right) &-\sin(p) & 0& 0 \\ -\sin(t)\sin(p) &-\sin(t)\cos(p) &-\cos(t) &0 \\ \cos(t)\sin(p) &\cos(t)\cos(p) &-\sin(t) &l \\ 0 & 0& 0&1 \end{array}\right]\times\left[\begin{array}{*{20}{c}} {X}_{w}\\ {Y}_{w}\\ {Z}_{w}\\ 0\end{array}\right] \end{split} $$ (1) $$\left[\begin{array}{*{20}{c}} {X}_{{\rm{c}}}\\ {Y}_{{\rm{c}}}\\ {Z}_{{\rm{c}}}\\ 0 \end{array} \right]= \left[\begin{array}{*{20}{c}} \cos(p)&-\sin(s)&0&0\\ \sin(s)&\cos(s)&0&0\\ 0&0&1&0\\ 0&0&0&1 \end{array}\right]\\ \left[\begin{array}{*{20}{c}} {X}_{{\rm{c}}s}\\ {Y}_{{\rm{c}}s}\\ {Z}_{{\rm{c}}s}\\ 0\end{array}\right] $$ (2) 式(1)和式(2)所需参数减少到仅仅1个量，简化了坐标系和摄像机坐标系的变换，降低了相机标定难度。
2)由于摄像机是通过透视变换原理摄像，如式(3)所示，摄像机坐标下的物体坐标可以换算至二维成像平面下。
$$ \left[\begin{array}{*{20}{c}} u\\ v\\ 1 \end{array} \right]=\frac{1}{Z_{\rm{c}}} \left[\begin{array}{*{20}{c}} -f&0&0&0\\ 0&-f&0&0\\ 0&0&1&0\\ 0&0&0&1 \end{array}\right]\\ \left[\begin{array}{*{20}{c}} {X}_{{\rm{c}}}\\ {Y}_{{\rm{c}}}\\ {Z}_{{\rm{c}}}\\ 1\end{array}\right] $$ (3) 式中
$ f $ 为镜头有效焦距。3) 综合式(1)～式(3)，可将道路平面上的车辆坐标
$ \left({Z}_{{\rm{w}}}=0\right) $ 映射到最终成像平面上。$$ u=\frac{\begin{array}{c}-f[\mathrm{cos}\left(p\right)\mathrm{cos}\left(s\right){X}_{{\rm{w}}}-\mathrm{sin}\left(p\right)\mathrm{cos}\left(s\right){Y}_{{\rm{w}}}+\\ \mathrm{sin}\left(t\right)\mathrm{sin}\left(p\right)\mathrm{sin}\left(s\right){X}_{{\rm{w}}}+\mathrm{sin}\left(t\right)\mathrm{cos}\left(p\right)\mathrm{sin}\left(s\right){Y}_{{\rm{w}}}]\end{array}}{\mathrm{cos}\left(t\right)\mathrm{sin}\left(p\right){X}_{{\rm{w}}}+\mathrm{cos}\left(t\right)\mathrm{cos}\left(p\right){Y}_{{\rm{w}}}+l} $$ $$ v=\frac{\begin{array}{c}-f[\mathrm{cos}\left(p\right)\mathrm{sin}\left(s\right){X}_{{\rm{w}}}-\mathrm{sin}\left(p\right)\mathrm{sin}\left(s\right){Y}_{{\rm{w}}}-\\ \mathrm{sin}\left(t\right)\mathrm{sin}\left(p\right)\mathrm{cos}\left(s\right){X}_{{\rm{w}}}-\mathrm{sin}\left(t\right)\mathrm{cos}\left(p\right)\mathrm{cos}\left(s\right){Y}_{{\rm{w}}}]\end{array}}{\mathrm{c}\mathrm{o}\mathrm{s}\left(t\right)\mathrm{s}\mathrm{i}\mathrm{n}\left(p\right){X}_{{\rm{w}}}+\mathrm{cos}\left(t\right)\mathrm{cos}\left(p\right){Y}_{{\rm{w}}}+l} $$ 2. 车辆轨迹优化
由于现实测速环境非常复杂、车辆轨迹预测过程存在各种误差，导致测定的车辆轨迹中产生了各种噪声，视频车辆测速中需要针对该情况进行信号降噪预处。贲晛烨等[14]基于卡尔曼滤波预测交通视频车辆轨迹坐标，本文采用小波滤波降噪的方法对轨迹信号进行降噪，从而提高测速精度。
2.1 小波阈值降噪原理
小波变换降噪广泛应用于信号降噪领域中，时频特性良好，对信号从时间和频域这2个方面及逆行局域变换，可以对信号进行多尺度细化分析。
含有噪声的信号模型如下：
$$ s\left(t\right)=f\left(t\right)+n\left(t\right) $$ 式中：s(t)为初步获取到的信号，其中包含有效信息和无效噪声；f(t)为有效信号；n(t)为无效噪声信号。
针对视频车辆轨迹点进行离散采样，分别在X坐标和Y坐标上各得到N点离散信号，对其小波变换公式为
$$ W{T}_{f}\left(j,k\right)={2}^{-\tfrac{j}{2}}\sum _{0}^{N-1}f\left(n\right)\psi ({2}^{-j}n-k) $$ 式中：
$ W{T}_{f}\left(a,\tau \right) $ 为小波系数，$ \psi ({2}^{-j}n-k) $ 为小波母函数，$ j $ 为离散化的尺度系数，$ k $ 为离散化的时延参数。其逆小波变换为
$$ f\left(n\right)=\frac{1}{A}\sum _{j,k}W{T}_{f}\left(j,k\right){\psi }_{j,k}\left(n\right) $$ 式中A为由
$ {\psi }_{j,k}\left(n\right) $ 构成的小波框架的界。小波变换后，轨迹有效信号往往处于低频段，噪声信号主要分布在高频段，令模值较小的低频部分设为0，消除噪声部分，保留高频部分的有效轨迹信号，最后使用逆变换重构信号，得到优化后的轨迹[15-16]。
由于车速测定对信号连续性要求较高，因此采用软阈值函数：
$$ \widehat{W}{_{j,k}}=\left\{\begin{split}&{\rm sgn}\left({W}_{j,k}\right)\left(\left|{W}_{j,k}\right|-\lambda \right),\quad\left|{W}_{j,k}\right|\geqslant \lambda \\ &0,\quad \left|{W}_{j,k}\right| < \lambda \end{split}\right. $$ 式中：
$ {W}_{j,k} $ 为初始信号变换后的小波系数，$\widehat{W}{_{j,k}}$ 为经过阈值降噪后的估计小波系数，j为分解尺度，k为系数序号，$ \lambda $ 为根据信号特征选取的小波阈值，$ \mathrm{s}\mathrm{g}\mathrm{n}\left(\right) $ 为符号函数。软阈值函数连续性好，处理后的轨迹信号平滑，适合车辆轨迹的降噪[8]。
2.2 基于小波降噪的车辆轨迹优化
基于YOLOv5的视频车辆检测方法每一帧会检测出车辆目标，本文运用小波变换平滑车辆轨迹点集。
小波阈值选取以下4种方法进行实验测试：
1) 无偏风险估计阈值(Rigsure)
升序排序每个元素取绝对值后的信号序列，对每个元素取平方，新信号序列为
$$ f\left(k\right)={\left(\mathrm{s}\mathrm{o}\mathrm{r}\mathrm{t}\left(\left|s\right|\right)\right)}^{2},\;\;(k=\mathrm{0,1},\cdots ,N-1) $$ 求每个元素产生的风险：
$$ \mathrm{R}\mathrm{i}\mathrm{s}\mathrm{h}\left(k\right)=\frac{1}{N}[N-2k+\sum _{i=1}^{j}f\left(j\right)+(N-k\left)f\right(N-k\left)\right] $$ 式中：N为信号序列长度，
$ f\left(j\right) $ 为新的信号序列元素，k为当前元素的下标。由风险曲线
$ \mathrm{R}\mathrm{i}\mathrm{s}\mathrm{h}\left(k\right) $ ，记最小风险点对应下标为k，则阈值$ \lambda $ 为$$ \lambda =\left|s\left(k\right)\right| $$ 2) 固定全局阈值(Sqtwolog)
阈值
$ \lambda $ 固定如下：$$ \lambda =\sqrt{2\mathrm{l}\mathrm{o}\mathrm{g}\left(N\right)} $$ 式中N为信号序列长度。
3) 极大极小阈值(Minimaxi)
阈值
$ \lambda $ 如下：$$ \lambda =\left\{\begin{split}&0.393\;6+0.182\;9\left(\dfrac{\mathrm{ln}N}{\mathrm{ln}2}\right),\quad N > 32\\ &0,\quad N\leqslant 32\end{split}\right. $$ 式中N为信号序列长度。
4) 启发式阈值(Heursure)
根据指标
$\beta $ 和$\alpha $ ，1选择相应阈值：$$ \alpha=\sqrt{\frac{1}{N}{\left(\frac{\mathrm{ln}N}{\mathrm{ln}2}\right)}^{3}} $$ $$ \beta=\frac{1}{N}\left(\sum _{j=1}^{N}{\left|{s}_{j}\right|}^{2}-N\right) $$ $$ \lambda =\left\{\begin{split}&\sqrt{2\mathrm{l}\mathrm{o}\mathrm{g}\left(N\right)},\quad \beta < \alpha\\ &{\rm min}\Bigg(\sqrt{2\mathrm{log}\left(N\right)},\;{\rm{Rigsure}}(s)\Bigg),\quad \beta\geqslant \alpha\end{split}\right. $$ 式中：N为信号序列长度，
$ \mathrm{R}\mathrm{i}\mathrm{g}\mathrm{s}\mathrm{u}\mathrm{r}\mathrm{e}\left(s\right) $ 为信号序列s的无偏风险估计阈值。3. 实验结果分析
3.1 实验环境与训练策略
本文在训练过程中需要处理大量的图片，对性能要求较高，具体的软硬件环境如下。CPU：Inter i7-7700HQ 2.80 GHz；GPU：GTX 1050Ti；内存：16 GB；编程语言：Python3.7；CUDA：Cuda10.2；Cudnn：Cudnn7.6.5；深度学习框架：Pytorch。
本次实验使用的数据集主要为MS COCO2017和UA-DETRAC车辆检测跟踪数据集，为适应复杂交通场景下对常见道路目标的检测，需对数据集标注信息进行预处理，筛选去除不必要的标注信息，修改数据集标签为“person”、“car”、“truck”。实验使用深度学习框架Pytorch1.5对融合了注意力模块的YOLOv5算法进行训练，训练模型选择体积最小的YOLOv5s，迭代次数为500次。训练时，图片批次大小设置为16，初始学习率为0.001，并采用自适应矩估计（adam）优化器优化模型。关注CBAM块在Backbone层不同位置对模型训练效果的影响，每迭代100次记录当前的识别精度，从而找到对特征提取增强效果最优的位置。
3.2 车辆跟踪
实验采用Yolov5多目标检测网络，结合Deepsort检测视频中的各个目标车辆，根据视频目标前后帧特征关系，关联匹配各个目标的轨迹，实现车辆目标跟踪，并获得初始轨迹点集，结果如图6所示。其中将车辆标记为灰框，并分为卡车(truck)和小车(car)两大类，将行人(person)标记为黑框，同时显示所有目标的位置ID、类型和速度。
图 6 车辆检测跟踪图下载:
全尺寸图片
3.3 注意力模块改进网络
因为本项目主要针对车辆检测跟踪，故可采用卷积注意力模块改进对交通车辆的多目标检测。如图7所示，将注意力模块应用于网络层各位置进行训练，对比以下4种网络精度的提升效果，将CBAM块置于Backbone部分位置2时车辆检测识别效果是最好的。
图 7 网络检测识别对比下载:
全尺寸图片
3.4 轨迹优化
在车辆目标轨迹检测跟踪的过程中，由于现实环境复杂以及车辆检测存在误差等，车辆轨迹往往呈现为跳跃抖动的不平滑折线，如图8所示。测得的车辆速度波动也较大。
图 8 车辆轨迹下载:
全尺寸图片
图9~图10中列举了2辆车的运动轨迹。图9~图10中，黑线为原始轨迹信号，灰线为小波降噪优化后的轨迹信号，优化后可见轨迹平滑了很多，改善了轨迹抖动、车速波动大的问题。
图 9 车辆1轨迹降噪前后的X和Y坐标信号对比下载:
全尺寸图片
图 10 车辆2轨迹降噪前后的X和Y坐标信号对比下载:
全尺寸图片
3.5 优化结果对比
对测试场景中获取的车辆轨迹点进行坐标转换，获取车辆在实际三维坐标系中的坐标，分别采用不同小波基和阈值进行小波降噪后计算速度。
$$ v=\frac{\Delta {S}}{\Delta t}=\frac{d\times p}{m-n} $$ 式中：d为该车在第m帧和第n帧的质心点距离，p为视频帧数。
计算各个降噪方法的车速标准差：
$$ s=\sqrt{\frac{\displaystyle\sum _{i-1}^{n}{({x}_{i}-{\bar x})}^{2}}{n-1}} $$ 计算各个降噪方法的车速信号信噪比：
$$ R_{{\rm{SN}}}=10\mathrm{log}\frac{{P}_{s}}{{P}_{n}} $$ 式中：
$ {P}_{s} $ 为实际车速信号的功率，$ {P}_{n} $ 为噪声信号的功率。如图6和图8，该车在测速期间实际维持30 km/h的速度，这里主要计算10种小波族(db4、db8、db12、db16、sym4、sym8、ribo1.3、ribo2.6、bior2.6和bior5.5)分别采用4种阈值规则（Rigsure、Sqtwolog、Minimax和Heursure）时的降噪方法对车速标准差的优化，没有用小波降噪时的车速标准差为11.37，实验测试结果如表1。
表 1 车速标准差对比表dB 小波族 Rigsure Sqtwolog Minimaxi Heursure 原数据 11.37 11.37 11.37 11.37 db4 3.71 3.71 11.37 11.85 db8 3.18 3.18 11.37 18.90 db12 5.65 5.65 5.65 8.34 db16 4.73 4.73 4.73 10.71 sym4 4.24 4.24 11.37 13.61 sym8 4.01 4.04 11.37 11.29 ribo1.3 3.52 3.52 11.37 12.58 ribo2.6 4.05 4.05 11.37 12.39 bior2.6 3.99 6.13 11.37 12.92 bior5.5 4.55 8,42 11.37 19.61 对车速变化的车辆进行车速测定，计算8种小波族（db4、db8、sym4、sym8、ribo1.3、ribo2.6、bior2.6和bior5.5）分别采用4种阈值规则（Rigsure、Sqtwolog、Minimax和Heursure）时的降噪方法对信号信噪比的优化，没有用小波降噪时的信号信噪比为2.86 dB，实验测试结果如表2。
表 2 车速信号信噪比对比表dB 小波族 Rigsure Sqtwolog Minimaxi Heursure 原数据 2.86 2.86 2.86 2.86 db4 8.87 8.81 2.86 3.44 db8 8.32 8.32 8.32 3.14 sym4 8.95 8.95 2.86 2.55 sym8 8.64 8.71 8.71 3.08 ribo1.3 9.56 9.66 2.67 2.19 ribo2.6 8.69 8.69 8.69 4.41 bior2.6 8.43 8.43 8.43 3.97 bior5.5 9.14 9.14 2.86 3.51 从表1和表2的数据可知，未经优化的车辆轨迹波动跳跃现象严重，因此由此轨迹求得的车速具有很大的波动性，存在大量噪声。在针对车辆轨迹的多种小波滤波降噪优化方式中，对于车速标准差指标，使用db8小波族结合Rigsure和Sqtwolog阈值规则效果较好，其车速标准差降低了44%；对于车速信号信噪比指标，使用ribo1.3小波族结合Sqtwolog阈值规则效果较好，其信噪比最高提升了2.37倍。小波降噪后测得的车辆速度比优化前平稳了很多，表明对交通视频中利用小波滤波降噪可以大大提高车速测定质量。
4. 结论
本文使用了一种以YOLOv5目标检测和DeepSORT多目标跟踪为主的长时间车辆目标跟踪算法来实时获取车辆的运动轨迹，并融入注意力模块来优化YOLO网络的检测精度，采用小波阈值降噪算法来优化车辆轨迹信号。观察图6和图8中的车辆轨迹降噪前后实验结果，以及表1～表2中的速度标准差与信噪比数据在降噪后明显得到改善，表明利用小波滤波降噪可以大大提高车速测定质量。本文算法对车速测量的优化仍有提升空间，未来工作将研究在保证不降低实时跟踪能力的情况下，继续提升轨迹优化以及车速精准测量的能力。
-
图 1 车辆检测跟踪主体流程
下载:
全尺寸图片
图 2 CAM流程
下载:
全尺寸图片
图 3 SAM流程
下载:
全尺寸图片
图 4 跟踪流程框架
下载:
全尺寸图片
图 5 相机成像模型
下载:
全尺寸图片
图 6 车辆检测跟踪图
下载:
全尺寸图片
图 7 网络检测识别对比
下载:
全尺寸图片
图 8 车辆轨迹
下载:
全尺寸图片
图 9 车辆1轨迹降噪前后的X和Y坐标信号对比
下载:
全尺寸图片
图 10 车辆2轨迹降噪前后的X和Y坐标信号对比
下载:
全尺寸图片
表 1 车速标准差对比表
dB 小波族 Rigsure Sqtwolog Minimaxi Heursure 原数据 11.37 11.37 11.37 11.37 db4 3.71 3.71 11.37 11.85 db8 3.18 3.18 11.37 18.90 db12 5.65 5.65 5.65 8.34 db16 4.73 4.73 4.73 10.71 sym4 4.24 4.24 11.37 13.61 sym8 4.01 4.04 11.37 11.29 ribo1.3 3.52 3.52 11.37 12.58 ribo2.6 4.05 4.05 11.37 12.39 bior2.6 3.99 6.13 11.37 12.92 bior5.5 4.55 8,42 11.37 19.61 表 2 车速信号信噪比对比表
dB 小波族 Rigsure Sqtwolog Minimaxi Heursure 原数据 2.86 2.86 2.86 2.86 db4 8.87 8.81 2.86 3.44 db8 8.32 8.32 8.32 3.14 sym4 8.95 8.95 2.86 2.55 sym8 8.64 8.71 8.71 3.08 ribo1.3 9.56 9.66 2.67 2.19 ribo2.6 8.69 8.69 8.69 4.41 bior2.6 8.43 8.43 8.43 3.97 bior5.5 9.14 9.14 2.86 3.51 -
[1] 钱寒峰, 林航飞. 动态交通信息的分类和采集方式分析[J]. 黑龙江科技信息, 2007, 41(8): 60, 81. [2] 李俊彦, 宋焕生, 张朝阳, 等. 基于视频的多目标车辆跟踪及轨迹优化[J]. 计算机工程与应用, 2020, 56(5): 194−199. doi: 10.3778/j.issn.1002-8331.1904-0191 [3] 杨剑锋, 张建鹏. 基于核相关滤波的长时间目标跟踪[J]. 激光与光电子学进展, 2019, 56(2): 149−155. [4] 谢彬, 张琨, 张云纯, 等. 基于轨迹相似度的移动目标轨迹预测算法[J]. 计算机工程, 2018, 44(9): 177−183. doi: 10.19678/j.issn.1000-3428.0051133 [5] 林广宇, 魏朗. 基于数字图像的汽车驾驶员行驶状态判别[J]. 计算机工程, 2007, 15(22): 193−194,197. doi: 10.3969/j.issn.1000-3428.2007.22.066 [6] 罗成, 陈淑荣, 剧季. 基于GPRS传输的车辆远程监控及行驶轨迹优化[J]. 微型机与应用, 2017, 36(11): 60−63. [7] 李永上, 马荣贵, 张美月. 改进YOLOv5s+DeepSORT的监控视频车流量统计[J]. 计算机工程与应用, 2022, 58(5): 271−279. doi: 10.3778/j.issn.1002-8331.2108-0346 [8] DONOHO D L. De-noising by soft-thresholding[J]. IEEE transactions on information theory, 1995, 41(3): 613−627. doi: 10.1109/18.382009 [9] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection [C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas: IEEE, 2016. [10] WOJKE N, BEWLEY A, PAULUS D. Simple online and realtime tracking with a deep association metric[C]//International Conference on Image Processing, Beijing: IEEE, 2017. [11] BEWLEY A, GE Z Y, OTT L, et a1. Simple online and realtime tracking[C]//International Conference on Image Processing, Phoenix: IEEE, 2016. [12] 陈佳倩, 金晅宏, 王文远, 等. 基于YOLOv3和DeepSort的车流量检测[J]. 计量学报, 2021, 42(6): 718−723. doi: 10.3969/j.issn.1000-1158.2021.06.05 [13] 李勃, 董蓉, 陈启美. 路况PTZ摄像机自动标定方法[J]. 北京邮电大学学报, 2009, 32(z1): 24−29. doi: 10.3969/j.issn.1007-5321.2009.z1.006 [14] 贲晛烨, 王科俊, 李阳, 等. 交通视频中的Kalman滤波的多车辆跟踪算法[J], 应用科技, 2011, 38(3): 1-4, 11. [15] MALLAT S. A wavelet tour of signal processing[M]. Amsterdam: Elsevier, 1999. [16] DONG Wenyong, DING Hong, DONG Xueshi, et al. An adaptive wavelet threshold de-nosing both in low and high frequency domains[J]. Acta electronica sinica, 2015, 43(12): 2374−2380.
