扩展功能
文章信息
- 曾娟, 李守义, 张洪昌
- ZENG Juan, LI Shou-yi, ZHANG Hong-chang
- 图像分区域多特征融合斜向车辆检测算法研究
- Study on Sub-region Multi-feature Image Fusion Oblique Vehicle Detection Algorithm
- 公路交通科技, 2020, 37(8): 99-107
- Journal of Highway and Transportation Research and Denelopment, 2020, 37(8): 99-107
- 10.3969/j.issn.1002-0268.2020.08.013
-
文章历史
- 收稿日期: 2019-11-05
2. 交通物联网技术湖北省重点实验室, 湖北 武汉 430070
2. Hubei Key Laborotory of Transport Internet of Things Technology, Wuhan Hubei 430070, China
人车混流和交通拥堵是中国道路交通路况的典型特征。在人车混流的环境下,驾驶员忽视外周视野区域障碍物是导致事故发生的重要原因。如果驾驶员能提前1~2 s时间得到环境危险预警提示,则能避免90%的事故发生。目前基于机器视觉的车辆检测技术作为道路环境感知的核心技术[1-2],较为成熟的方法为多特征融合+分类器, 包括Haar-like特征、HOG(Histogram of Oriented Gradient)特征、LBP(Local Binary Patterns)特征。分类器算法常用的有Adaboost算法、SVM(Support Vector Machine)算法、贝叶斯算法等。基于Haar-like特征与Adaboost级联分类器[3-6]组合对前向车辆具有较好的检测效果,因为前向车辆具有对称性、水平特征及垂直特征。HOG特征与SVM算法组合主要应用于行人检测[7],很少在车辆检测中使用[8-10]。刘东军等[11]提出使用主成分分析(PCA)对Haar-like特征降维,提高检测的实时性,但未在斜向车辆检测中使用。
相对前向车辆而言,在换道、十字路口、对向来车等路况下斜向车辆的检验更具普遍意义,但是针对斜向车辆的检测算法研究很少。Bin-Feng Lin等[12]通过在后视镜处安装摄像头,通过多特征融合算法检测相邻车道车辆。朱彬等[13]通过分区域检测,对斜向车辆采用多块局部二值模式(MB-LBP)特征,相对于使用Haar-like特征具有更高的准确率。晏晓娟[14]通过建立不同角度车辆前脸的训练样本库,训练Haar-like+Adaboost分类器实现侧后方车辆的检测,但没有考虑实时性的问题。
基于上述,针对斜向车辆识别问题,本研究提出阴影+边缘特征融合算法;针对车辆检测的实时性和准确率问题,提出HG & HV算法进行二次检测,即核主成分分析+Haar-like特征+HOG特征+Adaboost级联分类器算法。在Haar-like特征提取过程中采用核主成分分析降维提高实时性,Haar-like特征+HOG特征融合提高算法准确率。
1 分区域多特征融合的斜向车辆检测算法斜向车辆检测算法具体流程如图 1所示。
![]() |
图 1 斜向车辆检测算法流程 Fig. 1 Flowchart of oblique vehicle detection algorithm |
|
1.1 斜向检测区划 1.1.1 斜向车辆检测区域定义
为了更清楚定义检测目标,本研究列出检测范围3种工况:工况1为相邻车道车辆变道,如图 2(a)所示;工况2为对向车道车辆靠近过程,如图 2(b)所示;工况3为十字路口车辆转弯或直行过程,如图 2(c)所示。车辆B均定义为斜向车辆。
![]() |
图 2 斜向车辆定义的3种工况 Fig. 2 Three conditions defined for oblique vehicles |
|
1.1.2 K-means聚类与Hough直线融合的车道线区划
本研究采用K-means聚类与Hough直线融合的方式,提高车道线检测准确率。
原始图像根据最大类间方差法(OTSU)阈值分割转化为二值图像,逐行提取二值化图像的像素点。根据式(1)、式(2)判断像素点属性,利用公式(3)筛选特征点,通过K-means聚类将特征点分为两类。利用Hough直线变换,对聚类后的像素点进行直线拟合。像素点起点、终点判断式:
![]() |
(1) |
![]() |
(2) |
式中,R(i, j)为二值化后图像灰度值,istart,iend分别为起点横坐标及终点横坐标。像素数与摄像头有关,本研究采用车道线宽度在5~30个像素左右[15], 距离差公式:
![]() |
(3) |
根据像素点的分布特点及筛选条件,确定车辆的特征点及聚类效果如图 3所示。
![]() |
图 3 特征点提取 Fig. 3 Feature point extraction |
|
提取特征点后,通过K-means聚类聚成两类后,根据Hough变换实现车道线检测,见图 3(a)。依据检测结果,定义在自车两侧车道线以外的区域为目标检测区域,效果见图 4(b)。
![]() |
图 4 图像区域划分 Fig. 4 Image area division |
|
1.2 基于阴影特征与边缘特征融合的斜向车辆初次检测 1.2.1 自适应双阈值与OTSU阈值融合的斜向车辆阴影提取
OTSU与自适应双阈值分割算法应用于车辆检测会存在分割效果不佳的问题。例如OTSU算法在图像是单峰、多峰情况下无法准确分割[11];自适应双阈值法在不良天气条件下效果不佳[16]。
鉴于此,结合自适应阈值与OTSU的算法优点,提出一种融合阈值分割算法。首先利用自适应阈值Threshold1排除车辆检测区域的高亮区域及噪声,然后将满足条件的像素点进行OTSU阈值分割,从而实现车辆阴影的提取。
依据式(4)、式(5)计算图像的均值和方差;
![]() |
(4) |
![]() |
(5) |
依据式(6)和计算得到的均值与方差,计算阈值Thresholdfirst,统计低于阈值Threshold1的像素点;
![]() |
(6) |
将高于阈值的像素点排除后,采用OTSU阈值分割得到二次阈值分割的阈值Threshold2。灰度值小于阈值的为阴影部分,大于阈值为背景部分。根据式(7)得到二值化图像。
![]() |
(7) |
改进阈值算法与自适应双阈值分割算法、OTSU算法作比较,3种方法得到的阈值分割效果如图 5所示。
![]() |
图 5 阈值分割算法对比 Fig. 5 Comparison of threshold segmentation algorithms |
|
1.2.2 斜向车辆边界的愈合处理
斜向车辆与正向车辆相比,垂直特征存在较大差异。通过提取垂直边缘[17]作垂直边缘直方图,并建立愈合处理规则,从而确定斜向车辆的左右边界。
通过垂直Sobel卷积算子,得图像区域的垂直边缘图,如图 6(a)所示。根据垂直边缘图计算对应列垂直边缘像素点的个数。以图像宽度为横坐标、以垂直边缘像素点的个数为纵坐标作垂直边缘直方图,如图 6(b)所示。定义自适应阈值Thresholdj:
![]() |
(8) |
![]() |
图 6 斜向车辆左右边界提取 Fig. 6 Extracting left and right borders of oblique vehicle |
|
式中,F为斜向检测区域;WidthF为斜向检测区域的宽度;f(i, j)为斜向检测区域垂直边缘图的灰度值;δ[]为克罗内克函数,当[]内值相等时,δ[]函数值为1,反之为0。
直线j=Thresholdj与垂直边缘直方图相交,达到固定阈值Thresholdj的峰值坐标点作为车辆左右边界的候选点,两个对应的左右边界点之间的距离为疑似车辆区域的宽度。
通过阈值Thresholdj的边界候选点筛选匹配规则如下:
规则1:若直线j=Thresholdj与直方图的两个相交点之间所对应的列距离超过0.6limage,则两个相交点为左右边界点;
规则2:若列距离小于0.3limage,则将两个相交点合并为一个交点,合并原则为新的边界点为纵坐标不变,横坐标为两个相交点横坐标的均值,即Bnew(i, j)=(iB1+iB2, j)。
规则3:若边界候选点Bk的相邻列距离处于0.3limage与0.6limage之间,则认为边界点属于不同的车辆。
1.3 基于核主成分分析的级联分类器检测基于HOG特征与Haar-like特征的级联分类器采取串联的方式,从而达到更优的效果。核主成分分析降维提高实时性。
1.3.1 斜向车辆的HOG特征Dalal等[18]提出利用梯度方向直方图描述图像局部特征,简称HOG特征。梯度方向直方图作为HOG特征的描述工具,对图像任意像素点(i, j),其梯度幅值|▽f(i, j)|及梯度方向角θ为:
![]() |
(9) |
![]() |
(10) |
将得到的梯度方向角θ在[0, 2π]内分为9个bin区间,每个bin区间包含梯度方向角40°。梯度方向角对应bin区间的梯度幅值函数为
![]() |
(11) |
式中,k=1, 2, …, 9, Bk(i, j), 为对应bink区间的梯度幅值。每个像素点(i, j)都能通过上述式(11)得到一个k维向量,梯度方向直方图如图 7所示。
![]() |
图 7 梯度方向直方图 Fig. 7 Gradient direction histogram |
|
1.3.2 斜向车辆的Haar-like特征
特征值计算速度与特征维度大小选取相互制约。选用Haar-like特征对车辆正脸进行特征提取,如图 8所示。由于Haar-like特征为矩形特征,其特征维度随区域增大而增长,可使用积分图(Viola等[19])快速计算特征值,但特征维度太大将导致计算实时性难以保证。
![]() |
图 8 Haar-like特征提取示例 Fig. 8 Example of extracting Haar-like features |
|
1.3.3 核主成分分析对Haar-like特征的降维处理
采用核主成分分析降维的方式可将高维数据流降维到低维空间,从而提高计算速度。思路如下。
提取m个图像特征,每个样本特征维度为n,将其构成特征矩阵A:
![]() |
(12) |
高斯径向基核函数(RBF)表达式为
![]() |
(13) |
计算核矩阵K的特征值λ1, λ2, …, λn及特征向量v1, v2, …, vn,并对特征值大小排序处理,而且调整相应的特征向量位置。
根据主元成分的累积贡献率Bk,当累计贡献率Bk达到最低限度值E=99.5%,提取前k个主成分向量v′1,v′2,…,v′k。累积贡献率:
![]() |
(14) |
计算特征集A在低维空间的投影Y,利用主成分向量v′与核矩阵K即可得到Y=v′K, 投影Y即为图像特征集A的KPCA降维结果。
具体降维结果如表 1所列。根据表 1的结果,降维处理后,当车辆Haar-like特征维度达到86时,累积方差贡献率达99.543%,能够满足车辆检测的需要,所以选择提取车辆图片特征的前86维度特征进行车辆检测。
特征维度 | 特征值 | 贡献率/% | 累积方差贡献率/% |
82 | 4.179 | 0.418 | 98.272 |
83 | 3.957 | 0.396 | 98.668 |
84 | 3.652 | 0.365 | 99.033 |
85 | 3.523 | 0.352 | 99.385 |
86 | 1.575 | 0.157 | 99.543 |
87 | 1.527 | 0.153 | 99.695 |
88 | 1.360 | 0.136 | 99.831 |
89 | 0.996 | 0.100 | 99.931 |
90 | 0.690 | 0.069 | 100.000 |
1.3.4 Adaboost级联分类器
自适应增强学习算法(Adaboost)对训练样本进行训练产生若干个弱分类器(迭代n次就会产生n个分类器),且每次训练时训练样本根据上一个弱分类器结果会对训练样本集进行权值调整,增大错分样本权重,降低正确分类样本权重,提高下一次迭代的弱分类器的准确率。当错误率下降到一定要求或满足迭代次数时分类器训练结束。检测流程如图 9所示。
![]() |
图 9 多分类器检测 Fig. 9 Multi-classifier detection |
|
通过多次强分类器的训练,将其以串行方式级联成二级强分类器,作为最终分类判断的依据,提高分类器的分类精度。
2 虚拟试验结果及分析 2.1 虚拟试验设计及试验环境试验使用两个数据集作为测试数据集:百度语义分割比赛所用视频剪辑图片,共298张;KITTI数据库的图片数据,共300张。针对检测算法改进的几个环节,设计试验如下:
虚拟试验1:阴影特征与边缘特征融合的初次检测与分类器二次检测对比试验;
虚拟试验2:增加HOG特征前后Adaboost分类器效果对比;
虚拟试验3:采用KPCA降维+多特征融合(HOG特征+Haar-like特征)+Adaboost级联分类器与HOG+支持向量机(SVM)算法对比试验;
虚拟试验4:选择3种天气条件(晴天,阴天及雨天)对比试验。
虚拟试验环境为Visual Studio2015+OpenCV3.1,使用C++语言进行编程,硬件环境为戴尔灵越N4110电脑,6G内存,i3处理器,Windows7系统。
2.2 虚拟试验评价标准试验评价标准分别为准确率、实时性、误检率。3个定量参数定义:
![]() |
(15) |
![]() |
(16) |
![]() |
(17) |
式中,N为图片数量;ti为第i张图片处理所需要的时间;num为矩形框总数;numL为漏检数;numw为误检数;numr为正确数。
2.3 结果及分析(1) 虚拟试验1结果及分析
虚拟试验1为本研究算法中初次检测与二次检测的效果对比。结果如图 10所示。图 10(a)为阈值融合分割算法检测结果,图 10(b)为分类器二次检测,矩形框表示检测结果。
![]() |
图 10 虚拟试验一结果对比 Fig. 10 Comparison of results of virtual experiment 1 |
|
从图 10看出,初次检测能识别斜向车辆准确率达90.1%;表 2结果显示,基于阴影特征和边缘特征的斜向车辆的识别准确率能达到94.6%。二次检测的检测准确率提升4.5%。
检测过程 | 图片数 量/张 | 斜向车辆 数量/辆 | 检出车辆 数量/辆 | 准确 率/% | 误检 率/% | 检测时 间/ms |
初次检测 | 298 | 631 | 568 | 90.1 | 9.9 | 25 |
二次检测 | 298 | 631 | 597 | 94.6 | 1.4 | 20 |
(2) 虚拟试验2结果及分析
虚拟试验2是3种算法效果对比。算法1,采用KPCA降维+多特征融合+Adaboost机器学习算法;算法2,多特征融合+Adaboost机器学习算法;算法3,经典的支持向量机SVM+HOG特征算法。试验结果如图 11所示。矩形框为算法检测结果。
![]() |
图 11 虚拟试验2结果对比 Fig. 11 Comparison of results of virtual experiment 2 |
|
从图 11看出,算法1在车辆检测中框选车辆准确;算法3存在多个车辆检测为同一辆车的情形。表 3结果显示:算法2与算法3相比,误检率降低5.2%,准确性提高2.5%,说明多特征融合+Adaboost能明显提高检测准确率,但是实时性指标(检测时间)没有改善;算法1和算法2相比,准确性和误检率相差不大,检测时间减少15 ms,说明采用核主成分分析降维后,实时性指标改善明显;算法1与算法3相比,误检率降低5.1%,准确性提高1.1%,但是检测时间减少16 ms,综合检测效果最佳。
检测过程 | 图片数 量/张 | 斜向车辆 数量/辆 | 检出车辆 数量/辆 | 准确 率/% | 误检 率/% | 检测时 间/ms |
算法1 | 300 | 865 | 819 | 94.1 | 1.9 | 45 |
算法2 | 300 | 865 | 823 | 95.5 | 1.8 | 60 |
算法3 | 300 | 865 | 804 | 93 | 7 | 61 |
(3) 虚拟试验3结果及分析
虚拟试验3是增加HOG特征前后分类器效果对比。
采集Adaboost训练过程中的准确率与虚警率(被错分的几率)数据,绘制出ROC曲线。分类器2:HOG+Haar-like+Adaboost分类器;分类器1:Haar-like+Adaboost分类器。从图 12可以看出,分类器2曲线位于分类器1上方,即分类器2训练效果准确率优于分类器1,虚警率低于分类器2。
![]() |
图 12 ROC曲线 Fig. 12 ROC curves |
|
(4) 虚拟试验4结果及分析
从图 13看出,阴天、雨天和晴天均可以检测出斜向车辆;从表 4结果分析,车辆检测准确率均高于90%。
![]() |
图 13 三种天气条件下车辆检测效果 Fig. 13 Vehicle detection effects under 3 weather conditions |
|
天气 情况 | 图片数 量/张 | 斜向车辆 数量/辆 | 检出车辆 数量/辆 | 准确率/ % | 误检率/ % | 检测时间/ ms |
晴天 | 200 | 578 | 551 | 95.3 | 1.7 | 45 |
阴天 | 50 | 112 | 101 | 90.2 | 2.8 | 45 |
雨天 | 100 | 437 | 398 | 91.1 | 2.5 | 45 |
3 结论
针对斜向车辆识别,提出融合双自适应阈值与OTSU阈值分割算法、以及斜向车辆边界的愈合处理规则。试验结果显示可有效识别斜向车辆,准确率达90%。针对检测准确率和实时性问题,提出核主成分分析+双特征融合+Adaboost级联分类器算法。4组试验结果显示,双特征融合+Adaboost级联分类器对提高检测的准确率有明显改善;核主成分分析降维对检测的实时性效果明显;二者融合的综合效果改善明显。由于试验采取的是静态图片进行测试,在实车环境下,摄像头的安装、车体运动、空气中水分、光线均可对检测结果产生影响。所以该组图片的检测结果有局限性。实车测试是下一阶段的主要工作。实车环境下算法的有效性和稳定性、精确性是后续算法改进的关键所在。
[1] |
彭军, 王江锋, 王娜. 基于机器视觉的智能车辆避撞预警算法[J]. 公路交通科技, 2011, 28(增1): 124-128. PENG Jun, WANG Jiang-feng, WANG Na. Intelligent Vehicle Collision Warning Algorithm Based on Machine Vision[J]. Journal of Highway and Transportation Research and Development, 2011, 28(S1): 124-128. |
[2] |
BAUTISTA C M, DY C A, MAÑALAC M I, et al. Convolutional Neural Network for Vehicle Detection in Low Resolution Traffic Videos[C]//2016 IEEE Region 10 Symposium. Bali, Indonesia: IEEE, 2016: 277-281.
|
[3] |
李云翀, 何克忠, 贾培发. 基于阴影特征和Adaboost的前向车辆检测系统[J]. 清华大学学报:自然科学版, 2007, 47(10): 1713-1716. LI Yun-chong, HE Ke-zhong, JIA Pei-fa. Forward Vehicle Detection Based on Shadow Features and Adaboost[J]. Journal of Tsinghua University:Science and Technology Edition, 2007, 47(10): 1713-1716. |
[4] |
CHANG W C, CHO C W. Online Boosting for Vehicle Detection[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B, 2010, 40(3): 892-902. |
[5] |
SIVARAMAN S, TRIVEDI M M. A General Active-Learning Framework for On-road Vehicle Recognition and Tracking[J]. IEEE Transactions on Intelligent Transportation Systems, 2010, 11(2): 267-276. |
[6] |
王宁.基于视觉的前方车辆检测与跟踪系统设计[D].南京: 南京航空航天大学, 2016. WANG Ning. Design of Vision-based Frontal Vehicle Detection and Tracking System[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2016. http://cdmd.cnki.com.cn/Article/CDMD-10287-1016791748.htm |
[7] |
YUAN X, LI C N, XU X L, et al. A Two-stage Hog Feature Extraction Processor Embedded with SVM for Pedestrian Detection[C]//2015 IEEE International Conference on Image Processing. Quebec City: IEEE, 2015.
|
[8] |
LI X, GUO X. Vision-based Method for Forward Vehicle Detection and Tracking[C]//2013 International Conference on Mechanical and Automation Engineering. Jiujiang: IEEE, 2013.
|
[9] |
FELZENSZWALB P F, GIRSHICK R B, MCALLESTER D, et al. Visual Object Detection with Deformable Part Models[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010.
|
[10] |
韩志刚.基于HOG与SVM的车辆识别方法研究[D].厦门: 厦门大学, 2015. HAN Zhi-gang. Research on HOG and SVM Based Car Detection Method[D]. Xiamen: Xiamen University, 2015. http://d.g.wanfangdata.com.cn/Thesis_Y2926858.aspx |
[11] |
刘东军, 徐美华, 龚露鸣. 前方车辆检测的特征融合算法研究与实现[J]. 上海大学学报, 2017, 23(6): 12-24. LIU Dong-jun, XU Mei-hua, GONG Lu-ming. Feature Fusion for Front Vehicle Detection and Implementation[J]. Journal of Shanghai University:Natural Science Edition, 2017, 23(6): 12-24. |
[12] |
LIN B F, CHAN Y M, FU L C, et al. Incorporating Appearance and Edge Features for Vehicle Detection in the Blind-spot Area[J]. IEEE Transactions on Intelligent Transportation Systems, 2012, 13(2): 737-747. |
[13] |
朱彬, 王少平, 梁华为. 基于Haar-like和MB-LBP特征分区域多分类器车辆检测[J]. 模式识别与人工智能, 2017, 30(6): 91-98. ZHU Bin, WANG Shao-ping, LIANG Hua-wei. Sub-regional and Multi-classifier Vehicle Detection Based on Haar-like and MB-LBP Features[J]. Pattern Recognition and Artificial Intelligence, 2017, 30(6): 91-98. |
[14] |
晏晓娟.基于机器视觉的侧后方目标检测算法及换道预警系统研究[D].镇江: 江苏大学, 2017. YAN Xiao-juan. Research on Detection Method of Backside Target and Lane Change Early-warning System Based on Machine Vision[D]. Zhenjiang: Jiangsu University, 2017. http://cdmd.cnki.com.cn/Article/CDMD-10299-1017718416.htm |
[15] |
蔡英凤, 高力, 陈龙, 等. 基于聚类算法的车道线检测方法[J]. 江苏大学学报:自然科学版, 2017, 38(6): 6-10. CAI Ying-feng, GAO Li, CHEN Long, et al. Lane Detection Method Based on Clustering Algorithm[J]. Journal of Jiangsu University:Natural Science Edition, 2017, 38(6): 6-10. |
[16] |
齐美彬, 潘燕, 张银霞. 基于车底阴影的前方运动车辆检测[J]. 电子测量与仪器学报, 2012, 26(1): 54-60. QI Mei-bin, PAN Yan, ZHANG Yin-xia. Preceding Moving Vehicle Detection Based on Shadow of Chassis[J]. Journal of Electronic Measurement and Instrument, 2012, 26(1): 54-60. |
[17] |
余天洪, 王荣本, 顾柏园, 等. 基于机器视觉的智能车辆前方道路边界及车道标识识别方法综述[J]. 公路交通科技, 2006, 23(1): 139-142. YU Tian-hong, WANG Rong-ben, GU Bai-yuan, et al. Survey on the Vision-based Recognition Methods of Intelligent Vehicle Road Boundaries and Lane Markings[J]. Journal of Highway and Transportation Research and Development, 2006, 23(1): 139-142. |
[18] |
DALAL N, TRIGGS B. Histograms of Oriented Gradients for Human Detection[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, USA: IEEE, 2005: 886-893.
|
[19] |
VIOLA P, JONES M J. Robust Real-time Face Detection[J]. International Journal of Computer Vision, 2004, 57(2): 137-154. |