基于车载视频的道路交通指示标志的检测与识别 | ![]() |
2. 武汉大学测绘遥感信息工程国家重点实验室, 湖北 武汉, 430079
2. State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China
交通标志是安全出行的重要保障,包含了道路状况的改变、行驶速度及驾驶行为限制等重要信息。因此,有关道路交通标志自动识别系统(triffic sign recognition,TSR)的研究得到了政府和各界学者的重视。TSR系统主要是通过车载摄像头获取道路影像,利用有关技术对影像进行预处理及交通标志的检测,然后进行交通标志的识别。
我国交通标志都有规定的颜色,其中禁令标志主色调为红色,警告标志为黄色,指示标志为蓝色。因此,颜色无疑是交通标志检测的重要特征。郁梅等[1]对获取的彩色图像进行色调不变的彩色增强,再进行彩色聚类、形态滤波、模板匹配、特征点匹配等步骤,进行交通标志的检测和识别。但是由于彩色空间易受光照条件的影响,而视频影像会存在拍摄环境光照太强或者太弱等情况,不符合人类的视觉理解;Escalera[2, 3]通过分析交通标志的形状和颜色,对色度和饱和度进行变换,在一定程度上减少光照带来的影响;朱双东等[4]采用颜色规格化方法简化交通标志颜色,利用两级智能分类器实现分类,采用BP(back propagation)神经网络实现颜色规格化,具有较好的鲁棒性;Betke[5]采用标准相关算法,避免了光强度的变化和遮挡情况,但此种方法针对不同的标志采用不同算法,计算量大,不能投入到实际应用中。
本文针对交通指示标志的形状特征和颜色特征,提出了一种基于形状特征的边缘跟踪检测算法,并设计出一种分块特征提取识别方法,能更有效地识别出自然场景下的交通指示标志,可投入到实际应用中。
1 交通指示标志检测指示标志通常由蓝色和白色构成,指示标志的形状有圆形和矩形。基于这些特征,先进行色彩分割去除大片非感兴趣区域,然后提取具有圆形或矩形特征的区域,从而检测出影像中的指示标志及其所在区域ROI(region of interest)。
1.1 基于HSV空间的颜色分割因为指示标志大都是以蓝色为底色,所以先对图像分割进行标志检测。RGB空间是通过对红(R)、绿(G)、蓝(B)颜色通道的叠加来得到各式各样颜色的。但是RGB空间受光照和设备的影响大,因此对彩色图像RGB不适合直接进行颜色分割[6]。通常将彩色图像处理用色相H(Hue)、饱和度S(Saturation)、明度V(Value)三个分量颜色模型表示。色相和饱和度一起决定了颜色的色彩,明度分量则与色彩信息无关。这有利于解决各种自然场景中光照条件差别大的问题。将现实场景下的自然图片采用HSV颜色表示再分割,通过反复测试,选取阈值100≤H≤150,S>75,V>55分割效果好,可提取兴趣区ROI,如图 1所示。
![]() |
图 1 基于HSV空间的交通指示标志颜色分割 Figure 1 Color Segmentation of Traffic Indicatory Signs Based on HSV |
1.2 基于形状特征的交通指示标志检测 1.2.1 圆形指示标志的检测
根据HSV颜色分割得到二值化图像,对于圆形指示标志,采用了一种基于圆形形状特征的边缘跟踪检测算法[7](算法参数见表 1)。方法如下:
1) 检测ROI边缘,进行轮廓跟踪,若轮廓上像素的个数N和轮廓周长L这两个参数不满足设定的阈值,则可认为此区域不做进一步检测;
2) 若N和L满足设定的阈值,则计算轮廓的面积S和圆形度f,若S和S满足设定的阈值,则进一步判断轮廓宽与高之比rate,若rate符合设定值,则可认为该标志为圆形指示标志。
1.2.2 矩形指示标志的检测根据HSV颜色分割得到二值化图像,对于矩形指示标志而言,采用了一种基于矩形形状特征的边缘跟踪检测算法(算法参数见表 2)。方法如下:
1) 检测出ROI边缘,进行轮廓跟踪,得到轮廓面积S、周长L和轮廓上像素的个数N,若这三个参数满足设定的阈值,则对该轮廓区域作进一步检测;
表 1 圆形指示标志检测算法参数 Table 1 Parameters of Circular Indicatory Sign Detection Algorithm |
![]() |
2) 获取包围该轮廓的最小外接矩形得到矩形宽w、高h,计算rate1=L·L/S,rate2=S/(w·h),矩形宽高比rate3=h/w,若这些参数都满足给定阈值范围,则认为是矩形指示标志。
表 2 矩形指示标志检测算法参数 Table 2 Parameters of Rectangular Indicatory Sign Detection Algorithm |
![]() |
2 交通标志分块识别
根据检测出来的结果可以对交通指示标志进行识别。为了便于识别,已将参考交通标志建库,规格大小为90像素×90像素。因此,检测到标志后,需要将标志区进行几何纠正,将标志区外接最小矩形变换为参考标志的大小。
采用常规的模板匹配识别标志,识别能力有限。因此,本文提出采用分块识别的方法[8, 9],其基本思想是把检测出来的指示标志内核区域分块,然后提取每块特征构成待识别标志向量,与参考交通标志库中各指示标志内核区域进行特征向量的相关匹配,匹配程度最高的库中标志即为识别出来的交通标志类别。
2.1 指示标志分块1) 圆形指示标志分块方法。 对几何纠正后的圆形交通标志区进行二值化处理,得到待识别标志的二值化图像。
如图 2所示对圆形指示标志内核进行分块,24块的分块方式具有完全对称结构,方块大小为12像素×12像素,分块与外接正方形边框的距离为9个像素。这种分块法分块数量适中,且能包含交通标志内核。
2) 矩形标志分块法。 如图 3所示,矩形指示标志的分块直接以其边框作为边界,每个分块大小为90像素×90像素。与圆形标志的分块类似,将矩形标志分为25个小块,具有完全对称结构,方块大小为16像素×16像素,分块与边框距离为5个像素。
![]() |
图 2 圆形指示标志分块 Figure 2 Circular Indicatory Sign Block |
![]() |
图 3 矩形标志分块 Figure 3 Rectangular Indicatory Sign Block |
2.2 相关匹配
对检测出来的交通标志,首先计算分块的特征向量,再计算其与标志库中各参考标志特征向量之间的相关系数,依最大相关系数就可确定检测出来的交通标志类别。 图 4为交通指示标志检测与识别流程。
![]() |
图 4 交通标志检测与识别 Figure 4 Detection and Recognition of Traffic Sign |
3 试验结果分析
本次试验数据为车载视频图像共计300帧。按照图 4所示的流程对每帧图像进行了交通标志检测与识别,并进行了统计分析,检测与识别结果如表 3所示。
在待检的300帧图像中共有指示标志数75个,不同类型的指示标志20个。采用本文算法检测出63个,检测正确率约为84%。采用分块特征提取的识别方法,能正确识别57个,识别正确率为76%,非分块模板匹配识别法识别率为52% ,相比而言,分块特征提取的识别方法识别率提高了24%。测试中存在一些漏检和误检的情况,其原因是交通标志变形严重或目标太小、交通标志接近或重合导致粘连现象,从而造成检测和识别的正确率不能达到100%。
表 3 指示标志检测与识别结果 Table 3 Results of Indicatory Sign Detection and Recognition |
![]() |
4 结束语
根据交通指示标志的形状和颜色特征,对交通标志进行定位和检测,同时,提出一种交通指示标志分块识别的方法。试验结果表明,该方法处理效率高,可有效对自然场景中的指示标志进行检测与识别。
[1] |
郁梅, 郁伯康. 基于彩色图像的指示标志检测[J].
计算机工程与应用,2000,36(4) : 166–168.
Yu Mei, Yu Bokang. Indicatory Sign Detection Based on Color Image[J]. Journal of Computer Engineering and Application,2000,36(4) : 166–168. |
[2] | de la Escalera A, Armingol J M, Mata M. Traffical Sign Recognition and Analysis for Intelligent Vehicles[J]. Image and Vision Computing,2003,21(3) : 247–258. DOI:10.1016/S0262-8856(02)00156-7 |
[3] | Torresen J, Bakke J, Sekanina L. Efficient Recognition of Speed Limit Signs[C]. The 7th International IEEE Conference on Intelligent Transportation Systems, Washington D C, USA, 2004 |
[4] |
朱双东, 蒋甜甜, 刘兰兰. 基于颜色规格化的交通标志识别[J].
计算机应用与软件,2008,(1) : 220–222.
Zhu Shuangdong, Jiang Tiantian, Liu Lanlan. Traffic Sign Recognition Based on Color Standardization[J]. Computer Applications and Software,2008,(1) : 220–222. |
[5] | Miguel A G, Manuel O, David F L. Complete Vision-Based Traffic Sign Recognition Supported by an I2V Communication System[J]. Sensors,2012,12(2) : 1148–1169. |
[6] |
谢闯, 李磊民. 基于彩色图像分割的路标检测算法研究[J].
西南科技大学学报,2012,27(3) : 87–91.
Xie Chuang, Li Leimin. Traffic Signs Detection Algorithm Research Based on the Division of the Color Image[J]. Journal of Southwest University of Science and Technology,2012,27(3) : 87–91. |
[7] |
白兵乾. 基于颜色和圆形度的交通禁令标志提取[J].
电子设计工程,2011,19(6) : 150–153.
Bai Bingqian. Traffic Ban Sign Extraction Based on Color and Circularity[J]. Electronic Design Engineering,2011,19(6) : 150–153. |
[8] |
吴瑞林, 王建中, 袁克海. 多分格相关与皮尔逊相关的蒙特卡罗仿真[J].
北京航空航天大学学报,2009,(12) : 1507–1510.
Wu Ruilin, Wang Jianzhong, Yuan Kehai. Monte Carlo Smiulation of Polychoric Correlation and Pearson Correlation Coefficient[J]. Journal of Beijing University of Aeronautics and Astronautics,2009,(12) : 1507–1510. |
[9] |
贾永红, 胡志雄, 周明婷, 等. 自然场景下三角形交通标志的检测与识别[J].
应用科学学报(电子和信息工程),2014,32(4) : 423–426.
Jia Yonghong, Hu Zhixiong, Zhou Mingting, et al. Detection and Recognition of Triangular Traffic Signs in Natural Scenes[J]. Journal of Applied Sciences-Electronics and Information Engineering,2014,32(4) : 423–426. |