测绘地理信息   2016, Vol. 41 Issue (5): 47-50
0
基于车载视频的道路交通指示标志的检测与识别[PDF全文]
贾永红1,2, 谭慧1, 黄若冰1    
1. 武汉大学遥感信息工程学院, 湖北 武汉, 430079;
2. 武汉大学测绘遥感信息工程国家重点实验室, 湖北 武汉, 430079
摘要: 根据交通指示标志的颜色和形状特征,提出了一种基于车载视频的交通指示标志的检测与识别方法。该方法首先基于HSV空间进行颜色分割,完成对ROI的初步提取;然后基于交通指示的形状特征,检测交通指示标志;最后针对圆形指示标志和矩形指示标志的形状特点,设计一种分块特征提取方法对检测出的指示标志进行特征提取,通过特征匹配识别出交通指示标志类别。实验表明,提出的检测与识别方法能够快速、有效识别车载视频中的交通指示标志。
关键词: 指示标志     颜色分割     检测     ROI     特征提取    
A Detection and Recognition Method for Indicatory Traffic Signs Based on Vehicle Videos
JIA Yonghong1,2, TAN Hui1, HUANG Ruobing1    
1. School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China;
2. State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China
First author: JIA Yonghong,professor, PhD supervisor, main research direction for remote sensing image analysis and its application,aero-photogrammetry,spatial information management and update, etc. E-mail: yhjia2000@sina.com
Foundation support:Road Traffic in the Field of Civil Military Integration Demonstration Projects(GFZX0404080102)
Abstract: A new approach was proposed to detect and recognize traffic directional signs of vehicle videos according to the color and geometric features of the signs. Firstly, the sign is detected based on sign features of color and shape. then a blocking feature extracting method is used to obtain feature vectors from the detected sign and all referred traffic directional signs respectively, the traffic directional sign is recognized through feature vectors matching. Experimental results show the proposed method is more effective for recognizing traffic directional signs based on vehicle videos.
Key words: traffic signs     color segmentation     detection     ROI     feature extraction    

交通标志是安全出行的重要保障,包含了道路状况的改变、行驶速度及驾驶行为限制等重要信息。因此,有关道路交通标志自动识别系统(triffic sign recognition,TSR)的研究得到了政府和各界学者的重视。TSR系统主要是通过车载摄像头获取道路影像,利用有关技术对影像进行预处理及交通标志的检测,然后进行交通标志的识别。

我国交通标志都有规定的颜色,其中禁令标志主色调为红色,警告标志为黄色,指示标志为蓝色。因此,颜色无疑是交通标志检测的重要特征。郁梅等[1]对获取的彩色图像进行色调不变的彩色增强,再进行彩色聚类、形态滤波、模板匹配、特征点匹配等步骤,进行交通标志的检测和识别。但是由于彩色空间易受光照条件的影响,而视频影像会存在拍摄环境光照太强或者太弱等情况,不符合人类的视觉理解;Escalera[2, 3]通过分析交通标志的形状和颜色,对色度和饱和度进行变换,在一定程度上减少光照带来的影响;朱双东等[4]采用颜色规格化方法简化交通标志颜色,利用两级智能分类器实现分类,采用BP(back propagation)神经网络实现颜色规格化,具有较好的鲁棒性;Betke[5]采用标准相关算法,避免了光强度的变化和遮挡情况,但此种方法针对不同的标志采用不同算法,计算量大,不能投入到实际应用中。

本文针对交通指示标志的形状特征和颜色特征,提出了一种基于形状特征的边缘跟踪检测算法,并设计出一种分块特征提取识别方法,能更有效地识别出自然场景下的交通指示标志,可投入到实际应用中。

1 交通指示标志检测

指示标志通常由蓝色和白色构成,指示标志的形状有圆形和矩形。基于这些特征,先进行色彩分割去除大片非感兴趣区域,然后提取具有圆形或矩形特征的区域,从而检测出影像中的指示标志及其所在区域ROI(region of interest)。

1.1 基于HSV空间的颜色分割

因为指示标志大都是以蓝色为底色,所以先对图像分割进行标志检测。RGB空间是通过对红(R)、绿(G)、蓝(B)颜色通道的叠加来得到各式各样颜色的。但是RGB空间受光照和设备的影响大,因此对彩色图像RGB不适合直接进行颜色分割[6]。通常将彩色图像处理用色相H(Hue)、饱和度S(Saturation)、明度V(Value)三个分量颜色模型表示。色相和饱和度一起决定了颜色的色彩,明度分量则与色彩信息无关。这有利于解决各种自然场景中光照条件差别大的问题。将现实场景下的自然图片采用HSV颜色表示再分割,通过反复测试,选取阈值100≤H≤150,S>75,V>55分割效果好,可提取兴趣区ROI,如图 1所示。

图 1 基于HSV空间的交通指示标志颜色分割 Figure 1 Color Segmentation of Traffic Indicatory Signs Based on HSV

1.2 基于形状特征的交通指示标志检测 1.2.1 圆形指示标志的检测

根据HSV颜色分割得到二值化图像,对于圆形指示标志,采用了一种基于圆形形状特征的边缘跟踪检测算法[7](算法参数见表 1)。方法如下:

1) 检测ROI边缘,进行轮廓跟踪,若轮廓上像素的个数N和轮廓周长L这两个参数不满足设定的阈值,则可认为此区域不做进一步检测;

2) 若NL满足设定的阈值,则计算轮廓的面积S和圆形度f,若SS满足设定的阈值,则进一步判断轮廓宽与高之比rate,若rate符合设定值,则可认为该标志为圆形指示标志。

1.2.2 矩形指示标志的检测

根据HSV颜色分割得到二值化图像,对于矩形指示标志而言,采用了一种基于矩形形状特征的边缘跟踪检测算法(算法参数见表 2)。方法如下:

1) 检测出ROI边缘,进行轮廓跟踪,得到轮廓面积S、周长L和轮廓上像素的个数N,若这三个参数满足设定的阈值,则对该轮廓区域作进一步检测;

表 1 圆形指示标志检测算法参数 Table 1 Parameters of Circular Indicatory Sign Detection Algorithm

2) 获取包围该轮廓的最小外接矩形得到矩形宽w、高h,计算rate1=L·L/S,rate2=S/(w·h),矩形宽高比rate3=h/w,若这些参数都满足给定阈值范围,则认为是矩形指示标志。

表 2 矩形指示标志检测算法参数 Table 2 Parameters of Rectangular Indicatory Sign Detection Algorithm

2 交通标志分块识别

根据检测出来的结果可以对交通指示标志进行识别。为了便于识别,已将参考交通标志建库,规格大小为90像素×90像素。因此,检测到标志后,需要将标志区进行几何纠正,将标志区外接最小矩形变换为参考标志的大小。

采用常规的模板匹配识别标志,识别能力有限。因此,本文提出采用分块识别的方法[8, 9],其基本思想是把检测出来的指示标志内核区域分块,然后提取每块特征构成待识别标志向量,与参考交通标志库中各指示标志内核区域进行特征向量的相关匹配,匹配程度最高的库中标志即为识别出来的交通标志类别。

2.1 指示标志分块

1) 圆形指示标志分块方法。 对几何纠正后的圆形交通标志区进行二值化处理,得到待识别标志的二值化图像。

图 2所示对圆形指示标志内核进行分块,24块的分块方式具有完全对称结构,方块大小为12像素×12像素,分块与外接正方形边框的距离为9个像素。这种分块法分块数量适中,且能包含交通标志内核。

2) 矩形标志分块法。 如图 3所示,矩形指示标志的分块直接以其边框作为边界,每个分块大小为90像素×90像素。与圆形标志的分块类似,将矩形标志分为25个小块,具有完全对称结构,方块大小为16像素×16像素,分块与边框距离为5个像素。

图 2 圆形指示标志分块 Figure 2 Circular Indicatory Sign Block

图 3 矩形标志分块 Figure 3 Rectangular Indicatory Sign Block

2.2 相关匹配

对检测出来的交通标志,首先计算分块的特征向量,再计算其与标志库中各参考标志特征向量之间的相关系数,依最大相关系数就可确定检测出来的交通标志类别。 图 4为交通指示标志检测与识别流程。

图 4 交通标志检测与识别 Figure 4 Detection and Recognition of Traffic Sign

3 试验结果分析

本次试验数据为车载视频图像共计300帧。按照图 4所示的流程对每帧图像进行了交通标志检测与识别,并进行了统计分析,检测与识别结果如表 3所示。

在待检的300帧图像中共有指示标志数75个,不同类型的指示标志20个。采用本文算法检测出63个,检测正确率约为84%。采用分块特征提取的识别方法,能正确识别57个,识别正确率为76%,非分块模板匹配识别法识别率为52% ,相比而言,分块特征提取的识别方法识别率提高了24%。测试中存在一些漏检和误检的情况,其原因是交通标志变形严重或目标太小、交通标志接近或重合导致粘连现象,从而造成检测和识别的正确率不能达到100%。

表 3 指示标志检测与识别结果 Table 3 Results of Indicatory Sign Detection and Recognition

4 结束语

根据交通指示标志的形状和颜色特征,对交通标志进行定位和检测,同时,提出一种交通指示标志分块识别的方法。试验结果表明,该方法处理效率高,可有效对自然场景中的指示标志进行检测与识别。

参考文献
[1] 郁梅, 郁伯康. 基于彩色图像的指示标志检测[J]. 计算机工程与应用,2000,36(4) : 166–168.
Yu Mei, Yu Bokang. Indicatory Sign Detection Based on Color Image[J]. Journal of Computer Engineering and Application,2000,36(4) : 166–168.
[2] de la Escalera A, Armingol J M, Mata M. Traffical Sign Recognition and Analysis for Intelligent Vehicles[J]. Image and Vision Computing,2003,21(3) : 247–258. DOI:10.1016/S0262-8856(02)00156-7
[3] Torresen J, Bakke J, Sekanina L. Efficient Recognition of Speed Limit Signs[C]. The 7th International IEEE Conference on Intelligent Transportation Systems, Washington D C, USA, 2004
[4] 朱双东, 蒋甜甜, 刘兰兰. 基于颜色规格化的交通标志识别[J]. 计算机应用与软件,2008,(1) : 220–222.
Zhu Shuangdong, Jiang Tiantian, Liu Lanlan. Traffic Sign Recognition Based on Color Standardization[J]. Computer Applications and Software,2008,(1) : 220–222.
[5] Miguel A G, Manuel O, David F L. Complete Vision-Based Traffic Sign Recognition Supported by an I2V Communication System[J]. Sensors,2012,12(2) : 1148–1169.
[6] 谢闯, 李磊民. 基于彩色图像分割的路标检测算法研究[J]. 西南科技大学学报,2012,27(3) : 87–91.
Xie Chuang, Li Leimin. Traffic Signs Detection Algorithm Research Based on the Division of the Color Image[J]. Journal of Southwest University of Science and Technology,2012,27(3) : 87–91.
[7] 白兵乾. 基于颜色和圆形度的交通禁令标志提取[J]. 电子设计工程,2011,19(6) : 150–153.
Bai Bingqian. Traffic Ban Sign Extraction Based on Color and Circularity[J]. Electronic Design Engineering,2011,19(6) : 150–153.
[8] 吴瑞林, 王建中, 袁克海. 多分格相关与皮尔逊相关的蒙特卡罗仿真[J]. 北京航空航天大学学报,2009,(12) : 1507–1510.
Wu Ruilin, Wang Jianzhong, Yuan Kehai. Monte Carlo Smiulation of Polychoric Correlation and Pearson Correlation Coefficient[J]. Journal of Beijing University of Aeronautics and Astronautics,2009,(12) : 1507–1510.
[9] 贾永红, 胡志雄, 周明婷, 等. 自然场景下三角形交通标志的检测与识别[J]. 应用科学学报(电子和信息工程),2014,32(4) : 423–426.
Jia Yonghong, Hu Zhixiong, Zhou Mingting, et al. Detection and Recognition of Triangular Traffic Signs in Natural Scenes[J]. Journal of Applied Sciences-Electronics and Information Engineering,2014,32(4) : 423–426.