自然场景车载视频道路交通限速标志的检测与识别方法 | ![]() |
近年来,随着汽车的普及和城市化的不断发展,道路交通安全问题日益突出。智能交通系统(intelligent transport system, ITS)是解决当前道路交通安全和运输效率问题的重要措施之一[1],而交通标志识别(traffic sign recognition, TSR)是智能交通系统的重要内容之一,TSR主要是通过车载摄像头获取影像,进行图像检测定位, 识别交通标志。快速准确地识别交通标志能为交通导航及时提供准确的信息。因此,道路交通标志的识别方法研究具有重要意义,受到国内外研究人员的广泛关注。
道路交通标志主要包括禁令标志、限速标志、警告标志和指示标志。其中,限速标志具有红色外圆环,白底黑字,内核为0~9的数字等基本特征。陈娜进行了HSI(hue saturation intensity)空间的颜色分割,利用改进的梯度方向角方法进行圆检测,实现交通标志粗定位,然后采用ASM(active shape model)模型对限速标志的字符进行识别[2];郁梅等对获取的彩色图像进行了色调不变的彩色增强,通过彩色聚类、形态滤波、模板匹配、特征点匹配等步骤,进行交通标志的检测与识别[3]。由于彩色空间易受到光照条件的影响,视频影像存在拍摄环境光照太强或者太弱等情况,不符合人类的视觉理解,因此,Hossain等研发了自动交通标志识别系统,对图像进行颜色分割,使用Hu不变矩作为特征, 采取神经网络的方法识别目标, 系统可适应不同光照条件,识别正确率较高[4];蒋刚毅等提出了基于数学形态学和二值有序统计的识别算法[5],用数值对内核图案形状进行描述,采用形状识别的方法对交通标志进行识别,取得了较好的效果。
本文针对交通限速标志的颜色、形状和内核字符特征,提出了基于颜色与形状的检测算法,并设计了字符分割分块特征提取方法,能有效地识别自然场景下的交通限速标志,具有较好的实际应用价值。
1 交通限速标志检测限速标志一般都具有鲜明的颜色和形状特征,可以先利用限速标志颜色特征进行图像分割,将其从复杂图像中分割出来,然后再利用限速标志的形状特征对目标进行精确定位和检测。
1.1 基于HSV空间的颜色分割RGB空间是通过对红(R)、绿(G)、蓝(B)颜色3通道的叠加来得到各式各样颜色的,但是受光照和设备的影响大,不适合直接进行颜色分割[6]。而HSV(hue saturation value)是从人的视觉系统出发的,用色调、饱和度和明度3个参数确定颜色的一种色彩表示方法。色调与饱和度共同决定了颜色的色彩,明度与色彩无关。自然场景下,光照情况较为复杂,利用HSV颜色空间可以有效地减弱光照变化的影响。因此将自然场景下的交通标志图像变换到HSV空间,再进行阈值分割。为了较好地将红色区域分割出来,通过实验测试,色调的阈值范围为320° < H < 360°或者0° < H < 15°,并定义饱和度S>0.2,明度V>0.1。满足上述条件的区域即为红色区域,可有效地分割出目标区域,如图 1所示。
![]() |
图 1 基于HSV颜色空间的限速标志分割 Figure 1 Color Segmentation of Traffic Speed Limit Signs Based on HSV |
1.2 基于形状特征的交通限速标志检测
颜色分割后的图像一般会存在很多与限速标志颜色相近的噪声点。当限速标志的表面损坏时,会导致目标的轮廓不连通,这些都会对限速标志的精确定位造成不同程度的影响。为了消除这些影响,需要对颜色分割后的二值图像进行形态学处理和图像滤波,以消除噪声和增强连通区域的连通性。
根据HSV颜色分割得到二值化图像,对于圆形限速标志,采用了一种基于圆形形状特征的边缘检测方法[7]。形状检测算法是通过提取连通区域的轮廓信息,根据其几何参数判断区域形状,从而检测出交通标志是否为圆形标志。形状检测算法提取的参数主要有圆形轮廓面积SL、圆形轮廓周长CL、轮廓最小外接圆面积SY、轮廓最小外接圆周长CY、轮廓最小外接矩形面积SJ和轮廓最小外接矩形周长CJ。根据提取的这些参数比值可判断交通标志是否为圆形标志。经过大量的实验测试,判断是否为圆形交通标志的参数比值阈值如下:SL/SY>0.7,CL/CY>0.7,0.7 < SL/SJ < 0.9,0.7 < CL/CJ < 0.9。具体方法如下:①获取二值图像各连通区域的轮廓以及轮廓的最小外接圆和最小外接矩形;②获取轮廓信息SL、CL、SY、CY、SJ、CJ;③设定阈值,对连通区域的轮廓进行判断,同时去除面积过小的区域。根据上述判断条件,满足阈值条件的区域即认为是检测到的限速标志,保存位置、宽、高等信息;否则认为是不感兴趣目标。
利用上述方法进行检测的效果如图 2所示。图 2(a)是自然场景下含有一个限速标志的视频影像帧,图 2(b)是经过HSV空间红色分割后的二值影像,可以看出限速标志的红色圆环被很好地分割出来,但影像中也夹杂了很多噪声;图 2(c)是经过形态学开运算处理和中值滤波后的影像,一些孤立的噪声和斑点被进一步消除掉;图 2(d)是根据连通域轮廓形状特征进行圆形限速标志检测的效果图。可见,基于形状特征的目标检测能够有效地检测并定位到目标,为后续限速标志识别打下了基础。
![]() |
图 2 基于形状特征的限速标志检测 Figure 2 Detection of Speed Limit Signs Based on Shape Features |
2 限速交通标志字符识别
在检测到限速标志之后,需要对限速标志的内容进行识别。由于光线、拍摄角度和距离等的影响,检测到的限速标志可能存在颜色失真和几何形变,因此在识别工作之前,对检测到的限速标志图像进行了直方图均衡化和几何归一化处理,其中大小归一化为90×90像素。
2.1 限速标志字符分割由于限速标志中只有数字,不存在汉字和字母,相对来说对字符分割的要求比较低,因此,本文选用直接投影法对限速标志进行字符分割[8]。具体步骤如下:
1) 首先,自上而下逐行扫描待分割图像,直到扫描到第一个白色像素时,将此像素点所在行数记录下来;然后,自下而上逐行扫描图像,在扫描到第一个白色像素点时,将该点所在行记录下来,这样就确定了字符所在区域大致的上下边界。
2) 在1)所确定的上下边界范围之内,自左向右对图像进行逐列扫描,当扫描到第一个白色像素点时,将其作为字符分割的开始位置;继续扫描图像,直到某一列没有白色像素时,将该列作为当前字符的右边界;按照相同的方法继续扫描图像,直到扫描完整个图像。通过这种方法就可以确定每个字符的左右边界,也就是字符的宽度。
3) 确定字符的宽度后,再在这个范围内按照1)中的方法重新扫描每个字符,以此来确定每个字符准确的上下边界。
根据上述方法进行字符分割的结果还会有非字符目标的存在,为了解决这个问题,本文设置了3个约束条件对非字符区域进行过滤。约束条件如下:①分割出的数字字符区域的高和宽应满足一定的条件:H>5像素, W>2像素,其中,H和W分别代表分割后得到的每个区域的高和宽;②分割出的数字字符区域的高和宽的比值应满足:1 < H/W < 3.5;③分割出的数字字符的区域面积应大于20像素字符区域内的白色像素应大于15。根据约束条件,将不满足上述条件的区域去除。通过约束条件的过滤,根据提取到的每个字符的精确宽度和高度范围,从而将限速标志内的字符逐个分割出来。图 3是采用直接投影法对限速标志进行字符有效分割的样例。
![]() |
图 3 限速标志字符分割 Figure 3 Character Segmentation of Traffic Speed Limit Signs |
2.2 数字字符识别
数字字符的识别采用分块特征匹配的方法[9, 10],具体过程如下:
1) 分割字符归一化。由于分割出的字符大小不一,为了方便识别,将每个字符归一化到与模板库中统一大小20×40像素,图 4为模板库中的数字字符模板。
![]() |
图 4 标准数字字符模板 Figure 4 Standard Template of Number Characters |
2) 分块提取字符特征向量。对于分割出的字符,首先,将每个字符分成大小为4×8像素的25个子块,如图 5所示;然后,分别统计每个子块中白色像素的数目,得到所有子块的白色像素数值组成的一个25维特征向量。
![]() |
图 5 数字字符分块 Figure 5 Segmentation of Figure Character |
3) 基于相关系数的模板匹配。计算待识别字符的特征向量与模板库中各字符特征向量的相关系数,其中相关系数最大值对应的模板库数字就是字符识别的结果。将每个限速标志内所有数字识别的结果组合起来就是限速标志识别结果。
3 实验分析本文对包含112个限速标志的103帧视频影像进行识别实验。分别采用基于模板匹配的识别方法与基于字符分割的分块识别方法进行了对比实验。统计的识别率结果如表 1所示。
表 1 限速标志识别结果 Table 1 Recognition Results of Speed Limit Signs |
![]() |
从表 1中的识别正确率来看,基于字符分割的分块识别限速标志方法比基于模板匹配的识别方法的识别率有明显提高。对于基于字符分割的分块识别的方法中,其中未能正确识别的标志为18个,主要原因有两种:①图像自身造成的,其中有6个是因为图像太小在重采样时发生误差,有4个是因为交通标志本身发生严重退化,有2个是因为印刷不符合标准;②算法本身原因造成的,有3个是由于图像倾斜导致识别错误,有3个由于字符分割失败,导致识别错误。
4 结束语本文利用限速交通标志的颜色特征和形状特征,提出了一种自然场景下限速交通标志的检测与基于字符分割的分块识别方法。实验结果表明,该方法识别准确率高,可有效对自然场景中的限速标志进行检测与识别。
[1] | 朱双东, 陆晓峰. 道路交通标志识别的研究现状及展望[J]. 计算机工程与科学, 2006, 28(12): 50–52 DOI: 10.3969/j.issn.1007-130X.2006.12.017 |
[2] |
陈娜. 基于ASM模型的限速标志识别方法的研究[D]. 沈阳: 辽宁大学, 2011 |
[3] | 郁梅, 郁伯康. 基于彩色图像的指示标志检测[J]. 计算机工程与应用, 2000, 36(4): 165–168 |
[4] | Hossain M S, Hasan M M, Ali M A, et al. Automatic Detection and Recognition of Traffic Signs[C]. Robotics Automation and Mechatronics, Singapore, 2010 |
[5] | 蒋刚毅, 郑义. 形态骨架匹配算法及其在交通标志识别中的应用[J]. 电路与系统学报, 1996, 1(3): 16–23 |
[6] | 谢闯, 李磊民. 基于彩色图像分割的路标检测算法研究[J]. 西南科技大学学报, 2012, 27(3): 87–91 |
[7] | Itti L, Koch C, Niebur E. A Model of Saliency-Based Visual Attention for Rapid Scene Analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1998, 20(11): 1254–1259 |
[8] | 贾永红, 胡志雄, 周明婷, 等. 自然场景下三角形交通标志的检测与识别[J]. 应用科学学报, 2014, 32(4): 423–426 |
[9] | 吴瑞林, 王建中, 袁克海. 多分格相关与皮尔逊相关的蒙特卡罗仿真[J]. 北京航空航天大学学报, 2009, 35(12): 1507–1510 |
[10] | 贾永红, 谭慧, 黄若冰. 基于车载视频的道路交通指示标志的检测与识别[J]. 测绘地理信息, 2016, 41(5): 47–50 |