,
,
交通视频检测系统通过图像分析的方式来获取交通信息数据,它是智能交通系统(intelligent transportation systems,ITS)的重要组成部分。通过在道路上方架设摄像机或照相机作为传感器,将路面交通图像传到交通信息视频检测系统,利用该系统来对图像进行实时分析,并提取出车辆运行的交通信息数据,再通过一定的通信链路传送给交通信息控制中心,从而实现对道路交通的管理控制。
在采集视频图像时,由于光照的影响,图像中会产生许多阴影区间。根据阴影形成的位置可以将阴影划分为2类:自身阴影和投射阴影。其中,投射阴影是影响车辆提取和定位的主要因素,也是阴影去除的对象。在车辆提取时,车辆的投射阴影经常会被误认为是车辆的一部分,影响车辆定位和轮廓的确定,此外,阴影和其他车辆重叠,也会使系统把发生重叠的2个或多个车辆误认为是一个整体,导致车辆计数错误,从而影响系统的可靠性。因此,在车辆目标提取前,阴影检测与去除是一个非常重要的环节。
本文的主要工作是研究视频车辆检测中阴影特征提取和去除问题,给出了阴影去除算法实现过程和实验结果,并对结果进行了分析和评价。
1 常用的阴影去除方法 1.1 几何模型方法这类算法思路是从空间角度建立阴影几何模型,文献[3, 4]利用车辆和其投射阴影的二维分布模型来消除车辆阴影。根据车辆和阴影的位置关系可以确定多种阴影模型,通过匹配当前帧运动前景特征,利用其模型特征进行阴影消除。但是这类方法需要较为准确的模型,不同的场景需要不同的模型,所以只能在特定的场景中有效。
1.2 色彩空间阴影检测基于色彩空间的投射阴影消除是目前最常用的阴影去除方法,T.Horpraser等[5]利用阴影的2个特性进行去除:1) 阴影与背景在色度上相似;2) 阴影像素亮度比背景暗。两像素点的色彩矢量夹角越小,说明两像素色度差别就越小。像素矢量的长度越短,则说明该像素的亮度越暗。经典的RGB空间中的阴影消除方法的计算如式(1)。
基于纹理的阴影消去算法利用阴影区域纹理和背景区域的相关性,目标车辆的纹理和背景区域不相关,而且纹理特征受光照变化的影响。文献[6]利用基于比值判决的LBP纹理法来区分运动车辆和阴影,提出了一种灰度域阴影消除方法,并通过启发式准则进一步优化检测效果。文献[7]利用Canny边缘检测算子、边缘匹配和条件膨胀等多种技术,通过融合多帧的信息,检测室内场景中物体的投射阴影。
1.4 基于亮度的阴影特征对于视频中的一个像素点(x,y),光照模型如式(2)所示:
通常Ck(x,y)的取值范围为(1.2~1.5),利用背景像素与阴影像素点的比例可以进行阴影的检测。
这些阴影去除方法按照检测所依据的信息可分为两大类[1]:1) 基于模型的方法;2) 利用阴影特性的方法。基于阴影模型的方法[2]依赖先验几何模型,如目标的三维形状和光照模型等。通过几何模型,精确地计算出阴影的形状和位置,从而实现阴影去除,但模型的建立十分复杂,因此实际中应用并不广泛。基于阴影特征的方法利用阴影的颜色、梯度或纹理特性来进行阴影去除,由于其算法实现简单,且效率较高,因此本文采用基于特征的方法来完成阴影去除。
2 阴影特征提取本文利用单边侧阴影特征分布进行阴影消除。投射阴影可以按其灰度分布特征和空间分布特征进行特征提取,阴影的灰度分布特征是基于对视频图像中各个区域的像素分布特性的假设,而阴影的空间分布特征则是基于投射阴影产生的空间特性。
本部分操作分为:1) 通过阈值分割法从差分图像中提取出包括车辆和阴影在内的前景区域;2) 通过对4种模型的分析对提取的前景区域进行阴影特征的提取。在背景差分图像中,背景区域差分后的像素值较小且分布比较集中,在图中呈现大片的黑色区间,呈现单调递减的分布,而目标车辆区域和阴影区域的差分区间则呈现近似正态分布。如图 1。
 |
| 图 1 背景差分图像各区域像素分布Fig. 1 The pixel distribution of the background difference image |
根据图 1中的分布特性,利用频数法获得最佳阈值Tb,采用阈值分割算法对差分图像进行二值化处理,获取差分图像中前景区域,但是该前景区域不仅包含车辆,还有阴影部分,需要对它们进行处理。投射阴影由车身遮挡光照引起,它们总是分布在车身的一侧或两侧,这就是阴影的空间分布特性。文献[3]中给出了投射阴影模型,如图 2所示。
 |
| 图 2 阴影模型Fig. 2 Shadow model |
图 2中,Ho为目标物体的高度,Ws为阴影的宽度,Ls为阴影的长度。根据目标在投射阴影在2-D平面内的位置,将阴影模型划分成4种类型,如图 2(b)所示。本文根据交通场景的实际情况,分别建立了4类车辆阴影模型,如图 3所示。
 |
| 图 3 目标模型及其4个类投射阴影Fig. 3 Target model and four kinds of cast shadows |
图 3中正方体H方向的粗边表示光源方向,灰色椭圆区域表示目标车辆产生的投射阴影。对图 3中的目标车辆和其阴影在2-D平面内进行4个方向的投影,以图 3中类型1为例,四边界的投影边界中,肯定有一条边界是阴影边界线,图 4中右边界线就是阴影边界线。
 |
| 图 4 运动区域的单侧投射阴影Fig. 4 Unilateral cast shadows |
根据光照模型(式(2)),由于接收的光照减小,即Ek(x,y)会变小,所以阴影点像素亮度会比原来路面像素点暗,而且路面材质通常比较均匀,即ρk(x,y)分布范围较窄,阴影区域的灰度分布比较平坦,从而决定了阴影的灰度分布特性。
利用上述特性,对二值图像中的前景区域进行4个方向投影,获得4个方向的投影边界曲线,将该投射边界曲线上的像素点映射到差分图像中,就可获得一组差分图像中像素点采样值,其中灰度均值较低一条边界曲线所对应的方向,就是投射阴影产生的方向,依此来求得阴影像素值的分布区间。算法如下:
1) 分别从4个方向对前景区域进行投影(从图像的4个边界,沿垂直或水平方向搜索第1个灰度值不为0的像素点,所有点的集合就是该方向上的投影边界),获得4个方向边界曲线分布。将这4个方向的边界曲线映射到差分图像中,创建4个数组U[256]、D[256]、L[256]和R[256]分别存储上、下、左、右4个方向的灰度分布,其中数组下标表示灰度差值,范围从0~255,数组中元素的值表示该灰度值的频数。图 5为4个投影边界在差分图像中的映射结果。
 |
| 图 5 4个方向投影边界Fig. 5 Projection boundary in four directions |
2) 因为阴影区域的像素呈现正态分布,为此,求得4个投影边界的灰度分布均值ES,见式(4):
3)利用上一步得出的分布均值ES,计算其投影边界灰度分布的标准差
,计算如式(5):
根据正态分布特性,绝大部分的阴影像素点分布在区间(ES-,ES+内。该帧图像的特征提取结果为:ES=56,=17,则阴影像素点分布在(39,73)内。
阴影特征提取算法通过分析差分图像的单边侧灰度分布,获得视频图像中阴影区域的像素分布情况。为了去除阴影,对图像分割进行修改,此时可分为2类情况:当前帧像素点灰度大于等于背景图像的像素点时,则该像素为浅色车辆或者背景,不需要消除阴影,只进行正常的最佳阈值分割;当前帧像素点灰度小于背景图像的像素点时,则有可能是深色车辆或者阴影,需要对其分别进行处理,在此引入阴影像素分布区间的分割方法。计算如式(6):
,ES+)。
由此可知,当前帧图像与背景图像的差值小于0时,若像素点与背景图像的差值绝对值小于最佳阈值,或者落在阴影分布区间(ES-,ES+)内,即为车辆阴影,将它们作为背景点处理,就可以实现阴影的去除。差分图像的阴影去除结果如图 6所示。
 |
| 图 6 投射阴影的去除Fig. 6 Remove the cast shadow |
本文实验采用的是西安市南二环中段所拍摄的交通视频,总帧数为5123,单帧图像分辨率为288×360。本文所有的算法程序均在VC++6.0开发平台下实现。实验环境为Intel (R) Core (TM)2 Quad CPU Q8300 2.5GHz,内存2.5G。实验中,首先,获得交通视频的帧图 7(a),然后,通过区域背景差分法,最佳阈值分割,得到图 7(b),最后,采用本文方法,由式(4)求得阴影像素分布均值为ES=EL=56,由式(5)求得阴影像素分布区间为(39,73),利用该阴影分布,对图像进行阴影去除,结果如图 7(c)所示。
 |
| 图 7 基于单边侧阴影特征的阴影去除Fig. 7 Shadow removal based on the characteristics of unilateral side shadow |
从检测结果可以看出,本文算法能够有效地去除掉车辆投影阴影区域,并且保留了视频中运动车辆的准确形态。在实现阴影消除时,单帧图像的阴影分布特征提取算法耗时仅为0.001878s,完全满足检测系统的实时性要求。
为了评价阴影消除的算法性能,引入2个评价指数:阴影消除率和错误消除率,它们的计算公式如式(7)和(8)所示:
检测结果如表 1所示,结果表明阴影消除率平均能达到93.0%,最佳能达到98.9%,阴影去除效果良好。
| 检测车辆 | 阴影消除率/% | 错误消除率/% |
| 最好 | 98.9 | 10.9 |
| 最差 | 80.5 | 24.6 |
| 中间值 | 93.0 | 18.9 |
本文研究了固定摄像头场景下灰度图像的阴影消除方法,通过区域背景差分和最佳阈值分割对图像进行二值化处理,但是此时二值图像的前景区域除了车辆,还包括阴影;为了去除阴影,根据阴影的空间和灰度2种分布特性来确定阴影像素的分布范围。首先利用阴影的分布特性,计算二值图像中阴影像素的投影边界,再将其映射到差分图像中,计算出阴影像素值的分布区间,最后采用阴影灰度分布特征对差分图像进行无阴影图像二值化处理,从而实现阴影去除。实验证明,此方法可有效地去除视频中车辆的阴影区域。本文方法,较几何模型方法对模型的要求更低,较色彩空间阴影检测方法计算量更小,实时性更好。同时,本文方法也存在一定不足,在车身与路面像素分布非常接近的情况,阴影去除时也会消除部分车身像素,因此还需要做进一步的研究。
| [1] | 杨丹,余孟泽.车辆视频检测及阴影去除[J].计算机工程与设计,2011,32(6):2072-2074,2079.YANG Dan,YU Mengze.Vehicle detection and shadow removal in video[J].Computer Engineering and Design,2011,32(6):2072-2074,2079. |
| [2] | LEVINE M D,BHATTACHARYYA J.Removing shadows[J].Pattern Recognition Letters,2005,26(2):251-265. |
| [3] | 祖仲林,李勃,陈启美.基于局部纹理特性的运动车辆阴影消除[J].计算机工程,2009,35(16):167-169.ZU Zhonglin,LI Bo,CHEN Qimei.Shadow elimination for moving vehicle based on local texture characteristic[J].Computer Engineering,2009,35(16):167-169. |
| [4] | YONEYAMA A,YEH C H,KUO C C J.Moving cast shadow elimination for robust vehicle extraction based on 2D joint vehicle shadow models[C]//Proceedings of IEEE Conference on Advanced Video and Signal Based Surveillance.Los Angeles,USA,2003:229-236. |
| [5] | HORPRASERT T,HARWOOD D,DAVIS L S.A statistical approach for real-time robust background subtraction and shadow detection[EB/OL].[2013-09-24].http://wenku.baidu.com/view/d26c9ff04693daef5ef73dcc.html . |
| [6] | HSIEH J,HU Wenfong,CHANG Chiajung,et al.Shadow elimination for effective moving object detection by Gaussian shadow modeling[J].Image and Vision Computing,2003,21(2):505-516. |
| [7] | XU Dong,LI Xuelong,LIU Zhengkai,et al.Cast shadow detection in video segmentation[J].Pattern Recognition Letters,2005,26(1):91-99. |
| [8] | 杜丽丽.智能交通系统中视频车辆检测技术的研究[D].青岛:中国海洋大学,2009:39-40.DU Lili.Research on video-based vehicle detection in ITS[D].Qingdao:Ocean University of China,2009:39-40. |