2. 北京航天福道高技术股份有限公司，北京 100195
2. Beijing Aerospace Fudao High-Tech Co Ltd, Beijing 100195, China
1 引 言
传感器是智能交通的基础，为交通指挥提供道路交通状况信息，如流量、速度、占有率、交通密度、排队长度等[1]。目前常用的传感器主要是感应线圈、压电式检测器、固定摄相机等[2]，它们的监测范围有限，需组网才能获取大范围交通状况，大多仅部署在城市主干道。
相比于地面传感器，卫星遥感的监测面积非常大，可一次性获取城市整体影像。目前已经能够有效提取出遥感影像中的城市道路[3,4]，如文献[3, 4, 5]分别基于形态学、多重信息融合、支持向量机来提取遥感图像中的道路，文献[6]还专门研究了道路边缘的提取问题。若能再通过图像处理技术进一步提取其中的车辆运行信息，则可以与地面传感器形成互补，从全局角度为交通指挥提供整个城市的交通状况[7]。
目前国内外都在广泛开展交通遥感图像处理方面的研究，如利用阈值分割技术区分道路和汽车[8,9,10,11,12]，在此基础上采取形态学的预处理措施，可以有效突出汽车的特征，改善识别效果[13]。机器学习等自适应建模技术也被大量应用于这一研究领域，如通过径向基神经网络、概率神经网络将纹理特征与亮度特征融合到一起识别汽车[14,15,16]。
交通遥感图像处理的难点在于汽车阴影的干扰，它与深色车亮度相近不易区分[17,18]。几辆并排行驶的汽车很容易被对方的阴影覆盖，变成一个连通的深色区域，被误识别为一辆大型汽车。视频检测可以利用地面背景信息消除阴影，但这种方法对遥感图像并不适用，因为遥感卫星的过顶时间和拍摄次数有限、对一个城市每天最多拍摄一次，很难获得不包含车的地面背景。如何去除阴影是遥感图像处理中的一个研究重点，目前主要采用的方法包括同态滤波、直方图均衡、纹理分析等方法[19,20]。但是对于汽车阴影，处理难度相对较大，因为汽车附近存在多个相对运动的光源，除了太阳光，周围的汽车、建筑物都会将太阳光反射到汽车上产生阴影，随着汽车的移动，这些光源的数量和方向时刻都在改变，很难通过数学模型准确描述一辆汽车的阴影变化。针对汽车阴影处理国内外也进行了大量研究，例如通过拍摄时的太阳高度和方位角建立模型、预测汽车的阴影，但这些信息需要在遥感城市道路时同步记录，否则无法实现车辆阴影消除[7]。除了阴影，车窗也会形成干扰，浅色车的车窗(包括前后窗、天窗)呈现深色，会被误识别为深色汽车，很容易把一辆完整的浅色汽车分割为数个互不联通的小区域。
针对上述问题，本文以Phong光照模型为基础，设计了一种交通遥感图像处理方法，用于识别、定位路面上的汽车。 2 遥感图像中的汽车特征
汽车特征提取的主要目的是获取汽车、路面、阴影3类物体的区别，建立识别车辆和消除阴影的方案。 2.1 应用Phong光照模型的特征分析
汽车的亮度和阴影的特征可以通过Phong光照模型来描述，物体亮度由环境光的漫反射、太阳光的漫反射、太阳光的镜面反射组成，即
式中，ka、kd、ks分别为物体对环境光的漫反射系数、对太阳光的漫反射系数和镜面反射系数；Ia、Il分别为环境光及太阳光强度；θ为太阳光与物体表面法线之间的夹角；α为反射光与视线之间的夹角；n为镜面反射参数。
考虑到实际自然场景中绝大部分区域为非光滑区域，式(1)中的镜面反射分量Ilkscosnα=0。物体对环境光的反射系数ka和对太阳光的漫反射系数kd都取决于物体表面特征，二者一致，即ka=kd。因此物体亮度可以表示为
物体的反射系数ka=1时称为白体，ka=0时称为黑体。介于白体和黑体之间的称为灰体。全色遥感图像中，汽车分为深、浅两类。浅色车接近于白体，反射系数ka≈1，亮度为
深色车接近于黑体，反射系数ka≈0，亮度为
路面亮度处于白体与黑体之间，属于灰体，亮度为
阴影分为两种：半影和暗影，它们的亮度可以分别通过式(6)和式(7)表示
式中，λ是光能的损失系数。光源被物体完全遮挡时形成暗影，暗影的光强为一常数，即式(6)中λ=0的情况；光源部分被物体遮挡时形成半影，0<λ<1；光源没有被物体遮挡时，无阴影，λ=1。阴影的亮度变化是先暗影后半影，顺着光照方向阴影由暗变亮，直至达到路面亮度。
对于深色车，如图 1(a)所示，由上述公式可知，顺着光照方向每一行(图 1(a)中的白线)亮度变化会经历4个过程：路面灰度、黑色、渐变为灰、路面灰度，如图 1(b)所示。
 |
| 图 1 卫星遥感图像中浅色车和深色车的亮度变化过程 Fig. 1 The luminance variance of dark and bright vehicles in the satellite RS-image |
对于浅色车，如图 1(c)所示，顺着光照方向每一行(图 1(c)中的黑线)亮度变化会经历5个过程：路面灰度、白色、黑色、渐变为灰、路面灰度，如图 1(d)所示。 2.2 汽车和路面的3项亮度特征
特征1：深色车、路面、浅色车分别处于暗、灰、亮3个灰度区域。
特征2：对于深色车(含车和阴影)，沿着光照方向亮度变化过程为：路面灰度、变暗、达到最小值、增大，路面灰度。
特征3：对于浅色车(含车和阴影)，沿着光照方向亮度变化过程为：路面灰度、变亮、达到最大值、变暗、达到最小值、增大，路面灰度。
依据特征1可从路面中提取车辆区域(含车和阴影)，依据特征2、特征3可以区分车和阴影。 3 交通遥感图像中的车辆识别定位
本文的交通遥感车辆识别定位方法包括3个环节：高斯平滑滤波与图像旋转、图层分离与车辆区域提取、去除阴影和车窗的干扰。如图 2所示，首先将根据特征1从路面遥感图像中提取出汽车区域，然后利用特征2和特征3去除车辆区域中阴影和车窗造成的干扰，其中图层分离算法、阴影消除算法、车窗识别算法是本文根据亮度特征专门设计的。
 |
| 图 2 交通遥感车辆识别定位图像处理过程 Fig. 2 The RS-image processing for vehicles recognition and location |
为了取得最佳的处理效果，首先通过高斯平滑滤波与图像旋转对原始遥感图像进行预处理。高斯滤波可以滤除因物体表面不平而引起亮度的起伏波动，有利于根据像素点灰度的上升/下降趋势识别阴影。图像旋转可以调整每列都平行于光照方向，算法仅需逐列分析灰度变化即可完成阴影识别，能简化图像处理过程。
高斯滤波是一种相邻像素点的加权平均
式中，B(x,y)为滤波后的图像像素点；A(i,j)为原始图像的像素点；w(i,j)为x,y周围的每个像素在滤波结果中的权重系数。数据处理时，式(8)对i,j∈s的区域内进行加权平均，中心点权重最高，然后依次向四周递减。滤波效果如图 1(b)所示，相比于图 1(a)的原始图像，汽车和路面的亮度变化都比较缓和。
图像旋转的公式为
式中，(x0,y0)为原始遥感图像的像素点；(x1,y1)为旋转后的像素点坐标；α为旋转角度。因为太阳光是平行光，图像中所有物体的阴影都指向相同方向，遥感图像的旋转角度α可通过计算浅色车阴影边界与图片边界之间的夹角确定，旋转效果如图 3(b)所示，列像素与阴影的方向平行。
 |
| 图 3 高斯平滑滤波与图像旋转的图像处理效果 Fig. 3 The processing result of Gaussian smoothing and image rotation |
车辆区域识别的目标是将深色车和浅色车与路面遥感图像区分开，而多类目标区分一般很难做到准确：深色车会干扰浅色车的识别，造成求取的阈值偏小，较亮的路面会被误识别为浅色车；检测深色车时，较暗的路面也会被误识别。一种常用的解决方案是通过形态学神经网络将图像变为两张，分别消除深色车和浅色车[15]，但由于仍有一些残留，后续处理会受影响。
本文设计了一种较为彻底的深、浅汽车分离和检测方法：首先基于直方图确定分界点，将原始图像分为深、浅两个图层，然后利用最大类间方差法在每个图层中分别识别深、浅车辆。该方法还包含亮度增强和深色图层反转两个辅助环节，可以有效提高汽车和路面的区分效果。 3.2.1 深色车与浅色车的图层分离
由特征1可知，深色车、路面、浅色车分别处于黑、灰、白3个区间。遥感图像的直方图中，路面像素点最多，形成巨大的峰，如图 4(a)所示。深、浅汽车的像素点分别位于峰的两侧。
 |
| 图 4 直方图 Fig. 4 Histogram |
峰值点的灰度值可以作为图层的分界点。深色图层由小于该灰度级的像素点构成，深色车包含其中；浅色图层由大于该灰度级的像素点构成，浅色车包含其中。图层分离公式如下：
深色图层
浅色图层
式中，x是原始遥感图像；x0是深色图层；x1是浅色图层；xmax是分界点。为每个图层分别求取各自的阈值，即可准确划定遥感图像中每辆汽车所在的区域。
深色图层灰度范围为[0，xmax]，浅色图层为[xmax,255]，它们的亮度都不足。为了提高汽车和路面的对比度，通过式(13)增强图层亮度，将灰度范围扩展到[2, 255]
式中，[a,b]为变换前的灰度范围；y(i,j)为变换后的灰度值。浅色图层的处理效果如图 5(c)所示。
为了提高在计算机上的图像处理的效率，深色图层的像素点yi,j可通过式(14)反转为zi,j，使深色车的形式与浅色车一致，如图 5(b)所示。分割汽车和路面时，两个图层可调用同一个软件程序分别求取各自的分割阈值
 |
| 图 5 交通遥感图像处理过程 Fig. 5 The RS-image processing for traffic |
深、浅图层的特征可以在直方图中清晰地显示出来，汽车和路面像素点各自集中于高、低两个灰度区域，如图 4(b)、4(c)所示，非常有利于使用最大类间方差法设定阈值区分车辆和路面[13,14]。最大类间方差法的核心是求取汽车和路面的类间方差σt2
式中，i为灰度级(共L级)，它的出现概率为Pi；
为汽车出现的概率；
为路面出现的概率；
。分类准则函数为
遍历256个灰度级，使σt2最大的t就是区分路面和汽车的最佳阈值。深色车区域和路面的分割效果如图 5(d)所示，浅色车区域和路面的分割效果如图 5(e)所示。浅色车区域中只有浅色车；而深色车区域中不但包含深色车，还包含深、浅汽车的阴影，以及浅色车的车窗。阴影和车窗的去除将在下一环节完成。 3.3 去除阴影和车窗的干扰
图层分离与车辆区域提取过程易受到阴影和车窗的干扰：①阴影干扰，阴影会被识别为深色车，当车间距很小时，深色车区域会被阴影连接到一起，被误识别为一辆超大型汽车，如图 5(d)所示；②车窗干扰，因浅色车的车窗呈深色而划分到深色图层，一辆完整的浅色车会被分割为数段，如图 5(e)所示。
这里设计了一种算法来消除阴影、车窗造成的干扰：首先利用光照变化特征2和特征3，顺着光照方向分析亮度的变化过程，消除部分阴影、断开阴影造成的深色车区域连接，将每辆车都划分到单独的区域进行定位；然后利用浅色车的位置确定深色图层中哪些是它的阴影和车窗，通过闭运算将它们与车合并到一起。此时深色图层中仅剩深色车。 3.3.1 深色车的阴影识别和去除
由亮度变化特征3可知，留在深色图层中的浅色车阴影与深色车相近，也呈现类似亮度变化特征2的现象，灰度由大变小再变大、远离太阳的方向逐步上升。因此可以利用汽车阴影的这种特征，顺着光照方向对深色车区域所包含的遥感图像逐列扫描，断开车与车之间因阴影造成的连接。阴影消除过程分为两种情况：
情况1：深色车区域内只有一辆车。按照亮度变化特征2，每一列中会有1个最小值。该最小值将列像素点分为两段，远离光源一段为阴影，靠近光源一段为汽车。
情况2：深色车区域内有多辆车。因为车辆和阴影交替出现，每一列中会有多个极小值和极大值交替出现。亮度变化特征2表明，两个极大值之间包含一辆汽车(和它的阴影)。与情况1同理，两个极大值之间的极小值可以作为阴影和汽车的分界线，分界线远离光源一段为阴影，靠近光源一段为汽车。
处理效果如图 5(f)所示，可以有效消除汽车间的阴影连接。这种方法还可以消除浅色车的大部分阴影。根据亮度变化特征3，浅色车的阴影呈波谷状，靠近汽车的一部分阴影仍存在于滤除结果中。这部分残留将在下一个环节进行处理。
考虑到阴影面积与太阳高度角相关，当阴影增大时更多的路面纹理包含其中，会造成阴影内部的亮度波动起伏、不利于算法消除阴影。因此本文引入了低通滤波器对图像预处理、消除阴影中的亮度波动起伏
式中，Yi是平滑后的图像；zi是原始图像；α为平滑系数(0<α<1)，当太阳高度角变低、阴影面积增加时，通过减小α增强滤波能力，可以有效平滑阴影中的亮度起伏。 3.3.2 浅色车的阴影、车窗识别与深、浅汽车定位
浅色车阴影、车窗、天窗造成的干扰可以通过它们与车的位置关系消除。虽然与浅色车不在同一个图层，但阴影、车窗与汽车的坐标靠在一起。尽管阈值分割会使它们收缩，但与浅色车间隔1~2个像素仍可认为是它的车窗和阴影；由于汽车之间要保持安全距离(≥2m，≥4像素)，深、浅色汽车不会靠得像浅色车与它的阴影(车窗)一样近。因此从深色图层中提取出与浅色车位置接近的识别结果，然后与浅色车合并，可以将浅色车的各个部分重新合并成一辆完整的汽车。合并过程采用形态学的闭运算实现，如图 5(g)所示，可在遥感图像中准确标识出每辆浅色车。闭运算是先膨胀后腐蚀
式中，Y表示图像；S表示结构元素。结构元素S在图像Y中不断移动。腐蚀的结果是S完全包含在Y中时，S原点(中心)的位置集合。膨胀的结果是S中至少有一个点包含在Y中时，S原点(中心)的位置集合。此时深色图层中的剩余部分都是深色汽车。阴影消除环节易造成畸变，汽车的识别结果很容易被割裂。这种问题也可以通过闭运算消除，畸变的修整效果如图 5(f)所示。
为了进一步改善效果，深、浅汽车识别结果中的噪声点采用开运算去除，如图 5(h)、图 5(i)所示
3.4 试验与讨论 3.4.1 试验结果
为了验证算法的适用性，本文从GoogleEarth选取了10组卫星遥感道路照片进行测试，包括天津市、张家口市、秦皇岛市、锦州市，以及美国的洛杉矶市。识别定位效果如图 6所示(白色黑框三角形标示浅色车，白色十字标示深色车)。
 |
| 图 6 遥感图像中汽车的识别定位结果 Fig. 6 The recognition and location result of vehicles in the RS-image |
表 1中，10组图像的平均识别率为浅色车大于92%、深色车大于87%。
| 张家口1 | 张家口2 | 天津1 | 天津2 | 天津3 | 天津4 | 锦州 | 秦皇岛 | 洛杉矶1 | 洛杉矶2 | |
| 浅色汽车 | 94 | 93.5 | 95 | 96.3 | 91 | 94 | 92.8 | 95.1 | 83.3 | 92.8 |
| 深色汽车 | 94.1 | 88 | 84 | 90 | 88.3 | 87.5 | 80 | 80 | 89.5 | 94.4 |
(1) 对于遥感图像中深浅两类汽车，图 6的识别结果表明算法都能够较准确识别。
(2) 对于不同城市和地区的遥感图像，表 1的试验结果表明算法具有较广泛的适用性。
(3) 汽车靠得比较近时算法出现分辨率误差，此处的深色车位于浅色车的阴影中(图 6的中部)，阴影不能被去除过多，否则深色汽车的识别结果区域过小、会被当作噪声滤除，因此造成浅色车阴影有剩余、易被误识别为深色汽车从而产生误差。如何同时保证准确识别汽车和有效去除阴影，将是本算法下一步的研究重点。
4 结 论
遥感技术可以获取城市整体交通信息，从全局角度判别交通状况。本文针对交通遥感图像处理的核心环节，设计了一种在交通卫星遥感图像中进行车辆识别定位的方法，该算法以光照模型为基础，提取出路面、深色车、浅色车以及汽车阴影的亮度变化规律，以此为基础能较准确地识别定位交通遥感图像中的每辆汽车，并且可以有效消除阴影和车窗造成的干扰。
| [1] | KIM Y W, OKUMA S, NARIKIYO T. Traffic Network Control Based on Hybrid Dynamical System Modeling and Mixed Integer Nonlinear Programming with Convexity Analysis[J]. IEEE Transactions on Man and Cybernetics, Part A: Systems and Humans, 2008; 38(2): 346-357. |
| [2] | SETCHELL C, DAGLESS E L. Vision Based Road Traffic Monitoring Sensoring[J]. IEEE Proceedings of Vision Image and Signal Processing, 2001, 148(1):78-84. |
| [3] | ZHU Changqing, WANG Yaoge, MA Qiuhe, et al. Road Extraction from High-resolution Remotely Sensed Image Based on Morphological Segmentation[J]. Acta Geodaetica et Cartographica Sinica, 2004, 33(4): 347-351. (朱长青,王耀革,马秋禾, 等. 基于形态分割的高分辨率遥感影像道路提取[J]. 测绘学报, 2004, 33(4): 347-351.) |
| [4] | LI Xiaofeng, ZHANG Shuqing, HAN Fuwei, et al. Road Extraction from High Resolution Remote Sensing Images Based on Multiple Information Fusion[J]. Acta Geodaetica et Cartographica Sinica, 2008, 37(2): 178-184. (李晓峰,张树清,韩富伟, 等. 基于多重信息融合的高分辨率遥感影像道路信息提取[J]. 测绘学报, 2008, 37(2): 178-184.) |
| [5] | CHEN Jie, DENG Min, XIAO Pengfeng, et al. Object-oriented Classification of High Resolution Imagery Combining Support Vector Machine with Granular Computing[J]. Acta Geodaetica et Cartographica Sinica, 2011, 40(2): 137-141. (陈杰,邓敏,肖鹏峰, 等. 结合支持向量机与粒度计算的高分辨率遥感影像面向对象分类[J]. 测绘学报, 2011, 40(2): 137-141.) |
| [6] | ZHOU Shaoguang, XU Yong. To Extract Roads with No Clear and Continuous Boundaries in RS Images[J]. Acta Geodaetica et Cartographica Sinica, 2008, 37(3): 301-307. (周绍光,徐勇. 在高分辨率遥感影像中提取无清晰连续边缘线的道路[J]. 测绘学报, 2008, 37(3): 301-307.) |
| [7] | LIU Zhumei, LIU Yalan, TAN Qulin, et al. Progress in Vehicle Detection from High Resoluion Satellite Imagery[J]. Remote Sensing Technology and Application, 2012, 27(1): 8-14. (刘珠妹,刘亚岚,谭衢霖, 等. 高分辨率卫星影像车辆检测研究进展[J]. 遥感技术与应用, 2012, 27(1): 8-14.) |
| [8] | LARSEN S O, SALBERG A B. Automatic Vehicle Counts from QuickBird Images[C]//Joint Urban Remote Sensing Event. Munich: IEEE, 2011: 9-12. |
| [9] | HONG Z, LI L. An Artificial Immune Approach for Vehicle Detection from High Resolution Space Imagery[J]. IJCSNS International Journal of Computer Science and Network Security, 2007, 7 (2): 67-72. |
| [10] | MISHRA R K, ZHANG Y. Automatic Moving Vehicle's Information Extraction from One-pass Worldview-2 Satellite Imagery[C]//Proceedings of International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Montreal: GEOIDE, 2012: 323-328. |
| [11] | HE Xiaofei,ZHOU Liqion,LI Jian. Traffic Information Extraction Based on the High Resolution of Remote Sensing Image[J]. Urban Geotechnical Investigation& Surveying, 2011(3): 49-51. (何晓飞, 周丽琼, 李建. 基于高分辨率遥感影像的车流信息提取[J]. 城市勘测, 2011(3): 49-51.) |
| [12] | QI Lina, ZHANG Bo, WANG Zhankai. Application of the OTSU Method in Image Processing[J]. Radio Engineering, 2006, 36(7): 25-26. (齐丽娜,张博,王战凯. 最大类间方差法在图像处理中的应用[J]. 无线电工程, 2006, 36(7): 25-26.) |
| [13] | YU Yong, ZHENG Hong. Vehicle Detection from High Resolution Satellite Imagery Based on the Morphological Neural Network[J]. Joumal of Harbin Engineering University, 2006, 27: 189-193. (余勇,郑宏. 基于形态神经网络的高分辨率卫星影像车辆检测[J]. 哈尔滨工程大学学报, 2006, 27: 189-193.) |
| [14] | LIU Jianxin. The Study of Algorithm about Vehicle Detection Based on High Resolution Satellite Image[D]. Dalian: Dalian Maritime University. (刘建鑫. 基于高分辨率卫星影像的车辆检测算法研究[D]. 大连: 大连海事大学, 2008.) |
| [15] | ZHENG Hong, HU Xuemin. An Antibody Networks Approach for Vehicle Detection from High Resolution Satellite Imagery[J]. Journal of Remote Sensing, 2009, 13(5): 920-926. (郑宏, 胡学敏. 高分辨率卫星影像车辆检测的抗体网络[J]. 遥感学报, 2009, 13(5):920-926.) |
| [16] | EIKVIL L, AURDAL L, KOREN H. Classification-based Vehicle Detection in High-resolution Satellite Images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2009, 64(1): 65-72. |
| [17] | SUN H, SUN X, WANG H Q, et al. Automatic Target Detection in High-resolution Remote Sensing Images Using Spatial Sparse Coding Bag-of-words Model[J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9(1): 109-113. |
| [18] | LIU J H, FANG T, LI D R. Shadow Detection in Remotely Sensed Images Based on Self-adaptive Feature Selection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(12): 5092-5103. |
| [19] | VOICU L I, MYLER H R, WEEKS A R. Practical Considerations on Color Image Enhancement Using Homomorphic Filtering[J]. Journal of Electronic Imaging, 1997, 6(1): 108-113. |
| [20] | ZHONG Y. Optimization of Building Detection in Satellite Images by Combining Multispectral Classification and Texture Filtering[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 1999, 54: 50-60. |
| [21] | KWON Y S, PARK I C, KYUNG C M. A Hardware Accelerator for the Specular Intensity of Phong Illumination Model in 3-dimensional Graphics[C]//Proceedings of the ASP-DAC Design Automation Conference. Yokohama: [s.n.], 2000: 559-564. |