文章快速检索  
  高级检索
基于视频数据的机场跑道外来物检测
陈唯实, 李敬    
中国民航科学技术研究院 机场研究所, 北京 100028
摘要:提出了一种基于视频数据的机场跑道外来物(FOD,Foreign Object Debris)检测算法,该算法包括几何校正、背景差分、杂波抑制和伪装消除等4个步骤.其中,几何校正排除了摄像头轻微抖动造成的图像差异;背景差分利用每个像素对应的颜色向量信息,建立背景模型并进行定时更新;杂波抑制和伪装消除利用差分图像和原始图像信息,建立马尔科夫随机场和概率统计模型,在降低虚警的同时提高了检测率.将本算法应用于两组不同光照条件下获取的视频图像,检测不同形状和颜色的FOD目标;采用本算法对机场实测数据进行测试,验证了算法的有效性.
关键词视频     跑道外来物     检测     背景差分     杂波抑制     马尔科夫随机场    
Foreign object debris detection for airport runway with video data
Chen Weishi, Li Jing     
Airport Research Institute, China Academy of Civil Aviation Science and Technology, Beijing 100028, China
Abstract:Foreign object debris (FOD) detection algorithm was proposed for airport runway with video data, including four steps of geometric adjustment, background subtraction, noise suppression and camouflage elimination. Firstly, geometric adjustment rejected the image change due to slight camera motion. In the step of background subtraction, the color vector information to each pixel was used for the establishment of the background model and its periodical update. For noise suppression and camouflage elimination, Markov random field and probability statistical model were established based on the information from the subtracted and original images, which reduced the false alarms and improved the detection rate. The algorithm was applied to two sets of live video images under different lighting conditions, with the FOD targets of different shapes and colors. The algorithm effectiveness was also approved by the tests on the airport ground-truth data.
Key words: video     foreign object debris (FOD)     detection     background subtraction     noise suppression     Markov random field    

机场跑道外来物(FOD,Foreign Object Debris)是散布在机场跑道某些位置,有可能对航空器造成伤害的外来物质,包括金属零件、防水塑料布、碎石块、报纸、瓶子、行李牌等[1].最严重的一起由FOD引起的事故发生于2000年7月25日,一架飞往纽约市的法国航空公司协和式客机从巴黎戴高乐国际机场起飞后不久坠毁,共造成100名乘客、9名机组人员以及4名地面人员,共113人丧生.事故调查显示,该航班在起飞时轧过了一块由前一航班遗落的金属残片,金属片割破了左起落架的2号轮胎,导致轮胎爆裂,轮胎碎片抛向5号油箱所处位置的机翼底面,造成该油箱出现破裂,以及燃料大幅泄漏并起火,燃烧产生的热浪导致2号发动机最终起火[2].每年由FOD事故征候造成的航班延误和改期等给全球航空业带来的直接和间接经济损失高达130亿美元.巨大的人员伤亡和经济损失引起了国际航空业对FOD风险管理的高度重视,许多国家启动了机场跑道FOD自动检测技术研究.2006年,欧洲航行安全组织对FOD检测技术进行了初步评估;2007—2008年,美国联邦航空管理局(FAA)对由QinetiQ,Stratech,Xsight Systems和Trex Enterprises等4家公司生产的FOD检测系统进行了测试,并于2009年发布了咨询通告[3].我国的FOD检测技术研究还处于可行性论证阶段.上海交通大学依据FAA对FOD检测系统的性能要求,借鉴国外现有探测系统,提出了一种跑道安全检测系统方案[4].北京交通大学研究了FOD雷达目标检测中涉及的图像分割与降噪技术[5].中国民航科学技术研究院与北京航空航天大学合作搭建了一部基于视频的机场跑道FOD检测系统,并初步实现了目标检测算法流程[6].本文在该系统的基础上,对其核心检测算法做了重点改进.将其应用于测试图像和机场实测图像,检测结果优于文献[6]的算法. 1 FOD检测技术综述

人工检查是最传统的FOD检测方法.目前,大部分机场仍然主要采用人工的方式对跑道进行定期与非定期巡视,排查FOD安全隐患.当然,机场管理者也认识到,仅靠人工检查是远远不够的,迫切需要先进技术手段的支持,实现对机场跑道以及其他飞行器活动区域的持续监视.FAA测试了基于不同传感器的FOD检测技术,主要包括毫米波雷达和光学摄像头[3].

毫米波雷达是最早用于该领域的技术设备,94.5 GHz毫米波雷达能够对固定区域进行持续扫描以检测FOD目标[7].一般来说,每条跑道需要安装2~3部设备,距离跑道中线50 m以上.该系统能够在1 km距离内探测到高3.0 cm直径3.8 cm的金属圆柱体目标,并能够全天候工作.毫米波雷达同样可以采用车载的方式,架设于车顶,在运行过程中扫描车辆前方区域.移动平台上的工作人员可以在发现FOD目标之后立即将其清除.Trex Enterprises已经开发出78~81 GHz的车载毫米波雷达,应用于芝加哥米德韦国际机场.

光学摄像头是FOD检测的另一主要技术手段.该类系统采用高分辨摄像头对跑道表面进行监视.一般来说,每条跑道需要安装5~8部设备,距离跑道中线150 m以上.该系统能在仅采用环境照明的情况下,在300 m距离内探测到2.0 cm大小的目标.一旦发现FOD目标,系统能够提供该目标的实时远程图像.视频图像信息量大、复杂性高、随环境变化强烈,需要采用复杂的图像处理算法以适应光照和道面情况的变化,这也是本文的研究重点.

近年来,采用多种传感器联合进行FOD探测,发挥其综合优势已成为一种趋势.Xsight Systems搭建了基于77 GHz毫米波雷达与光学摄像头的FOD联合检测系统,并将其安置于跑道边灯附近,覆盖1 500~3 500 m2的区域.该设备利用了跑道边灯的供电系统,实现了安装成本的最小化.在该系统生成的图像中,每个像素代表 2 mm,其高分辨特性极大地降低了虚警率[8]. 2 FOD视频目标检测算法

基于视频的FOD目标检测在现有技术中成本最低.本节将重点讨论基于视频的FOD目标检测算法,其对于采用其他传感器的FOD检测系统同样具有借鉴意义.算法流程如图 1所示,包括几何校正、背景差分、杂波抑制和伪装消除等步骤,最终实现对FOD目标的自动检测、定位和预警.

图 1 FOD视频检测算法流程图Fig. 1 Flowchart of FOD detection algorithm with video data

几何校正将同一序列的图像映射到统一的坐标系中,以抑制固定场景中由于摄像头轻微抖动造成的图像差异[9, 10].背景差分采用图像序列中的当前帧和背景模型比较来检测动目标,其性能依赖于背景建模[11, 12, 13].与前期研究实现的算法相比[6],本算法针对背景差分、杂波抑制和伪装消除等步骤做了较大改进,此3个步骤获得的二值图像分别由e0,e1和e2表示,其中伪装消除利用了原始图像的统计信息,下面分别详述. 2.1 背景差分

由于视频图像的复杂性和多变性,建立准确的参数模型(如高斯模型或混合高斯模型)非常困难,从而影响目标检测的效果[14].因此,本文基于聚类分析的思想,建立一个非参数的背景模型,将背景差分转化为聚类问题.基本思路是,首先基于每个背景像素对应的颜色向量信息建立样本集合,一个新样本通过与该数据集合对比确定其是否归属该集合,进而判定目标的有无.

具体地说,视频图像的每个像素[x,y]通常对应R,G,B三色信息,构成三维向量I[x,y]=(r,g,b),标定当前帧图像的背景模型为Bi,其每个像素[x,y]由式(1)建立颜色向量集合:

每个背景像素[x,y]由之前的N个背景样本值建模.

在系统运行之初,通常无法提供足够的图像数据构造背景模型.因此,提出一种基于单帧图像的背景模型初始构造方法.由单帧图像建立背景模型基于以下假设:相邻的像素具有相似的时域分布.因此,可由每个像素邻域像素的向量集合建立背景模型.准确地说,背景模型的向量集合可由单帧图像中每个像素的邻域随机构成.

建立背景模型之后,计算背景模型中每个像素的颜色向量集合中心:

对于当前帧图像,计算其中每个像素的颜色向量Ii与背景模型中心Oi之间的欧式距离:

从而得到二值图像e0,其中T代表目标(e0[x,y]=1),B代表背景(e0[x,y]=0).由于本算法利用了RGB颜色信息,也可称为RGB背景差分.

对于当前帧图像中判定为背景模型样本的颜色向量Ii,可将其用于背景模型的更新.在更新背景模型时,采用随机设定更新周期,随机选择更新样本,利用邻域背景像素信息等背景模型更新方法[15]. 2.2 杂波抑制

尽管经过了RGB背景差分处理,前景图像中仍然包含了大量虚警和漏检的目标.因此,需要利用差分图像和原始图像提供的统计信息,在后处理中进行杂波抑制和伪装消除.

中值滤波和形态学处理是两种典型的杂波抑制技术[6],尽管这些方法在有些情况下非常有效,但其在抑制杂波的同时也会降低检测率.本算法通过在差分图像e0中的目标像素(e0[x,y]=1)邻域建立马尔科夫随机场(MRF,Markov Random Field)模型[16],计算其目标关联概率以修正目标检测结果:

式中,E为MRF模型;e0B代表e0[x,y]=0的区域;e0T代表e0[x,y]=1的区域;N(E)代表了MRF中相应像素的数目.根据式(4)修正e0从而得到新的二值图像e1.显然,如果一个在e0中被确定为目标的像素邻域以目标像素e0[x,y]=1为主,则其目标关联概率就较高,其被判定为杂波(e0[x,y]=0)的可能性就较小;反之,如果一个在e0中被确定为目标的像素邻域以背景像素(e0[x,y]=0)为主,则其目标关联概率就较低,其被判定为杂波的可能性就较大. 2.3 伪装消除

有些情况下,FOD目标的颜色与背景非常相似,形成伪装的效果,导致漏检.鉴于检测图像中目标通常为平滑联通区域,提出一种空域目标检测方法以消除伪装.首先定位e1中的目标像素(e1[x,y]=1)的邻域像素,计算原始图像中该像素与目标像素之间颜色向量的平均欧氏距离:

S代表原始图像中像素[x0,y0]的邻域,其颜色向量为I[x,y].根据式(5)进一步修正e1从而得到新的二值图像e2.由上式可见,邻域像素被检测为目标(e2[x,y]=1)的可能性取决于其与像素[x0,y0]颜色向量的欧氏距离,该距离越小,其在e2中被恢复为目标的可能性越大.

经过以上处理,前景图像中剩余的连通区域最终标定为FOD目标,提取出每个区域的中心坐标和像素数,并在背景中标定. 3 实验结果分析

将本算法分别应用于测试数据和机场实测数据,并将其与传统算法的检测结果进行比较,通过计算检测率(Pd,probability of detection)和虚警率(Pfa,probability of false alarm)评估算法性能.

假设被检测图像含有NA个目标像素和NB个非目标像素,目标像素中有NT个被标定为目标,非目标像素中有NF个被标定为目标,则将PdPfa 定义如下:

优良的杂波抑制方法应当在提高Pd 的同时Pfa 将保持在较低水平.本文采用人工标定的方法区分出被检测图像中的目标像素数NA和非目标像素数NB;并标定每个联通的FOD目标的中心,标定正确的目标中心数为目标数,记为a,标定错误的目标中心数为虚警数,记为b. 3.1 测试数据

测试数据为两组不同光照条件下获取的视频图像.在沥青路面上放置2类形状(圆柱体和立方体)、4种颜色的FOD目标(白色、浅灰色、深灰色、黑色),并采集图像数据;测试图像大小为480×640像素,8 bit灰度级.本文的算法流程中没有“光照调整”部分,通过对背景模型的实时更新消除光照变化的影响.

图 2所示为阴影条件下FOD目标检测的全过程.沥青路面上共放置了8个FOD目标,包括4个圆柱体和4个立方体.图 2a为原始图像,每个目标的不同侧面由于光照角度不同而表现出不同颜色.图 2b为经过几何校正和背景差分的检测结果e0,式(2)中N=10,式(3)中θ=100,图像中仍有相当数量的虚警,以及由颜色伪装导致的FOD目标漏检.通过建立MRF模型,杂波抑制剔除了图像中由零星像素组成的虚警信息,式(4)中γ=1,处理结果e1图 2c所示.MRF算法在检测性能上优于形态学处理,其在抑制虚警的同时不会影响到检测目标区域.为进一步消除颜色伪装的影响,利用原始图像统计信息获得e2,式(5)中η=50,恢复部分漏检区域.图 2d中,目标内部的孔洞被填充,其边界也有所延伸.

图 2 阴影中的FOD目标检测结果Fig. 2 Detection results of FOD targets in the shadow

图 3所示为目标后方有阳光照射下FOD目标检测的全过程,参数设置与处理图 2时相同.图 3a为原始图像;图 3b为背景差分结果e0,图 3c图 3d为杂波抑制和伪装消除后的结果e1e2.可见,目标的阴影也被当成目标检测出来,使虚警率有所提高,但对工程应用的干扰不大,因为目标阴影一般与目标本体相连,其扩大了目标区域在图像中的面积,在一定程度上反而降低了检测的难度.

图 3 阳光下的FOD目标检测结果Fig. 3 Detection results of FOD targets in the sunshine

表 1给出了图 2图 3数据的检测率和虚警率,杂波抑制能够降低虚警率,但同时也降低了检测率;伪装消除能够明显提高检测率,但同时也提高了虚警率.两组数据的处理结果相比,由于光照的影响,图 3处理结果的虚警率要略高于图 2.

表 1 测试数据的检测率和虚警率 Table 1 Probabilities of detection and false alarm on the test data
检测结果图 2数据图 3数据
PdPfaPdPfa
e00.4730.0020.4780.005
e10.4530.0010.4350.003
e20.7120.0060.8140.011

图 4以工作特征曲线(ROC曲线)的形式给出了采用不同算法时“检测率”和“虚警率”的对应关系.其中,本文的背景差分算法称为RGB背景差分,文献[6]中的背景差分由于只利用了一个灰度值,被称为灰度背景差分.显然,基于RGB背景差分的检测结果明显优于灰度背景差分;本文采用的RGB背景差分、杂波抑制和伪装消除等算法明显优于文献[6]的灰度背景差分、中值滤波和形态学处理等算法.图 4a图 4b相比,由于目标阴影对检测的影响,导致图 3的检测率接近100%的同时虚警率整体偏高,但几何校正、杂波抑制和伪装消除等算法对其作用效果也更为显著.

图 4 采用不同算法时FOD目标检测的ROC曲线Fig. 4 ROC curves of FOD target detection with different algorithms
3.2 机场实测数据

将本算法应用于河南南阳机场实测数据,验证其检测性能.采集的机场跑道道面图像大小为2 304×3 072像素,采集时间为清晨,光照温和.在实测图像中,3~5 cm长度的目标约占100个像素.对于如此小的目标,差分图像中的目标和杂波所占像素数量非常接近,很难通过传统的形态学处理剔除杂波.本算法提出的杂波抑制和伪装消除技术利用差分图像和原始图像信息,建立马尔科夫随机场和概率统计模型,在剔除虚警的同时检测到小目标.

图 5a所示,预先放置了5个目标,目标1、目标3、目标4均为一个长度约3 cm的银色螺栓(带螺母),目标2为两个银色螺母,目标5为一个长度约5 cm的黄色螺栓.表 2以目标数a和虚警数b的形式,对比了式(4)设定不同θ值的情况下本算法与文献[6]算法的检测结果.由表 2可知,本算法能够在检测出全部5个FOD目标的同时实现“零虚警”(θ=112或114),而采用文献[6]的算法检测出全部目标的同时出现了5个虚警(θ=95).图 5b图 5cθ=112时采用本算法获得的背景差分和杂波抑制结果,图 5d为伪装消除后的检测结果并标定了5个目标中心.

图 5 机场FOD实测数据检测结果Fig. 5 Detection results of FOD real data at airport
表 2 机场实测数据的检测结果对比 Table 2 Comparison of detection results on airport real data
θ文献[6]的算法本算法
abab
9555512
1004456
1103353
1123150
1143150
1163140
1183040
1203040
1303040
4 结 论

本文提出了一种基于RGB背景差分、杂波抑制和伪装消除的FOD目标检测算法,实验验证表明:

1) 针对两组测试图像数据,本算法在检测率分别达到0.712和0.814的同时,虚警率仅为0.006和0.011,杂波抑制和伪装消除对检测结果的改善效果显著,明显优于前期研究提出的基于灰度背景差分的FOD目标检测算法;

2) 本算法在背景差分环节采用的是效率最高的固定阈值分割法,随后在杂波抑制和伪装消除两个环节自适应地剔除杂波并还原部分目标,修正背景差分的分割结果,仍然能够实现实时处理;

3) 本算法对式(3)~式(5)阈值的选取采用经验值,效果较好,但以上3式中阈值的选取方法及三者关系尚需进一步研究;

4) 采用毫米波、红外、可见光等多传感器进行联合探测已经成为FOD检测系统的发展趋势,本算法可扩展为适用于不同传感器的多种模式的FOD目标检测算法.

配备多种传感器的机场FOD检测系统的运行思路为,首先采用毫米波雷达对跑道上的FOD目标进行定位,之后采用光学探测设备进行精确识别分类,在光照条件较好的情况下采用可见光摄像头,反之则采用红外摄像头.配备多套传感器的FOD检测系统将更为有效地保障大型机场的安全运行.

参考文献
[1] NAS-412 REV.1 Foreign object damage/foreign object debris(FOD) prevention[S]
[2] Patterson Jr J.Foreign object debris(FOD)detection research[J].International Airport Review,2008,11(2):22-27
Click to display the text
[3] FAA AC:150/5220-24 Airport foreign object debris (FOD) detection equipment[S]
[4] 李煜,肖刚.机场跑道异物检测系统设计与研究[J].激光与红外,2011,41(8):909-915 Li Yu,Xiao Gang.Study and design on FOD detection and surveillance system for airport runway[J].Laser & Infrared,2011,41(8):909-915(in Chinese)
Cited By in Cnki (14)
[5] 樊曼劼.机场跑道异物检测研究[D].北京:北京交通大学,2011 Fan Manjie.Airport FOD detection research on runway[D].Beijing:Beijing Jiaotong University,2011(in Chinese)
Cited By in Cnki (3)
[6] Xu Q Y,Ning H S,Chen W S.Video-based foreign object debris detection[C]//Proceedings of IEEE International Workshop on Imaging Systems and Techniques.Piscataway,NJ:IEEE Comput- er Society,2009:123-126
[7] Beasley P D L,Binns G,Hodges R D,et al.Tarsier®,a millimeter wave radar for airport runway debris detection[C]//Proceedings of European Radar Conference.Amsterdam:Horizon House Publishing Ltd,2004:261-264
[8] Vogel B.An object lesson in finding FOD[J].Jane's Airport Review,2008,20(8):56-57
[9] Radke R J,Andra S,Al-Kofahi O,et al.Image change detection algorithm: a systematic survey[J].IEEE Transactions on Image Processing,2005,14(3):294-307
Click to display the text
[10] Zitova B,Flusser J.Image registration methods:a survey[J].Image and Vision Computing,2003,21(11):977-1000
Click to display the text
[11] Haines T S F,Xiang T.Background subtraction with dirichlet processes[C]//Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics).Heidelberg:Springer Verlag,2012,7575 LNCS(PART 4):97-111
[12] Diaz R,Hallman S,Fowlkes C.Detecting dynamic objects with multi-view background subtraction[C]//Proceedings of IEEE International Conference on Computer Vision (ICCV).Sydney:IEEE,2013:273-280
Click to display the text
[13] Shimada A,Nagahara H,Taniguchi R.Backgroundmodeling based on bidirectional analysis[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D C:IEEE Computer Society,2013:1979-1986
[14] Elgammal A,Duraiswami R,Harwood D,et al.Background and foreground modeling using nonparametric kernel density estimation for visual surveillance[J].Proceedings of the IEEE,2002,90(7):1151-1162
Click to display the text
[15] Barnich O,Van Droogenbroeck M.ViBe:auniversal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Processing,2011,20(6):1709-1724
Click to display the text
[16] McHugh J,Konrad J,Saligrama V,et al.Foreground-adaptive background subtraction[J].IEEE Signal Processing Letters,2009,16(5):390-393
Click to display the text
http://dx.doi.org/10.13700/j.bh.1001-5965.2013.0762
北京航空航天大学主办。
0

文章信息

陈唯实, 李敬
Chen Weishi, Li Jing
基于视频数据的机场跑道外来物检测
Foreign object debris detection for airport runway with video data
北京航空航天大学学报, 2014, 40(12): 1678-1684
Journal of Beijing University of Aeronautics and Astronsutics, 2014, 40(12): 1678-1684.
http://dx.doi.org/10.13700/j.bh.1001-5965.2013.0762

文章历史

收稿日期:2014-01-13
网络出版日期: 2014-04-08

相关文章

工作空间