2. 淮阴工学院 计算机工程学院, 江苏 淮安 223003
2. Faculty of Computer Engineering, Huaiyin Institute of Technology, Huaian 223003, China
传统的火灾检测大多基于传感器,通过搜集火焰烟雾颗粒、火焰温度和相对湿度等信息,对火灾进行评估并做出响应[1]。但传感器必须放在火焰附近才能有效使用,且不能用于对传感器干扰较大的场景(如颗粒物较多的面粉厂),因此难以适用于大空间、开阔空间以及复杂场景。除此之外,使用传感器的火灾检测难以确认火灾位置、火焰大小、火势发展状况等信息,给火灾的预防和及时消防带来困难。不同于传统的传感器检测方法,视频火焰检测不仅适用于多种场景,而且能准确检测出火焰的相关信息,对于早期的火焰检测效果较好。
火焰的静态特征基于单帧图像获得[2],包括颜色特征、轮廓特征和结构特征等。火焰有着显著的颜色特征,大部分视频火焰的颜色检测方法均基于RGB空间,还可结合HSI、HSV、YCbCr等颜色空间以得到更为准确的火焰区域。严云洋等[3]对RGB色彩模型进行了改进,通过RGB线性变换后的正交颜色特征提取疑似火焰区域,计算简单有效,且可消除光照影响。Chen等[4]采用混合高斯模型对RGB和HSV颜色信息进行建模,并得到概率密度分布函数,再通过帧间差分法检测运动像素。但该方法鲁棒性较差,颜色与火焰相近的运动物体以及被火焰照亮的物体易被误检。Chen等[5]用RGB和HSI颜色模型对火焰进行动态分析,但由于该方法只在相邻2帧间做了差分比较,因此不适用于判别噪声较多的火焰视频。Habiboglu等[6]改进了Chen等[5]的方法,提出了一种基于块的时空协方差视频火焰检测系统,采用HSI和RGB空间提取火焰颜色区域,并采用SVM分类器训练和测试。王莹等[7]提出了一种基于RGB、HSV、YCbCr 3种颜色空间的火焰颜色模型,提取的火焰区域较为完整。火焰的轮廓和结构特征可用圆形度、矩形度、纹理、边界粗糙度、重心高度系数等进行度量[8]。Chen等[9]利用圆形度表示火焰边界的复杂度,区分边界规则的干扰物(如灯光、烟头等)。严云洋等[10]采用局部二值模式方法提取疑似火焰区域的多尺度纹理特征,并输入到支持向量机中进行识别。Lei等[11]结合纹理、面积变化等特征,采用贝叶斯分类器进行火焰识别,但该方法对于行驶的车辆等运动干扰物区分度不大。Yang等[12]融合圆形度、质心位移、面积变化、周长变化以及圆形度变化等特征,输入到支持向量机中进行分类。Zhang等[13]利用傅里叶描述子提取轮廓特征,并利用支持向量机进行判别,该方法能较好地区分太阳、灯泡等轮廓较为规则的干扰物。Zhao等[14]不仅提取了颜色、圆形度、轮廓、纹理等静态特征,还提取了闪频、面积变化等动态特征,共组成一个27维的特征向量放入支持向量机中进行检测,该方法对森林火灾的检测结果较好。
本文基于RGB和HSI颜色空间,用总结的5条规则建立新的火焰色彩模型并提取疑似火焰区域,该方法能很好地排除黄绿色和灰色区域,且弥补火焰区域内部的空洞,得到较为完整的火焰区域。然后提出了一种融合多种形状结构特征的快速火焰检测方法,最后使用支持向量机进行分类识别。实验结果表明,该方法检测效果好,算法复杂度较低,具有较好的应用前景。
1 火焰的颜色特征提取受到温度、燃烧物材料和燃烧充分程度等影响,火焰具有特殊的颜色分布规律,呈现为显著且高亮的红色和黄色,在RGB和HSI空间中,各分量间都有着特定的关系。Chen等[5]用RGB和HSI颜色模型对火焰进行动态分析,总结出的3条表达式如式(1)所示。
式中:R、B、G是火焰的红、蓝、绿颜色分量,Rt为像素点的红色分量阈值,St为像素点的饱和度阈值,Rt∈ [115,135] ,St∈ [45,60] 。但该方法容易造成火焰内部空洞,且容易将枯黄的草地、火焰燃烧时产生的浓烟等误判为火焰。为此,对该方法进行改进,总结了5条规则,并建立了新的火焰色彩模型,如式(2)所示。 式中:T1= 丨R-G丨,T2= 丨G-B丨,T3= 丨R-B丨,Rth、Gth是改进后火焰的红色分量和绿色分量的阈值,Th1、Th2、Th3分别是T1、T2、T2+T3的阈值。对比式(1)和式(2)可以看出,本文将原来的规则1做了修改,并且增加了规则4及规则5。经过大量实验发现,火焰区域内的部分高亮区域(尤其是黄色高亮区域)并不满足R≥G,因此将规则1修改为R≥B,G≥B。由于白色的RGB值为(255,255,255),而高亮的橙色和黄色R分量值和G分量值很高,B分量值相对较低,因此通过规则5可在保留火焰内部高亮区域的同时排除天空中的白色区域,式中Th3∈[10, 20]。规则4中的第1条规则可保留火焰内部的高亮区域,第2条规则中,通过T1≥Th1可排除黄绿色区域,通过T2≥Th2可排除灰色区域,规则4中的2条规则中满足其一时即判定该像素为疑似火焰像素。规则4中各阈值的取值范围为 Rth∈[230, 250],Gth∈[230,250],Th1∈[10, 30],Th2∈[10, 30],Th3∈[10, 20]。 由上述规则得到的候选火焰区域,通过膨胀和腐蚀的处理,能较好地消除噪声并填补细小空洞。当Rt=135,St=45,Rth=230,Gth=230,Th1=20,Th2=20,Th3=15时,火焰颜色特征的提取对比图如图 1所示,由图 1可以看出,改进后的方法不仅能有效地排除天空中的白色区域、类似枯草的黄绿色区域、火焰产生浓烟的灰色区域,且能填补火焰内部的空洞,进而得到较为完整的火焰区域。 2 火焰的形状结构特征选择及融合火焰具有众多形状结构特征,如圆形度、矩形度、重心高度系数、边界粗糙度、长宽比以及纹理特征等。通过颜色特征得到的候选火焰区域,还会包含一些干扰物,如车灯、路灯、太阳、红色的烟雾、被照亮的树干等。因此,需要从形状结构特征着手,排除一些与火焰相似的非火焰区域。
2.1 火焰的形状结构特征 2.1.1 圆形度圆形度表示物体边缘与圆的相似程度[12],是一种物体边缘轮廓复杂程度的度量,通过物体边缘的总长度和物体所在区域的面积,可计算出物体的圆形度值C,如式(3):
式中:S为物体所在区域面积,L为物体所在区域周长,即区域边界的长度,该长度可从边界链码中得到。圆形度衡量了物体边缘的复杂程度,其最小值取1,物体边缘越复杂,圆形度的取值越高。由于与火焰颜色相似的车灯、路灯、太阳等物体边缘复杂度不高,圆形度近似为1,而火焰燃烧时边缘较为复杂,圆形度一般远大于1,因此通过圆形度可区分边缘复杂度不高的物体。 2.1.2 矩形度与圆形度相似,矩形度表示物体边缘与矩形的相似程度[15],矩形度R的公式定义如式(4):
式中:SR为包含物体所在区域最小矩形的面积。矩形度反应了物体对其最小外接矩形的充满程度。R的取值范围为R∈(0,1],火焰的矩形度一般在0.5左右。因此通过矩形度,不仅可以区分类似矩形的物体(矩形度接近为1),还可以区分弯曲纤细的物体(矩形度接近为0)。
2.1.3 长宽比长宽比是包含物体所在区域的最小矩形宽度和长度比值[15],可对细长物体和近似圆形或矩形的物体进行区分,RatioWL非常小(接近于0)或非常大(接近于无穷大)时表明该物体为细长型物体。长宽比RatioWL的公式定义如式(5)所示:
式中:WR为包含物体所在区域最小矩形的宽度,LR为包含物体所在区域最小矩形的长度。 2.1.4 重心高度系数重心高度系数体现了物体重心高度与物体总高度的关系[15],其公式定义如式(6)所示:
式中:HC为物体重心高度,H为物体总高度。大部分形状规则的物体重心位于中央,即RatioWC接近于0.5;火焰产生的大片浓烟等区域重心偏上,即RatioWC>0.5;而火焰的重心一般偏下,即RatioWC<0.5。由此可区分火焰与一些重心偏上和靠近中央的物体。 2.1.5 边界粗糙度边界粗糙度描述了物体轮廓的随机性和粗糙性[16],采用物体的周长与其外接凸包(convex hull,CH)周长的比值进行计算,可区分边界较为光滑的物体。在一个实数向量空间V中,对于给定的集合X,所有包含X的凸集为K,则K的交集S为X的凸包,如式(7)所示:
在本文中,凸包是指包含某个疑似火焰连通域像素的最小凸集,即式(7)中X为疑似火焰连通域像素。则边界粗糙度BR的计算公式如式(8):
式中:LCH为凸包的周长,L为物体所在区域周长。 2.1.6 纹理特征纹理特征是一种分层特性,在火灾发生时,由于火焰内部温度的不均匀性,使得不同像素点的灰度级空间分布不同,从而导致火焰具有纹理分布的特性[10]。一般常见的火灾主要有建筑火灾、森林火灾等,这些火灾都属于固体燃烧物火灾,这类火灾的火焰纹理大致可分为2层:火焰部分以及固体表面部分。
在火焰检测中,纹理是一个较为显著的形状结构特征,除了可区分一些无纹理的干扰物(如红旗等),还可区分纹理与火焰差别较大的干扰物(如黄土地等)。本文采用Ojala等[17]提出的局部二值模式(local binary patterns,LBP)方法提取火焰纹理特征,根据文献[10]的结论,结合统一、旋转不变以及旋转统一不变3种LBP方法所提取的纹理特征准确率最高,3种LBP方法的公式定义为
式中:gc为中心像素灰度值,gk为邻域像素灰度值,r为邻域半径,p为邻域像素点个数,ROR为向右循环算子,LBPp,r为LBP方法最初的计算公式。 2.2 形状结构特征的选择及融合由于Bilkent大学的火灾视频库样本较少,因此本文构建了一个图片库,其中100幅火焰图片和100幅非火焰图片作为训练库,300幅火焰图片和200幅非火焰图片作为检测库,图片大小均为320×240,图 2为图片库中火焰图片和非火焰图片示例。
通过式(2)得到疑似火焰区域后,提取上述的6类疑似火焰区域的形状结构特征并归一化,采用SVM方法进行小样本训练并分类。表 1为各个形状结构特征的分类结果比较,其中数字F1~F6代表了6类特征,分别为:圆形度、矩形度、长宽比、重心高度系数、边界粗糙度和纹理特征。
特征 | 准确分 类火焰 图片数 | 火焰图片 分类准确 率/% | 准确分类 非火焰图 片数 | 非火焰图 片分类准 确率/% | 准确分类 图片数 | 分类准确 率/% | 平均处理 时间/s |
F1 | 226 | 75.3 | 122 | 61.0 | 348 | 69.6 | 0.0124 |
F2 | 251 | 83.7 | 102 | 54.0 | 359 | 71.8 | 0.0124 |
F3 | 139 | 46.3 | 138 | 69.0 | 277 | 55.4 | 0.0003 |
F4 | 233 | 77.7 | 161 | 80.5 | 394 | 78.8 | 0.0125 |
F5 | 212 | 70.7 | 126 | 63.0 | 338 | 67.6 | 0.0062 |
F6 | 247 | 82.3 | 170 | 85.0 | 417 | 83.4 | 1.0367 |
由表 1可以看出,长宽比的分类效果最差,因此对形状结构特征进行融合时摒弃长宽比特征;纹理特征的分类效果最好,但由于纹理特征的算法复杂度较高,平均处理时间远大于其他特征,实时性较差,因此不采用纹理特征进行特征融合。综上,选择圆形度、矩形度、重心高度系数和边界粗糙度4类特征进行融合,表 2为4类特征11种融合方法的分类结果比较。
序号 | 特征融合 方法 | 准确分 类火焰 图片数 | 火焰图片 分类准确 率/% | 准确分类 非火焰图 片数 | 非火焰图 片分类准 确率/% | 准确分类 图片数 | 分类准确 率/% |
1 | F1+F2 | 261 | 87.0 | 116 | 58.0 | 377 | 75.4 |
2 | F1+F4 | 237 | 79.0 | 164 | 82.0 | 401 | 80.2 |
3 | F1+F5 | 200 | 66.7 | 138 | 69.0 | 338 | 67.6 |
4 | F2+F4 | 259 | 86.3 | 146 | 73.0 | 405 | 81.0 |
5 | F2+F5 | 255 | 85.0 | 105 | 52.5 | 360 | 72.0 |
6 | F4+F5 | 227 | 75.7 | 156 | 78.0 | 383 | 76.6 |
7 | F1+F2+F4 | 267 | 89.0 | 145 | 72.5 | 412 | 82.4 |
8 | F1+F2+F5 | 265 | 88.3 | 113 | 56.5 | 378 | 75.6 |
9 | F2+F4+F5 | 263 | 87.7 | 132 | 66.0 | 395 | 79.0 |
10 | F1+F4+F5 | 224 | 74.7 | 164 | 82.0 | 388 | 77.6 |
11 | F1+F2+F4+F5 | 278 | 92.7 | 134 | 67.0 | 412 | 82.4 |
由表 2可以看出,第7种特征融合和第11种特征融合方法效果最好,均为82.4%。第11种特征融合方法虽然对火焰图片分类的准确率高,但对于非火焰图片分类的准确率过低,因此选取第7种特征融合方法,即融合了圆形度、矩形度和重心高度系数3类特征的方法。这3类特征可排除不同的火焰干扰物。通过圆形度可排除车灯、路灯等物体边缘复杂度不高的物体;通过矩形度可排除被照亮的树干等长条形物体;通过重心高度系数不仅可以排除红色烟雾等重心偏上的干扰物,还可排除太阳等重心位于中央的物体。综上,融合了圆形度、矩形度和重心高度系数3类特征后,可排除大部分与火焰颜色相似的干扰物,获取的火焰区域较为准确、可靠。
3 基于支持向量机的火焰识别SVM作为一种监督式分类方法,广泛应用于模式识别的众多领域中。SVM是一种二分类器,最早由Vapnik[15]提出,通过训练数据集建立一个超平面,使得2类样本以最大间隔分开,然后利用训练结果对测试数据集进行分类。SVM不仅可以训练高维空间向量,而且对于有限的数据训练集有着较好的分类效果。除此之外,由于在实际应用中大部分数据集是非线性的,在SVM中提供了由低维空间到高维空间非线性映射的核函数机制,因此SVM不仅可用于线性分类,还适用于非线性分类。SVM的非线性核函数包括多项式核函数k1(x,xi)、径向基核函数(radialbasisfunction,RBF)k2(x,xi)和Sigmoid核函数k3(x,xi),3种核函数定义为:
式中:x i是输入的特征向量,δ和c为核函数的参数。本文中输入的特征向量为x i=[C R RatioWC],将测试集分别用3种核函数进行分类,结果如表 3所示。核函数 | 准确分类火 焰图片数 | 火焰图片分类 准确率/% | 准确分类非火 焰图片数 | 非火焰图片分 类准确率/% | 准确分类 图片数 | 分类准确 率/% |
多项式 | 295 | 98.3 | 105 | 52.5 | 400 | 80.0 |
RBF | 267 | 89.0 | 145 | 72.5 | 412 | 82.4 |
Sigmoid | 260 | 86.7 | 137 | 68.5 | 397 | 79.4 |
由表 3看出,对火焰图片分类效果最好的是多项式核函数,次佳的是RBF核函数,对非火焰图片分类效果最好的是RBF核函数,总体而言分类效果最好的是RBF核函数。但由于多项式核函数的非火焰图片分类准确率过低,因此选用RBF作为本文SVM的核函数。对RBF的惩罚参数和核参数δ优化后,将分类准确率提升至84.4%(即准确分类422张图片)。
4 实验结果与分析本文的实验环境为MATLAB 2009a,基本配置为CPU:Intel(R) Core(TM) i3 3.07GHz,内存:1.74GB。本文采用的视频来源于Bilkent大学的火灾视频库(http://signal.ee.bilkent.edu.tr/VisiFire/index.html),视频分辨率均为320×240。表 4描述了文中选取的6段视频情况,视频的帧样本示例及检测结果如图 3所示,4段火焰视频和2段非火焰视频的算法比较结果分别如表 5和表 6所示。其中TP代表火焰视频的检测率,FP代表漏检率,TN代表非火焰视频的正确率,FN代表误检率。
视频 | 视频情况描述 |
1 | 森林火焰,火焰区域较多,火焰的浓烟中常掺有火星。 |
2 | 森林火焰,火焰区域较多,并伴有浓烟。 |
3 | 室外火焰,墙面类似火焰颜色,抖动的树叶,火焰受风的影响不断偏移、抖动。 |
4 | 室外火焰,2个工人拿着火把不停走动,火焰附近的树干被照亮。 |
5 | 夜晚公路视频,小汽车从远方驶来,车灯和被车灯照亮的地面与火焰颜色相似。 |
6 | 隧道视频,摄像头为隧道中的固定摄像头,隧道中有强光照射,车辆快速行驶。 |
文献[12]融合了圆形度、质心位移、面积变化、周长变化以及圆形度变化等特征,在对于视频中只含单个火焰且火焰轮廓变化较为剧烈时检测效果较好,如视频3。但当视频中含有多个火焰且轮廓变化不大时,检测效果欠佳,如视频1、视频2、视频4。这是因为质心位移、面积变化、周长变化等特征在火焰相对稳定时不明显,且对于多个火焰的情形,用文献[12]的方法难以准确计算出每个连通域的质心、周长、面积等的变化信息。在非火焰视频的检测中,同样存在多个疑似火焰区域的情况,因此文献[12]误检率较高。文献[13]利用傅里叶描述子提取轮廓特征,并结合边缘腐蚀算法进行判别,对于轮廓特征明显且未有物体遮挡的火焰视频检测效果较好,如视频3。但由于火焰轮廓特征集中于火焰的上半部分,在有人或其他物体遮挡火焰上半部分时将造成轮廓特征缺失,从而导致检测效果不理想,如视频4。在非火焰视频中,由于被汽车车灯照亮区域的轮廓与火焰相似,因而误检率较高。
本文算法融合了圆形度、矩形度和重心高度系数3种形状结构特征,不仅能较好地检测出多种情景下的火焰,而且不受火焰区域多少的约束。在视频3中,由于火焰受风的影响形状变化剧烈,有时重心高度系数接近于0.5甚至小于0.5,以至本文算法的检测率有所降低。在非火焰视频检测中,本文算法均优于其他文献,对于视频5,由于小汽车的车灯和被车灯照亮的区域与火焰颜色相似,且形状结构特征也较为相似,造成了较高的误检率。从整体检测结果而言,本文检测率较高,误检率较低。且由于本文使用的特征计算简单,检测速度较快,平均帧处理时间仅为25ms,适用于实时火焰检测。
5 结束语
本文通过改进的颜色特征提取疑似火焰区域,在此基础上计算火焰的6种形状结构特征,综合准确率和处理时间两方面衡量形状结构特征的分类效果,并从中选出圆形度、矩形度以及重心高度系数进行融合识别。本文提出的算法虽然取得了较好的效果,但由于建立的图片库还没有涵盖所有的火焰形状结构特征,误检率和漏检率易受图片库的影响。针对以上问题,下一步将扩充现有的图片库,使得训练样本更为完整。在此基础上,将引入一些较为显著的动态特征,增强算法的检测效果和鲁棒性。
[1] | SASIREKHA M S P, RAMYA M S, PRASANTH M R M, et al. A survey about automatic flame/fire detection in videos[J]. International Journal of Research in Advent Technology, 2014, 2(2): 145-150. |
[2] | ZHANG L, LIU X. Fire recognition based on multiple features of video images[C]//Proceedings of the 2nd International Conference on Computer Science and Electronics Engineering. Paris, France, 2013: 1597-1600. |
[3] | 严云洋, 唐岩岩, 郭志波, 等. 融合色彩和轮廓特征的火焰检测[J]. 微电子学与计算机, 2011, 10: 137-141, 145.YAN Yunyang, TANG Yanyan, GUO Zhibo, et al. Fusion of flame color and its contour for fire detection[J]. Microelectronics & Computer, 2011, 10: 137-141, 145. |
[4] | CHEN L H, HUANG W C. Fire detection using spatial- temporal analysis[C]//Proceedings of the World Congress on Engineering. London, UK, 2013: 2222-2225. |
[5] | CHEN T H, WU P H, CHIOU Y C. An early fire-detection method based on image processing[C]//International Conference on Image Processing (ICIP). [S.l.], China, 2004: 1707-1710. |
[6] | HABIBOGLU Y, GUNAY O, CETIN A E. Flame detection method in video using covariance descriptors[C]//IEEE International Conference on Acoustics Speech and Signal Processing (ICASSP). Prague, Czech, 2011: 1817-1820. |
[7] | 王莹, 李文辉. 基于多特征融合的高精度视频火焰检测算法[J]. 吉林大学学报: 工学版, 2010(3): 769-775.WANG Ying, LI Wenhui. High-precision video flame detection algorithm based on multi-feature fusion[J]. Journal of Jilin University: Engineering and Technology Edition, 2010(3): 769-775. |
[8] | MENGXIN L I, WEJING X U, KE X U, et al. A new hybrid feature extraction method based on accurate motion area[J]. Journal of Electrical Engineering, 2013, 11(10): 5563-5570. |
[9] | CHEN J, HE Y, WANG J. Multi-feature fusion based fast video flame detection[J]. Building and Environment, 2010, 45(5): 1113-1122. |
[10] | 严云洋, 唐岩岩, 刘以安, 等. 使用多尺度LBP特征和SVM的火焰识别算法[J]. 山东大学学报: 工学版, 2012(5): 47-52, 58.YAN Yunyang, TANG Yanyan, LIU Yi’an, et al. Flame detection based on LBP features with multi-scales and SVM[J]. Journal of Shandong University: Engineering Science, 2012(5): 47-52, 58. |
[11] | LEI W, LIU J. Early fire detection in coalmine based on video processing[C]//International Conference on Communication, Electronics and Automation Engineering. Berlin, German, 2013: 239-245. |
[12] | YANG X, WANG J, HE S. A SVM approach for vessel fire detection based on image processing[C]//Proceedings of International Conference on Modelling, Identification & Control (ICMIC). Wuhan, China, 2012: 150-153. |
[13] | XI Z, FANG X, ZHEN S, et al. Video flame detection algorithm based on multi-feature fusion technique[C]// Control and Decision Conference (CCDC). Guiyang, China, 2012: 4291-4294. |
[14] | ZHAO J, ZHANG Z, HAN S, et al. SVM based forest fire detection using static and dynamic features[J]. Computer Science and Information Systems, 2011, 8(3):821-841. |
[15] | 闵永林. 大空间智能消防水炮灭火系统研究[D]. 上海: 上海大学, 2010: 58-73.MIN Yonglin. Intelligent water fire monitor systems applied in large space places[D]. Shanghai: Shanghai University, 2010: 58-73. |
[16] | XUAN T T, KIM J M. Fire flame detection in video sequences using multi-stage pattern recognition techniques[J]. Engineering Applications of Artificial Intelligence, 2012, 25(7): 1365-1372. |
[17] | OJALA T, PIETILAINEN M, MAENPAA T. Multi-resolution gray-scale and rotation invariant texture classification with local binary patterns[J]. Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987. |