基于视觉的火灾检测相比传统的火灾检测方法具有反应快、适用范围广等优点，因此正成为火灾检测技术应用研究的热点，而基于视觉的火焰检测是基于视觉的火灾检测的一个重要依据。但基于视觉的火焰检测方法目前仍存在着鲁棒性差、检测效率低等问题。纹理特征是火焰图像的一种静态特征，反映的是图像或图像区域像素亮度值在空间中分布与组合的变化情况，通过纹理判别，可以有效排除与火焰相近的一些干扰物。龙铭等^[1]选取反差、灰度相关、能量和逆差矩等4种纹理特征统计量，描述了火焰图像分割区域的灰度纹理特征；严云洋等^[2]和卢英^[3]等用多尺度局部二值模式(local binary pattern，LBP)特征描述火焰的静态纹理，从而得到更全面的火焰特征信息。卢英等^[4]还提出了一种基于多尺度LBP与GBP纹理特征的火焰识别算法，提高大空间建筑场景中基于视频图像的火灾的识别率。张彤等^[5-7]对火焰纹理的局部二值模式进行了不同方向的研究。实际上，火焰不仅有静态时特定的纹理，也有动态时纹理的某些变化特征。比如火焰区域的某些像素灰度值在时域上会有较大的变化，特别是处于火焰边缘区域的像素。邵婧等^[8]提出了一种基于动态纹理特征分析的新型图像型火灾检测算法; 赵亚琴^[9]提出一种利用旅行者行为图论的火灾火焰视频动态纹理分析与识别方法; Audrey等^[10]则利用简单的纹理描述器去说明大约98%的火焰检测。可见火焰的静、动态纹理对火焰的识别都是有效的，如果在提取火焰静态纹理特征的同时，能恰当地描述火焰的动态纹理，将有助于更准确地描述火焰，从而提高火焰检测的准确率; Zhao等^[11]对LBP进行了较为合理的扩展，提出了具有代表性的卷积局部二值模式（volume local binary pattern，VLBP），把时域信息融入动态纹理中。同时，为了减少计算量和使算子更容易扩展，又提出仅仅考虑3个正交平面上的2维LBP模式，得到了三正交平面局部二值模式（three orthogonal planes local binary pattern, LBP-TOP）。并将该方法用于人脸表情识别，取得了显著的成果。许多研究表明LBP-TOP在描述动态纹理方面能取得不错的效果。Xu等^[12]将其用于拥挤场景中检测不寻常的事件; Sthevanie等^[13]将LBP-TOP稍作改变用于火焰动态纹理识别，以加速火焰识别过程，并用KNN算法对火焰视频与非火焰视频进行分类。

本文考虑到有些火焰呈现大面积白色，表面相对平滑，如果按照Sthevanie等^[13]方法，将火焰XY平面的纹理特征用LTP^[14]表示，在阈值的作用下静态纹理模式将过于集中，不利于与其他干扰物区别。因此本文将八邻域的LBP^u2[15]作为XY平面的静态纹理特征描述子，在尽可能保留火焰静态纹理模式的同时，不至于维数过多。同时，Sthevanie等^[13]用KNN算法对火焰纹理的三维特征进行分类识别，考虑到3个维度的特征串联维数较多，用KNN算法效率较低，本文用维度加权的支持向量机进行分类识别，即根据火焰纹理3个维度单独作用的识别率赋予相应的权重，再用支持向量机分类识别。实验结果表明，本文算法相比Sthevanie等^[13]的算法在火焰识别准确率和检测效率上都有较大的提高，在Bilkent大学火灾视频库的实验中，本文算法也表现出了较高的火焰检测率和较低的误检率。

1 基于LMP-TOP的火焰动态纹理提取

通常情况下，视频序列可以看成XY平面在时间轴T上的堆积，然而，它其实也是XT平面在Y轴上的堆积或者YT平面在X轴上的堆积。XY平面代表了物体的表观信息，XT平面给出了某一行随着时间变化的视觉信息，而YT平面则给出了某一列随着时间变化的视觉信息，如图 1所示，左边为400×300×250的视频序列。Zhao等^[11]对视频序列除边界外的所有像素分别提取XY、XT、YT 3个正交平面的LBP，然后将它们连接成一个特征直方图，处理过程如图 2所示。通过这种方法，就同时考虑了纹理在时间和空间上的信息。对于XY、XT、YT 3个平面的邻域采样点个数和X、Y、T 3个方向的半径都可以不同，它们分别被表示为P_XY、P_XT、P_YT以及R_X、R_Y、R_T，这样相应的动态纹理特征就被标记为LBP-TOP_{PXY, PXT, PYT, RX, RY, RT}^[11]。

在火焰视频中，Sthevanie等^[13]考虑到火焰多层次的静态纹理特性，用LTP将火焰与常见的均匀纹理干扰物区别开来。考虑到有些火焰会呈现大面积白色，如图 3（a）所示，这时火焰表面也变得均匀，如果使用LTP表示火焰静态纹理特征，在阈值的作用下，特征模式将过于集中，与均匀纹理的干扰物有着一样的模式分布，不利于区分两者，为此，本文对XY平面采用8邻域的LBP^u2进行描述，如图 3（c）所示，在尽可能保留火焰静态特征的同时，不至于使特征维数过大。

对于XT和YT平面，它们反映的是火焰随着时间的变化特性，火焰的边缘会出现周期性闪烁，具体表现为火焰边缘的像素值会出现较大的周期性变化，而一般干扰物不会。可以想象，对于某一个像素，当它（像素值）与时间轴上刚好发生闪烁的帧上的相应位置比较时，或者大于某一正阈值（T_h），或者小于某一负阈值（-T_h）。引入阈值T_h的目的是为了排除由于光照等因素引起的像素值随时间的微小变化。由以上分析可知，当把时间轴T上的半径R_T取值为火焰闪烁的间隔，将得到较为明显的火焰变化特征。根据文献[16]分析，火焰的闪烁频率主要分布在7~12Hz之间，而视频的采集帧率一般为25 f/s，所以每隔两、三帧火焰闪烁一次，实验中发现每隔两帧火焰纹理有较大变化，故本文将时间轴半径R_T取值为2。同时考虑到火焰在相应位置闪烁，这对应于正交的主方向，所以把P_XT、P_YT取值为4，这对于使用LTP表示的特征也有利于避免维数过多，同时不至于丢失太多信息。本文把这种用LBP和LTP合作描述动态纹理三维特征的描述子叫做三正交平面局部混合模式（LMP-TOP）。

2 基于维度加权的支持向量机

因为用LMP-TOP描述的火焰动态纹理特征维数较多，本文选择适用于高维度空间向量的支持向量机进行分类识别。支持向量机是以统计学习理论为基础的一种二分类器，它通过训练数据集建立一个超平面，并使得两类样本以最大间隔分开，然后利用训练结果模型对测试数据集进行分类。对于小样本和多维度的数据集，支持向量机相比其他分类器具有较为明显的效果。

由于不同平面提取的火焰特征是不同的（1个静态特征，2个动态特征），不难想到它们对视频的分类贡献度是不同的，如果为不同平面赋予相应权重，将使核函数尽可能被贡献度大的平面特征所支配，从而提高分类准确率。为此本文为不同平面特征赋予相应的权重w，其计算方法如下^[11]：

首先分别计算3个平面的识别率，这样就得到了3个识别率X=[x₁, x₂, x₃]；然后认为识别率越高，它的贡献度增长得也越快，比如识别率从70%增长到80%好于识别率从50%增长到60%，即使它们之间都只有10%的差别。相比于最低的识别率，两个较高的识别率相对优势可以用式（1）计算：

$Y=(\mathit{\boldsymbol{X}}－\min(\mathit{\boldsymbol{X}})×\mathit{\boldsymbol{I}})/((100－\min(\mathit{\boldsymbol{X}}))/10)$

(1)

式中：I为三维的单位向量，最后，把最低的识别率权重设为1，另外两个维度的识别率权重可以根据其与最低识别率的线性关系得到，如式(3)，W为对应3个维度的权重向量。

$Y_1=\text{round}(Y)$

(2)

$Y_2=Y×(\max(Y_1)－1)/\max(Y)+1$

(3)

$\mathit{\boldsymbol{W}}=\text{round}(Y_2)$

(4)

本文的特征加权矩阵P可由式（5）得到

$\mathit{\boldsymbol{P}} = \left[ \begin{matrix} {\mathit{\boldsymbol{w}}}_{1}{\mathit{\boldsymbol{A}}}_{1}&{}&{} \\ {}&{\mathit{\boldsymbol{w}}}_{2}{\mathit{\boldsymbol{A}}}_{2}&{} \\ {}&{}&{\mathit{\boldsymbol{w}}}_{3}{\mathit{\boldsymbol{A}}}_{3} \end{matrix} \right] $

(5)

式中：w_i(i=1, 2, 3) 是维度权重，A_i(i=1, 2, 3) 是3个维度的单位对角矩阵，A_i的阶数由每个维度的特征数决定。

考虑到径向基核函数的适用性，本文选择使用径向基Gauss核函数。特征加权径向基核函数为

$ \begin{array}{c} k_p(\mathit{\boldsymbol{x}}_i,\mathit{\boldsymbol{x}}_j)=\exp(－γ||\mathit{\boldsymbol{x}}^T_i\mathit{\boldsymbol{P}}－\mathit{\boldsymbol{x}}^T_j\mathit{\boldsymbol{P}}||^2)=\\ \exp(－γ({(\mathit{\boldsymbol{x}}_i－\mathit{\boldsymbol{x}}_j)}^T\mathit{\boldsymbol{PP}}^T(\mathit{\boldsymbol{x}}_i－\mathit{\boldsymbol{x}}_j))) \end{array} $

(6)

式中：γ为核函数的宽度参数，本文使用K折交叉结合网格搜索算法寻找最优的γ。

3 实验结果与分析

本文在CPU为Intel.i3，主频为3.40 GHz，内存为4.00 GB的实验环境下用MATLAB R2012b进行测试。在参数选择上，除上文分析过的外，依据文献[13]，把R_X、R_Y都取值为1，帧样本数^[13]NP取值为5，由于R_T取值为2，所以本文实际上是对序列长度为9的疑似火焰区域进行LMP-TOP提取。

训练的过程如图 4所示，首先依据火焰的颜色特征提取视频中某一帧的疑似火焰区域，本文的疑似火焰区域用文献[17]的方法提取，然后再以该帧为结尾帧，序列长度为9的连续视频片段中对疑似火焰区域进行LMP-TOP提取，最后把得到的特征放入特征加权的支持向量机中进行训练，得到效果最好的模型。

测试过程如图 5所示，对测试视频提取疑似火焰区域后，也提取其LMP-TOP描述子，最后用训练得到的模型进行识别分类。

本文的实验库是从网上下载的44段视频，其中包括22段火焰视频和22段常见的与火焰颜色相似的干扰视频。这些火焰干扰物视频既包括始终静止的，也包括运动的，既有表面粗糙的，也有表面均匀的。本文把上述视频均分成两部分，分别用于训练与测试。即把11段火焰视频和11段非火焰视频用于训练，剩下的用于测试。

训练和测试过程均从每个视频中选择100个疑似火焰序列，这样用于训练和测试的样本各有2 200个。为了验证上文的分析，确定3个正交平面分别用哪种模式提取特征效果更好，以及对LTP中阈值的确定，本文通过改变LMP-TOP的参数设计了几组实验，如表 1所示。

表 1中，第1~4组只改变XY平面特征描述子，第1组采用4邻域的LBP，第2组采用4邻域的LTP，第3组采用8邻域的LBP^u2，第4组采用传统的8邻域LBP，这4组XT和YT平面特征都用4邻域的LTP描述；第5组把XT平面和YT平面的特征用8邻域的LBP^u2表示，其他的与第3组一致；1~4组中LTP阈值都设置为5，而第6组设置为10，其他的与第3组一致。

由第1~4组数据可以看出当XY平面用8邻域的LBP^u2描述时效果最好，这是因为用传统的4邻域LBP描述火焰静态纹理特征时将把许多信息丢失掉，而用LTP方法，在阈值的作用下纹理模式过于集中，不利于区分。至于传统的8邻域LBP，由于其包含了许多弱相关或不相关的特征，反而不利于分类识别，且其维数也是一个大问题。由第3组和第5组数据可以看出对于XT和YT平面的动态火焰纹理特征描述，用4邻域的LTP比8邻域的LBP^u2识别效果更好，这是因为在光照、视频质量等因素的影响下，非火焰视频某位置像素值在LBP^u2中可能被认为发生了变化，而在LTP中，它将被视为不变，从而把火焰与非火焰区分开来。由第3、6组可以看出，阈值取值为5较为合适，因为过大的阈值将使火焰像素值的变化也检测不出来。比较第2组和第4组的识别率可以知道本文算法相比Sthevanie等^[13]的算法效果得到了提高。此外，从几组数据中可以看出，该特征提取分类方法在视频火焰识别中效果不错，最高可以达到93.36%，且使用维度加权的方法比直接连接3个平面特征效果好（最后一列中括号内为各个维度的权重），这是因为通过维度加权使核函数的计算更多地依赖于强相关的维度特征。

为了更好地对本文的算法进行评估，本文对目前火灾检测领域公认的数据库Bilkent大学火灾视频库（http://signal.ee.bilkent.edu.tr/VisiFire/index.html）的8段视频进行了测试，并将结果与Sthevanie等^[13]的算法及国内外部分文献^[18-20]进行对比，测试视频示例如图 6所示，检测结果及与其他文献的对比数据如表 2、表 3所示，其中LMP-TOP各参数的设置及使用的持向量机模型与第3组实验一致。

从表 2和表 3可以看出文献[18]对于森林火焰有较高的准确率，对于其他类型的火焰，尤其是当非火焰干扰时准确率大幅度降低，这是因为它只用森林的火焰样本进行统计分析，所以在其他场景的适用性较低，而因为检测步骤过于简单，对火焰的一些主要特征缺少分析，所以对车灯这种具有类似火焰颜色的运动物体误检率高。文献[19]采用双差法并结合HSI空间中的3个颜色公式检测运动目标，虽然基于多阈值判定的双差法在火焰视频中检测结果较好，但也容易误检类似火焰颜色的运动物体，所以对于车灯的干扰误检率极高。文献[20]利用视觉显著性来检测火焰，当火焰与背景相似时，火焰的显著性将减弱，所以漏检率上升，如视频2、3。但由于文献中融合和火焰颜色、纹理、闪频等特征，所以检测效果不错。文献[13]也即Sthevanie等的算法对于火焰3个维度的纹理特征都统一使用局部三值模式，并用KNN算法进行分类，由于火焰静态纹理特征在三值模式的阈值作用下可能过于集中，这将不利于火焰与其他纹理均匀的干扰物的区分，本文用LBP^u2来提取火焰的静态纹理特征，在有效保留火焰纹理信息的同时，不至于维数过高。同时，本文根据3个维度纹理特征单独作用于火焰识别的准确率赋予3个维度相应的权重，用维度加权的支持向量机进行分类识别，有效地使核函数的计算更多地依赖于强相关的维度特征，从而使本文算法的检测准确率相比Sthevanie等的算法有了较大提高。

本文算法在火焰位置相对固定的情况下（如视频1、4、5、6），检测效果较好，但是在风大火焰摇摆不定的场景下（如视频2、3），火焰的检测率下降，这是因为本文动态纹理提取方法是以某一帧的疑似火焰区域进行定位，整个特征向量是在以该区域为底面积，序列长度为高的体积内进行计算的，如果帧间火焰位置漂移太多，统计的其他几帧静态特征和动态特征大部分将不再是火焰区域的，而是背景区域的，从而造成误判。对于非火焰的车灯（视频7、8），本文算法虽然相比文献[18]和文献[19]有大幅提升，但相比文献[20]还是有点不足，这是因为本文仅用到了火焰的颜色和静动态纹理特征，所以对某些非火焰的判断依据不够充分。

在检测时间方面，本文是在9帧连续视频序列里提取动态纹理进行分类识别的，对于分辨率为320×240的视频，如果直接使用训练好的支持向量机模型，这个时间平均为1.17 s，即从火焰开始燃烧到发现火焰的时间为1.17 s，它比Sthevanie等^[13]用KNN算法的时间（2.51 s）提高了一倍多，从这里可以看出在维数较多时支持向量机相对于KNN算法的优势。

4 结束语

针对Sthevanie等对疑似火焰区域提取静动态纹理时，用局部三值模式描述火焰静态纹理特征不利于把火焰与其他纹理均匀的干扰物区别开来，使用KNN算法分类效率较低的问题，本文用均匀局部二值模式代替局部三值模式来提取火焰的静态纹理特征，在有效保留火焰静态纹理特征的同时，不至于维数较高。同时用维度加权的支持向量机代替KNN算法进行视频火焰纹理的分类，实验结果表明本文算法在检测准确率和检测效率上均有较大提高，且用维度加权的方法相比直接连接三维特征效果更好，在Bilkent大学火灾视频库的实验中，本文算法也表现出了较高的火焰检测率和较低的误检率。但对于夜晚车灯等干扰物，极易对火焰检测造成干扰，本文的检测效果并非那么理想。所以今后将致力于融入火焰的其他特征，进一步提高算法的鲁棒性。