火灾是舰船面临的重大威胁,防火与灭火是保障舰船生命力的主要任务之一。以美国海军为例,在冷战时期发生的800多起舰船事故中,80%以上都与火灾有关。随着我国海军的快速发展,舰船数量不断增多,如何有效地应对火灾,逐渐成为当前安全形势下不可回避的问题。船舶舱室结构紧凑、可燃物多、内部条件复杂、通风较差,一旦发生火灾,可燃物主要发生不完全燃烧,往往会产生大量烟雾且不易及时排出。烟雾的蔓延大大降低了舱室能见度,给消防人员的灭火救援行动和消防中心的指挥部署带来极大不便。
因此,有必要研究一种船舶舱室火灾场景下的图像去烟算法,以应用到舱室内的视频监控系统或消防装备(如消防无人机[1]、智能消防头盔[2]等)中,使烟雾条件下的图像更为清晰,为灭火救援行动和消防指挥部署提供有力支撑。
目前,已有学者开展了相关研究。文献[3]通过对传统的暗通道先验算法和Retinex算法进行优化,构建了火灾场景降质图像的自适应去烟雾处理系统,但去烟效果一般、处理速度慢。文献[4-5]基于MSR(Multi-Scale Retinex)算法提出了GL-MSR图像去烟算法以应用到视频监控系统,对受烟雾影响的模糊人员图像进行了清晰化处理,该算法对于特定烟雾试验场景图像的处理效果较好、处理速度较快,但有试验[6]表明该算法不具备良好的鲁棒性和泛化能力。文献[6]算法在人工合成烟雾的图像上表现较好,但对真实的室内火灾烟雾图像的去烟效果一般;文献[7]算法主要针对室外白色烟雾进行检测和去除,类似于图像去雾。综合来看,现有去烟算法不能同时达到良好的视觉效果、较好的泛化能力和较高的处理效率。
针对上述问题,本文提出了一种结构简单、效果好的实时去烟算法。该算法受启发于Retinex理论,利用滚动导向滤波[8](rolling guidance filter,RGF)在边缘保留滤波的同时能够实现快速收敛的优势,引入图像金字塔进行多尺度融合处理,设计对比度拉伸增进视觉效果。通过对算法框架和细节的不断测试、改进和优化,达到较为理想的图像去烟效果。
1 相关算法及其适用性 1.1 相关算法图像去烟在一定程度上类似图像去雾、雨、霾等,属于图像清晰化范畴。目前的图像清晰化方法一般被分为两类,即基于物理模型的算法和非物理模型的算法。
对基于物理模型的算法,其前提是根据大气散射模型,首先分析图像的降质机理,再利用图像退化的假设条件或者先验信息等,最后利用大气散射模型恢复图像[9]。典型方法有:基于偏振特性的方法,基于深度信息的方法和基于先验知识的方法[10]。
对基于非物理模型的算法,不考虑图像退化机理,而是从人的主观视觉感受出发,实质是图像增强[11]。传统的图像增强算法主要包括:直方图均衡化[12-13]、同态滤波[14]、Retinex算法[15]和小波变换[16]。非传统的图像增强算法主要是基于深度学习的算法[17]。
1.2 适用性分析船舶舱室火灾烟雾环境下采集到的图像具有以下几个特点:
1)亮度偏暗。由于烟雾颗粒对光线的吸收和散射作用,导致图像偏暗。
2)信噪比低、边缘模糊。由于烟雾的存在和不均匀分布,导致成像噪点高、图像边缘不易清晰分辨。
3)难以构建光传输模型。由于舱室多采用日光灯照明、各处照度基本相同,而大气散射模型中的光源假设在无穷远处,且舱室内的各类设备设施条件复杂,故难以准确构建模型。
4)可能存在不易处理的高光区域。若环境中存在明火或强光,会导致图像局部出现高光,此类区域不易处理。
因此,本文认为采用基于非物理模型的方法进行图像去烟更为合适。其中,直方图均衡化易造成结果泛白或泛黑;同态滤波在颜色保真度上表现不足,视觉效果不佳;小波变换需要人为设置的参数过多,较为复杂且泛化能力不强;基于深度学习的方法往往需要使用大量相同场景下的无烟/有烟图像对来训练和优化模型,而目前没有相关的公开数据集,若使用人工合成的烟雾图像训练模型,很难在真实烟雾图像的处理中取得良好表现。综合来看,Retinex算法的应用性最强。
综上所述,本文针对船舶舱室火灾场景图像特点,在研究Retinex算法的基础上开发图像去烟算法。
2 算法基础 2.1 Retinex理论“Retinex”由Retina(视网膜)和Cortex(大脑皮层)组合而成,因此又被称为视网膜皮层理论,由Land基于色彩恒常性提出。色彩恒常性意为人眼对物体色彩的感知与物体表面的光反射特性有关,用照度-反射模型可将色彩恒常理论具体表述为:
$ I(x,y)=R(x,y)⸳L(x,y)。$ | (1) |
其中:I为原始图像;R为反射分量;L为照度分量。对式(1)两边取对数并移项得到下式:
$ \mathrm{log}\left(R\left(x,y\right)\right)=\mathrm{l}\mathrm{o}\mathrm{g}\left(I\right(x,y\left)\right)-\mathrm{l}\mathrm{o}\mathrm{g}\left(L\right(x,y)。$ | (2) |
根据Retinex理论,图像增强的核心就是对照度分量L的求取,由此便可求得反射分量R,即增强后的图像。这是一个欠定问题,只能通过近似估计来解决。为此,文献[15]通过对几种环绕函数的对比发现高斯函数的效果最好,由此提出了经典的单尺度Retinex算法(SSR)。文献[18]进一步提出了多尺度Retinex算法(MSR),将多个不同尺度因子条件下的SSR算法增强图像根据权重结合在一起。
2.2 滚动导向滤波RGFRGF是文献[7]提出的一种边缘保留滤波算法,基于有效的尺度感知滤波,可以去除图像中不同层次的细节。其实现主要由小结构消除和边缘恢复2个步骤组成。
小结构消除基于高斯滤波实现,滤波的表达式为:
$ G\left(p\right)=\frac{1}{{K}_{p}}\sum _{q\in N\left(p\right)}{\rm{exp}} \left(-\frac{{\Vert p-q\Vert }^{2}}{2{\sigma }_{s}^{2}}\right)I\left(q\right) 。$ | (3) |
其中:
边缘恢复包括迭代和联合双边滤波。将
$ {J}^{t+1}\left(p\right)=\frac{1}{{K}_{ p}}\sum _{q\in N\left(p\right)}\exp(-\frac{{\Vert p-q\Vert }^{2}}{2{\sigma }_{s}^{2}}-\frac{{\Vert {J}^{t}\left(p\right)-{J}^{t}\left(q\right)\Vert }^{2}}{2{\sigma }_{r}^{2}})I\left(q\right)。$ | (4) |
其中:
由于运用了迭代过程,因此相比于其他边缘保留滤波,RGF可以更为快速地实现收敛。
2.3 图像金字塔图像金字塔是一种非单一尺度的图像分析方法,实际是指由一组分辨率和尺寸逐渐降低或升高的图像所组成的金字塔形状的一种结构[19]。该结构的获取一般包括2个步骤,首先通过低通滤波平滑图像,再进行抽样或者插值,得到一系列缩小或放大的图像。
本文采用下采样金字塔结构,即对一幅M×N的图像在行、列2个方向上进行下采样,得到一幅(M/2)×(N/2)的缩略图,继续进行此步骤,就得到了构成金字塔的各层图像。通过采用图像金字塔,能够提取在某种特定尺度下图像中较难提取的特征,并且能够有效降低数据量,得到更为精简的图像表示。
2.4 对比度拉伸在图像增强技术中,对比度拉伸是一种实用且重要的方法。根据人为制定的规则,逐点修改图像每一个像素点的灰度值,进而改变图像灰度的动态范围[20],使图像层次更加清晰、视觉效果更加良好。传统的图像对比度增强技术有线性变换、非线性变换、分段线性变换、灰度切片等。
本文通过分段线性变换实现图像对比度拉伸。分段线性变换通过改变各分段线性函数的斜率、调整分段函数拐点的位置,以实现对任一灰度区间的扩展或压缩。
3 本文算法 3.1 设计思路根据Retinex理论,获取去烟图像的关键就在于求取图像的照度分量。在应用SSR时,发现无论如何调整高斯滤波的参数,得到的处理效果都较为一般。通过采用多种滤波器替换高斯滤波进行测试,发现RGF的处理效果和效率最为理想,因此,最终采用了RGF代替高斯滤波。
然而,在SSR中,仅使用RGF替换高斯滤波,虽能取得更好的去烟视觉效果,但处理速度并未提升,无法满足实时处理的要求。不同于文献[4-5]中通过对数查表法加速式(2)中的对数计算,本文尝试直接取消对数计算,即用原图直接减去照度分量。测试结果表明,这一步骤不仅省去了对数计算的大量时间,并且得到的去烟图像视觉效果更加良好。而这一改进也意味着该算法脱离了传统意义上的Retinex理论。
为了在不提升算法时间复杂度的前提下,进一步提升去烟效果,引入图像金字塔,选择3个尺度的图像进行处理。测试结果表明,多尺度处理不仅提升了去烟效果,也增强了算法的鲁棒性。
由于真实的火灾烟雾图像亮度、对比度都很低,因此在算法测试和优化的过程中,对比度拉伸一直作为算法的最后一步使用。
总的来说,考虑到图像去烟算法的实际应用场景,在设计算法时,既要保证尽可能好的去烟视觉效果,也要保证算法在结构上和计算上的简单性,二者在一定程度上是互相制约的,而本文算法在其中取得了较好的平衡。
3.2 算法流程本文算法流程图如图1所示。
具体如下:
步骤1 对输入图像4次下采样,得到包括输入图像在内的5层图像金字塔;
步骤2 对图像金字塔的上3层,即第2,3,4次的下采样结果,分别进行RGF滤波;
步骤3 通过双线性插值法将上一步的滤波结果恢复到原图大小,得到3个尺度下估计的烟雾分量S1,S2,S3;
步骤4 计算S1,S2,S3的平均值S,S即为最终估计的图像烟雾分量;
步骤5 将原图I减去烟雾分量S,得到初步结果;
步骤6 对初步结果进行对比度拉伸得到最终的去烟图像。
3.3 实现细节RGF参数的选取。在步骤2中,RGF的主要参数为空间权重
双线性插值。在步骤3中,需要将不同尺度下的滤波结果恢复到原图大小,这里采用双线性插值。双线性插值算法是一种单通道独立的插值算法,其核心思想是对中心像素点邻域内相同颜色分量求平均,并将该平均值作为中心像素点缺失颜色的灰度值[21]。该算法能够有效保证图像精度,且简单、高效。
对比度拉伸。在步骤6中,对比度拉伸具体实现如下(以单通道为例):
1)对输入图像进行像素值升序排序,图像像素数目为N,取N×0.99位置处的像素作为上截点
2)按式(5)进行分段截取和拉伸变换,以增强对比度。
$ R\left(x,y\right)=\left\{\begin{array}{l}10\times \dfrac{A\left(x,y\right)-N_{\rm{max}}}{\mathrm{max}\left(A\left(x,y\right)\right)-N_{\rm{max}}}+245{\text{,}}\\ A(x,y) > N_{\rm{max}},\\ 0\text{,}A(x,y) < N_{\rm{min}},\\ 245\times \dfrac{A(x,y)-N_{\rm{min}}}{N_{\rm{max}}-N_{\rm{min}}}\text{,}{\rm{else}}。\end{array} \right. $ | (5) |
为验证本文算法的有效性与可行性,分别在定性和定量的角度上将本文算法与其他经典代表性算法进行比较分析。对比算法为直方图均衡化(Histogram Equalization,HE)、多尺度Retinex算法(Multi-Scale Retinex,MSR)、暗通道先验算法(Dark Channel Prior,DCP)。根据图像景深不同、是否存在高亮区域、烟雾浓度不同,选取了4幅真实的室内火灾烟雾图像进行实验。
本文实验平台为Matlab R2018a,运行环境为Intel i5-8250U CPU,8G RAM,Windows 10/64位操作系统。
4.1 主观分析评价为直观显示本文算法的效果,选取了真实的火灾烟雾场景图像,将各算法的图像处理结果进行对比。
综合观察图2~图5的结果,可见HE处理后的图像相比于原图有了一定程度的清晰,但总是出现大面积泛白,显得十分生硬;MSR处理后的图像整体偏亮,锐度、对比度均较低;DCP处理后的图像暗部难以辨识。本文算法无论是亮度、清晰度还是对比度都更加自然,图像若存在高亮区域也不会造成结果异常,总体去烟效果最为理想。
由于主观评价易受个人因素影响,造成评价结果不一致,因此有必要使用客观评价指标来度量各算法处理后的去烟图像的质量。
本文选取图像熵、规范化平均梯度[22]和MDM[23](minkowski distance-based metric)三项指标用于图像质量评价。其中,图像熵代表图像的平均信息量,图像熵越大,说明图像信息量越大,信息越丰富;规范化平均梯度利用图像梯度的增强程度来表示图像边缘和纹理的恢复程度,其值越大说明图像越清晰锐利;MDM代表图像的对比度,其值越大说明图像色彩表现越丰富。
表1~表4依次对应图2~图5所示的算法处理结果。其中,I表示图像熵、r表示规范化平均梯度,值越大表明图像质量越高。
综合各表格数据可见,本文算法对应的处理结果最优。此外,在处理速度上,以一幅大小为640×480×3的RGB图像为例,本算法的运行时间为95 ms(10次运行时间的平均值),基本满足实时处理的要求,且还可通过硬件加速和并行处理,进一步提高处理速度。
5 结 语在研究现有各种图像清晰化方法的基础上,针对船舶舱室火灾场景图像的特点,受Retinex算法启发,结合滚动导向滤波和图像金字塔,提出去烟效果好、处理结果自然、运算速度较快的图像实时去烟算法。经过主、客观评价,相比于现存几类经典算法,本文算法在有效去烟、不丢失视觉信息的同时,还具有良好的对比度,可以运行在船舶舱室视频监控系统的计算机上进行实时去烟,但在智能消防头盔、消防无人机等消防设备上(嵌入式处理)的应用还有待进一步研究。
[1] |
郑曦, 郑航. 无人机在消防灭火救援中的应用分析[J]. 低碳世界, 2020, 10(6): 209-210. DOI:10.3969/j.issn.2095-2066.2020.06.125 |
[2] |
张成. 基于多源信息融合的智能消防头盔关键技术研究[D]. 上海: 东华大学, 2016.
|
[3] |
许骏. 面向火灾场景的图像去烟雾系统研究[D]. 上海: 东华大学, 2016.
|
[4] |
李森. 火灾初期建筑内图像清晰化及人员检测技术研究[D]. 合肥: 中国科学技术大学, 2014.
|
[5] |
LI S, WANG S, ZHANG D, et al. Real-time smoke removal for the surveillance images under fire scenario[J]. Signal, Image and Video Processing, 2019.
|
[6] |
马悦. 基于深度学习的火场灰度图像去烟算法[J]. 计算机与现代化, 2020(10): 64-68. DOI:10.3969/j.issn.1006-2475.2020.10.012 |
[7] |
CHEN W T, YUAN S Y, TSAI G C, et al. Color channel-based smoke removal algorithm using machine learning for static images[C]// Proceedings of the 2018 25th IEEE International Conference on Image Processing. 2018: 2855-2859.
|
[8] |
ZHANG Q, SHEN X, XU L, et al. Rolling Guidance Filter[C]// European Conference on Computer Vision. Springer, Cham, 2014.
|
[9] |
黄楠华. 恶劣环境下图像清晰化处理研究及应用[D]. 西安: 西安理工大学, 2017.
|
[10] |
陈本豪, 高涛, 卢玮, 等. 基于雾天图像退化模型的自适应参数优化的去雾算法[J]. 科学技术与工程, 2019, 19(21): 219-227. DOI:10.3969/j.issn.1671-1815.2019.21.033 |
[11] |
CHOI Kwon, JAEHEE Y, BOVIK A C. Referenceless prediction of perceptual fog density and perceptual image defogging. [J]. IEEE Transactions on Image Processing : a Publication of the IEEE Signal Processing Society, 2015, 24(11).
|
[12] |
LARSON G W, RUSHMEIER H, PIATKO C. A visibility matching tone reproduction operator for high dynamic range scenes[J]. IEEE Transactions on Visualization & Computer Graphics, 1997, 3(4): 0-306. |
[13] |
KIM J Y, KIM L S, HWANG S H. An advanced contrast enhancement using partially overlapped sub-block histogram equalization[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2001, 11(4): 475-484. DOI:10.1109/76.915354 |
[14] |
JUN Y C, HUANG K C Y, BRONGERSMA M L. Plasmonic beaming and active control over fluorescent emission[J]. Nature Communications, 2011, 2: 283. DOI:10.1038/ncomms1286 |
[15] |
JOBSON D J, RAHMAN Z U, WOODELL G A. Properties and Performance of a Center/Surround Retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3): 451-462. DOI:10.1109/83.557356 |
[16] |
MALLAT S. A Wavelet Tour of Signal Processing, Third Edition: The Sparse Way[M]. Academic Press, 2008.
|
[17] |
杨溪. 基于深度学习的图像增强技术研究[D]. 大连: 大连海事大学, 2020.
|
[18] |
JOBSON D J, RAHMAN Z, WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7): 965-976. DOI:10.1109/83.597272 |
[19] |
崔芮. 基于金字塔结构的人脸识别算法研究[D]. 西安: 西安电子科技大学, 2014.
|
[20] |
郑婷. 基于人眼视觉感知图像对比度增强算法的研究[D]. 成都: 电子科技大学, 2016.
|
[21] |
孙瑶. 基于FPGA图像显示的双线性插值算法的设计与实现[D]. 南京: 东南大学, 2017.
|
[22] |
HAUTIERE N, TAREL J P, AUBERT D, et al. Blind contrast enhancement assessment by gradient ratioing at visible edges. (Report)[J]. Image Analysis & Stereology, 2011, 27(2): 87-95. |
[23] |
ZIAEI NAFCHI H, CHERIET M. Efficient no-reference quality assessment and classification model for contrast distorted images[J]. IEEE Transactions on Broadcasting, 2018, 1-6. |