舰船红外目标图像主要是利用红外技术来监测和发现舰船目标[1]。然而在舰船的监测方面,基于红外图像的方法存在明显的不足。如由于敏感性和不易公开导致舰船红外图像的数据稀少,而且特殊的场景和复杂的天气,导致图像存在目标模糊、特征微弱等问题[2]。因此,开展舰船红外目标图像视觉传达增强具有重要意义。黄攀等[3]提出基于二维空间结合的舰船红外目标图像增强方法,该方法在微小目标和远距离方面具有优势,但是该方法增强后的图像模糊度较高。高子航等[4]研究了一种分割方法,分割舰船红外目标图像为源域和目标域,最后对图像进行分域处理生成对抗学习。该方法能够对舰船红外目标图像进行有效的去噪和灰度化处理,但是对目标图像的视觉传达增强效果不佳。针对上述方法的不足,本文提出一种舰船红外目标图像增强方法,利用改进的中值滤波对舰船红外图像有效去噪,使像素还原到最真实状态,并结合平台直方图法有效增强图像的局部对比度,提升舰船检测的准确率和召回率。
1 基于视觉传达的舰船红外目标图像增强 1.1 舰船红外目标图像预处理图像的预处理主要有去噪处理和二值校正等。舰船红外图像的噪声一般是海浪的冲击噪声。通过滤波可以去除噪声,常用的方法有空域滤波和频域滤波2种。由于空域滤波的实用性,设计改进的中值滤波对舰船红外图像进行预处理[5]。中值滤波是一项非线性空域过滤技术,其根据排序的理论,能够有效控制舰船红外图像的信噪比,改善图像信噪比。中值滤波的基本原理是将数字图像或数据序列中点的数值,用该点的另一个邻域中各点数值的中间值代替,从而使周围的图像数值更逼近于真实,从而减少孤立的噪声点。设置
$ {Y_i} = Med\left\{ {{f_{i - v}},...,{f_i},...,{f_{i + v}}} \right\},i \in Z。$ | (1) |
为了减少运算量,对中值滤波进行改进。首先求出每一水平行中的中值,在求得的每一水平行的中值中再求中值,最后实现舰船红外图像的中值滤波。
1.2 舰船红外目标图像分割舰船的红外图像通过热量的分布形成的图像,因此对舰船具有目标指示性[6]。由于Renyi熵能够很好衡量红外图像信号的时频分布,而且稳定性强,因此采用Renyi熵方法对舰船红外图像进行目标提取。设去噪后的舰船红外图像为f(x,y),其大小设为
$ {P_o}\left( t \right) = \sum\limits_{i = 0}^t {{p_i}} ,$ | (2) |
$ {P_b}\left( t \right) = \sum\limits_{i = t + 1}^{L - 1} {{p_i}},$ | (3) |
且存在
舰船红外图像的前景域和背景域的Renyi熵的表达式为:
$ H_o^\alpha (t) = \frac{{\ln \displaystyle\sum\limits_{i = 0}^t {{{\left[ {\dfrac{{{P_i}}}{{{P_o}\left( t \right)}}} \right]}^\alpha }} }}{{1 - \alpha }} ,$ | (4) |
$ H_b^\alpha (t) = \frac{{\ln \displaystyle\sum\limits_{i = t + 1}^{L - 1} {{{\left[ {\dfrac{{{P_i}}}{{{P_b}\left( t \right)}}} \right]}^\alpha }} }}{{1 - \alpha }} ,$ | (5) |
舰船红外图像总信息熵为:
$ H\left( t \right) = H_o^\alpha \left( t \right) + H_b^\alpha \left( t \right),\alpha > 0,$ | (6) |
式中,
$ t* = ar{g_{0 < t < L - 1}}\max \left[ {H\left( t \right)} \right] ,$ | (7) |
通过最佳阈值,得出二值化处理分割的舰船红外图像,即
$ s\left( {x,y} \right) = \left\{ \begin{gathered} 0,\quad \;\;\;\;f\left( {x,y} \right) \leqslant t*,\\ 255,\quad f\left( {x,y} \right) > t* 。\\ \end{gathered} \right. $ | (8) |
选择改进的平台直方图均衡来剔除舰船红外图像中的冗余像素,为图像细节保留空间,实现舰船红外目标图像增强。设输入的舰船红外图像为f(x,y),统计直方图为H(k),用于描述舰船红外图像中灰度级为
$ {H_p}\left( k \right) = \left\{ \begin{gathered} H\left( k \right),H\left( k \right) \leqslant {P_{\max }} ,\\ {P_{\max }},H\left( k \right) > {P_{\max }} ,\\ \end{gathered} \right. $ | (9) |
$ \left\{ \begin{gathered} {P_p}\left( k \right) = {H_p}(k)/N ,\\ {C_p}(k) = \sum\limits_{a = 0}^k {{P_p}\left( a \right)} 。\\ \end{gathered} \right. $ | (10) |
式中:
对舰船红外图像的灰度通过累积直方图进行重新分配,即可得到增强后的均衡化图像
$ {E_p}\left( k \right) = \left[ {\left( {{L_{\max }} - {L_{\min }}} \right) \times {C_p}\left( k \right)/{C_p}\left( {L - 1} \right) + {L_{\min }}} \right] 。$ | (11) |
式中:L为图像的灰度值级别;Lmax和Lmin为图像的最大、最小灰度;[]为取整运算。图像的灰度根据累积直方图进行新的分配得到均衡化舰船红外图像,通过舰船图像信息自适应来确定Pmax的值。
1.4 舰船红外图像重组将分割的舰船红外图像的前景和背景通过自适应平台直方图处理后,得到舰船的前、背景增强图像,相加以获得原舰船红外图像的简单灰度图像。本文采用改进的Canny对图像边缘加权融合,即得到舰船最终的增强图像。设前、背景通过叠加获得的增强像素和其相应的像素点均为fA(x,y);通过改进Canny算法得到的边缘像素为fB(x,y);若最后所得融合像素为fC(x,y),则
$ \begin{array}{l}{f}_{C}(x,y)={W}_{A}\left(x,y\right){f}_{A}\left(x,y\right)+{W}_{B}\left(x,y\right){f}_{B}\left(x,y\right),\\ 且{W}_{A}\left(x,y\right)+{W}_{B}\left(x,y\right)\text=1。\end{array} $ | (12) |
式中:通过fA(x,y)和fB(x,y)的自适应确定得到WA(x,y);如果fB(x,y)为0表示不是边缘,WA(x,y)为1表示不增强图像灰度;如果fB(x,y)不是0,通常WA(x,y)和WB(x,y)取值0.5;如果出现fA(x,y)特别小,会导致图像边缘增强过多,图片生硬,这时需使WA(x,y)的值增大,来保证图片的视觉性。
舰船红外目标图像视觉传达增强的流程如图1所示。
选择某一海域的一艘舰船作为实验对象,应用型号为YTH-AQ60的船用红外高清摄像机采集舰船的红外目标图像,采集图像的分辨率大小为640×512。将本文改进的平台直方图均衡方法增强的图像与文献[3]二维空间结合方法增强图像和原图像对比。为了验证2种方法对图像的增强效果,将2种方法增强后的图像和原图像生成灰度图,如图2所示。由图2(a)可知,原图像的对比度较低,清晰度不好。从2(b)和2(c)可以看出,2种方法获得的增强后图像与原图的相比,对比度都有一定程度的增强。由2(b)可知,二维空间结合方法增强后的图像像素的灰度高低不均,这是由于图像过度明亮和过度黑暗导致的;由2(c)可以看出,本文改进的平台直方图均衡方法增强图像后,不但提高了原图像的对比度,而且增强了图像的灰度分布情况,大幅提升了图像的清晰度和质量。
为了验证本文方法对分割后的舰船红外图像重组效果,选取融合后图像包含的原图像信息量、边缘信息保留量和图像清晰度3个指标作为衡量标准,分别用x,y,z表示。x,y,z的数值越大,表明重组效果越好。本文方法应用后的舰船红外图像的重组性能如图3所示。
由图3可知,通过本文方法重组的红外舰船图像清晰度可以达到0.9及以上,对原图信息保留量和边缘信息的保留量分别达到0.8和0.78以上。通过实验设置的评价指标,验证了本文方法具有较好的图像重组效果。
为了验证本文改进的平台直方图均衡方法的性能,将本文方法与文献[3]二维空间结合方法和传统直方图均衡方法进行对比,图4为对应方法的实验结果,图4(a)为舰船红外目标原图像,图4(b)、图4(c)、图4(d)分别为本文方法、传统直方图方法和文献[3]方法增强后的图像。从主观的视觉角度看,通过3种方式均可增强原始红外图像中所含有的图像信息。由图4(b)和图4(d)可知,本文方法和文献[3]方法对图像的噪声去除效果比较好,传统直方图方法增强后图像的对比度相对较低,且存在一定程度噪声干扰;文献[3]方法的图像对比度增强效果不错,但是清晰度比较低;本文方法处理的图像能够适当提高图像对比度,在图像的细节因素和边缘特征方面优于传统的直方图方法和文献[3]方法。综上,本文方法在红外图像视觉的增强方面和细节因素方面,均优于传统直方图法和文献[3]方法。
在分析红外成像的基础上,对红外目标图像常用的红外图像滤波、图像分割和增强方法进行研究,提出一种新的红外目标图像视觉传达增强方法。实验结果表明,本文方法能够很好凸显目标并挖掘更多细节信息,采用空域处理的中值滤波方法易于实现,对红外目标图像视觉传达增强具有有效性,具有实际价值。
[1] |
陈初侠, 丁勇. 基于多尺度语义网络的红外舰船目标检测[J]. 红外技术, 2022, 44(5): 529-536. CHEN Chuxia, DING Yong. Infrared Ship Detection Based on Multi-scale Semantic Network[J]. Infrared Technology, 2022, 44(5): 529-536. |
[2] |
苗传开, 娄树理, 公维锋, 等. 基于改进CenterNet的红外舰船目标检测算法[J]. 激光与红外, 2022, 52(11): 1717-1722. Miao Chuan-kai, LOU Shu-li, GONG Wei-feng, et al. Infrared ship target detection algorithm based on improved CenterNet[J]. Laser & Infrared, 2022, 52(11): 1717-1722. DOI:10.3969/j.issn.1001-5078.2022.11.021 |
[3] |
黄攀, 杨小冈, 卢瑞涛, 等. 基于空间联合的红外舰船目标数据增强方法[J]. 红外与激光工程, 2021, 50(12): 545-554. HUANG Pan, YANG Xiaogang, LU Ruitao, et al. Data augmentation method of infrared ship target based on spatial association[J]. Infrared and Laser Engineering, 2021, 50(12): 545-554. |
[4] |
高子航, 刘兆英, 张婷, 等. 基于对抗域适应的红外舰船目标分割[J]. 数据采集与处理, 2023, 38(3): 598-607. GAO Zihang, LIU Zhaoying, ZHANG Ting, et al. Infrared Ship Target Segmentation Based on Adversarial Domain Adaptation[J]. Journal of Data Acquisition & Processing, 2023, 38(3): 598-607. DOI:10.16337/j.1004-9037.2023.03.009 |
[5] |
刘万军, 高健康, 曲海成, 等. 多尺度特征增强的遥感图像舰船目标检测[J]. 自然资源遥感, 2021, 33(3): 97-106. LIU Wanjun, GAO Jiankang, QU Haicheng, et al. Ship detection based on multi-scale feature enhancement of remote sensing images[J]. Remote Sensing for Natural Resources, 2021, 33(3): 97-106. |
[6] |
徐英, 谷雨, 彭冬亮, 等. 面向合成孔径雷达图像任意方向舰船检测的改进YOLOv3模型[J]. 兵工学报, 2021, 42(8): 1698-1707. XU Ying, GU Yu, PENG Dongliang, et al. An Improved YOLOv3 Model for Arbitrary-oriented Ship Detection in SAR Image[J]. Acta Armamentarii, 2021, 42(8): 1698-1707. DOI:10.3969/j.issn.1000-1093.2021.08.014 |