舰船科学技术  2023, Vol. 45 Issue (21): 201-204    DOI: 10.3404/j.issn.1672-7649.2023.21.039   PDF    
舰船红外目标图像视觉传达增强
张雯靖     
郑州科技学院,河南 郑州 450064
摘要: 针对舰船红外图像获取性难和敏感性问题,提出一种舰船红外目标图像视觉传达增强方法,提升舰船红外目标图象质量。采用改进的中值滤波预处理舰船红外图像,有效去除舰船红外图像中海浪的冲击噪声;通过Renyi熵方法将处理后的舰船红外图像二值化分割为前景域和背景域,以区分舰船目标和背景;通过改进的平台直方图均衡方法剔除舰船目标和背景红外图像冗余的像素点,均衡分配灰度值,实现舰船目标和背景增强;经改进的Canny对增强后舰船目标和背景图像边缘加权融合,得到最终的舰船增强图像。实验结果表明,所提方法可以有效去除舰船图像噪声,提升舰船红外图像的对比度,对图像和图像边缘的信息保有量充分,大幅提高了红外图像的质量和清晰度,加大了舰船红外目标图像视觉传达增强的可行性。
关键词: 舰船红外图像     视觉传达增强     中值滤波     Renyi熵     平台直方图均衡     Canny算法    
Visual communication enhancement of ship infrared target images
ZHANG Wen-jing     
Zhengzhou Institute of Science and Technology, Zhengzhou 450064, China
Abstract: A visual communication enhancement method for ship infrared target images is proposed to address the issues of difficulty and sensitivity in obtaining ship infrared images, in order to improve the quality of ship infrared target images. Adopting improved median filtering to preprocess ship infrared images, effectively removing the impact noise of waves in ship infrared images; By using the Renyi entropy method, the processed ship infrared image is binarized and segmented into foreground and background domains to distinguish ship targets and backgrounds. By using an improved platform histogram equalization method to eliminate redundant pixel points in ship targets and background infrared images, the grayscale values are evenly distributed to achieve ship target and background enhancement. The improved Canny weights and fuses the edges of the enhanced ship targets and background images to obtain the final ship enhanced image. The experimental results show that the proposed method can effectively remove noise from ship images, improve the contrast of ship infrared images, retain sufficient information on images and image edges, significantly improve the quality and clarity of infrared images, and increase the feasibility of enhancing visual transmission of ship infrared target images.
Key words: ship infrared image     enhanced visual communication     median filtering     Renyi entropy     platform histogram equalization     Canny algorithm    
0 引 言

舰船红外目标图像主要是利用红外技术来监测和发现舰船目标[1]。然而在舰船的监测方面,基于红外图像的方法存在明显的不足。如由于敏感性和不易公开导致舰船红外图像的数据稀少,而且特殊的场景和复杂的天气,导致图像存在目标模糊、特征微弱等问题[2]。因此,开展舰船红外目标图像视觉传达增强具有重要意义。黄攀等[3]提出基于二维空间结合的舰船红外目标图像增强方法,该方法在微小目标和远距离方面具有优势,但是该方法增强后的图像模糊度较高。高子航等[4]研究了一种分割方法,分割舰船红外目标图像为源域和目标域,最后对图像进行分域处理生成对抗学习。该方法能够对舰船红外目标图像进行有效的去噪和灰度化处理,但是对目标图像的视觉传达增强效果不佳。针对上述方法的不足,本文提出一种舰船红外目标图像增强方法,利用改进的中值滤波对舰船红外图像有效去噪,使像素还原到最真实状态,并结合平台直方图法有效增强图像的局部对比度,提升舰船检测的准确率和召回率。

1 基于视觉传达的舰船红外目标图像增强 1.1 舰船红外目标图像预处理

图像的预处理主要有去噪处理和二值校正等。舰船红外图像的噪声一般是海浪的冲击噪声。通过滤波可以去除噪声,常用的方法有空域滤波和频域滤波2种。由于空域滤波的实用性,设计改进的中值滤波对舰船红外图像进行预处理[5]。中值滤波是一项非线性空域过滤技术,其根据排序的理论,能够有效控制舰船红外图像的信噪比,改善图像信噪比。中值滤波的基本原理是将数字图像或数据序列中点的数值,用该点的另一个邻域中各点数值的中间值代替,从而使周围的图像数值更逼近于真实,从而减少孤立的噪声点。设置 $ {f_1},{f_2}...,{f_n} $ 为一维序列,将窗口宽度设为奇数 $ m $ ,对该序列进行中值滤波处理,先在该序列中提取出 $ m $ 个数: $ {f_{i - v}},...,{f_{i - 1}},{f_i},{f_{i + 1}},...,{f_{i + v}} $ ,窗口中的中心数值为 $ {f_i} $ $ v = \frac{{\left( {m - 1} \right)}}{2} $ ,然后将 $ m $ 个点值按数值排大小,用滤波输出选择最中间的点值。其表达式为:

$ {Y_i} = Med\left\{ {{f_{i - v}},...,{f_i},...,{f_{i + v}}} \right\},i \in Z。$ (1)

为了减少运算量,对中值滤波进行改进。首先求出每一水平行中的中值,在求得的每一水平行的中值中再求中值,最后实现舰船红外图像的中值滤波。

1.2 舰船红外目标图像分割

舰船的红外图像通过热量的分布形成的图像,因此对舰船具有目标指示性[6]。由于Renyi熵能够很好衡量红外图像信号的时频分布,而且稳定性强,因此采用Renyi熵方法对舰船红外图像进行目标提取。设去噪后的舰船红外图像为f(x,y),其大小设为 $ M \times N $ $ G = \left\{ {0,1,2,\cdots,L - 1} \right\} $ 为灰度集,灰度 $ i $ 在舰船图像中出现的频次设为ni,出现概率为Pi。一般情况下,设置某一阈值将舰船图像分割成前景域 $ o $ 和背景域 $ b $ ,前、背景区域的先验概率为:

$ {P_o}\left( t \right) = \sum\limits_{i = 0}^t {{p_i}} ,$ (2)
$ {P_b}\left( t \right) = \sum\limits_{i = t + 1}^{L - 1} {{p_i}},$ (3)

且存在 $ {P_o}\left( t \right) + {P_b}\left( t \right) = 1 $

舰船红外图像的前景域和背景域的Renyi熵的表达式为:

$ H_o^\alpha (t) = \frac{{\ln \displaystyle\sum\limits_{i = 0}^t {{{\left[ {\dfrac{{{P_i}}}{{{P_o}\left( t \right)}}} \right]}^\alpha }} }}{{1 - \alpha }} ,$ (4)
$ H_b^\alpha (t) = \frac{{\ln \displaystyle\sum\limits_{i = t + 1}^{L - 1} {{{\left[ {\dfrac{{{P_i}}}{{{P_b}\left( t \right)}}} \right]}^\alpha }} }}{{1 - \alpha }} ,$ (5)

舰船红外图像总信息熵为:

$ H\left( t \right) = H_o^\alpha \left( t \right) + H_b^\alpha \left( t \right),\alpha > 0,$ (6)

式中, $ t $ 为某一阈值,阈值达到最大则阈值最佳,则最佳阈值 $ t* $ 公式为:

$ t* = ar{g_{0 < t < L - 1}}\max \left[ {H\left( t \right)} \right] ,$ (7)

通过最佳阈值,得出二值化处理分割的舰船红外图像,即

$ s\left( {x,y} \right) = \left\{ \begin{gathered} 0,\quad \;\;\;\;f\left( {x,y} \right) \leqslant t*,\\ 255,\quad f\left( {x,y} \right) > t* 。\\ \end{gathered} \right. $ (8)
1.3 舰船红外目标图像增强

选择改进的平台直方图均衡来剔除舰船红外图像中的冗余像素,为图像细节保留空间,实现舰船红外目标图像增强。设输入的舰船红外图像为f(x,y),统计直方图为H(k),用于描述舰船红外图像中灰度级为 $ k $ 的像素个数。统计舰船红外图像特征概率的函数分为密度函数以及累积分布函数,分别用P(k)和C(k)描述。平台直方图采用选择合适阈值Pmax对统计直方图进行修正,如舰船红外图像直方图值低于阈值Pmax,则维持不变;如舰船红外图像直方图值高于阈值Pmax,则将其直方图值设为Pmax,更新后的直方图HP(k)为:

$ {H_p}\left( k \right) = \left\{ \begin{gathered} H\left( k \right),H\left( k \right) \leqslant {P_{\max }} ,\\ {P_{\max }},H\left( k \right) > {P_{\max }} ,\\ \end{gathered} \right. $ (9)
$ \left\{ \begin{gathered} {P_p}\left( k \right) = {H_p}(k)/N ,\\ {C_p}(k) = \sum\limits_{a = 0}^k {{P_p}\left( a \right)} 。\\ \end{gathered} \right. $ (10)

式中: $ N $ 为舰船红外图像的像素总数用;Pp(k)、Cp(k)分别为采用式(9)更新后直方图的PDF(概率密度函数)值和CDF(分布函数)值的表达式。

对舰船红外图像的灰度通过累积直方图进行重新分配,即可得到增强后的均衡化图像 $ P(k) $ $ C(k) $

$ {E_p}\left( k \right) = \left[ {\left( {{L_{\max }} - {L_{\min }}} \right) \times {C_p}\left( k \right)/{C_p}\left( {L - 1} \right) + {L_{\min }}} \right] 。$ (11)

式中:L为图像的灰度值级别;LmaxLmin为图像的最大、最小灰度;[]为取整运算。图像的灰度根据累积直方图进行新的分配得到均衡化舰船红外图像,通过舰船图像信息自适应来确定Pmax的值。

1.4 舰船红外图像重组

将分割的舰船红外图像的前景和背景通过自适应平台直方图处理后,得到舰船的前、背景增强图像,相加以获得原舰船红外图像的简单灰度图像。本文采用改进的Canny对图像边缘加权融合,即得到舰船最终的增强图像。设前、背景通过叠加获得的增强像素和其相应的像素点均为fA(x,y);通过改进Canny算法得到的边缘像素为fB(x,y);若最后所得融合像素为fC(x,y),则

$ \begin{array}{l}{f}_{C}(x,y)={W}_{A}\left(x,y\right){f}_{A}\left(x,y\right)+{W}_{B}\left(x,y\right){f}_{B}\left(x,y\right),\\ 且{W}_{A}\left(x,y\right)+{W}_{B}\left(x,y\right)\text=1。\end{array} $ (12)

式中:通过fA(x,y)和fB(x,y)的自适应确定得到WA(x,y);如果fB(x,y)为0表示不是边缘,WA(x,y)为1表示不增强图像灰度;如果fB(x,y)不是0,通常WA(x,y)和WB(x,y)取值0.5;如果出现fA(x,y)特别小,会导致图像边缘增强过多,图片生硬,这时需使WA(x,y)的值增大,来保证图片的视觉性。

舰船红外目标图像视觉传达增强的流程如图1所示。

图 1 舰船红外目标图像增强流程图 Fig. 1 Flow chart of infrared target image enhancement for ships
2 实验结果与分析

选择某一海域的一艘舰船作为实验对象,应用型号为YTH-AQ60的船用红外高清摄像机采集舰船的红外目标图像,采集图像的分辨率大小为640×512。将本文改进的平台直方图均衡方法增强的图像与文献[3]二维空间结合方法增强图像和原图像对比。为了验证2种方法对图像的增强效果,将2种方法增强后的图像和原图像生成灰度图,如图2所示。由图2(a)可知,原图像的对比度较低,清晰度不好。从2(b)和2(c)可以看出,2种方法获得的增强后图像与原图的相比,对比度都有一定程度的增强。由2(b)可知,二维空间结合方法增强后的图像像素的灰度高低不均,这是由于图像过度明亮和过度黑暗导致的;由2(c)可以看出,本文改进的平台直方图均衡方法增强图像后,不但提高了原图像的对比度,而且增强了图像的灰度分布情况,大幅提升了图像的清晰度和质量。

图 2 舰船红外图像增强效果图 Fig. 2 Enhancement effect of ship infrared image

为了验证本文方法对分割后的舰船红外图像重组效果,选取融合后图像包含的原图像信息量、边缘信息保留量和图像清晰度3个指标作为衡量标准,分别用xyz表示。xyz的数值越大,表明重组效果越好。本文方法应用后的舰船红外图像的重组性能如图3所示。

图 3 舰船红外图像重组性能 Fig. 3 Performance of ship infrared image reconstruction

图3可知,通过本文方法重组的红外舰船图像清晰度可以达到0.9及以上,对原图信息保留量和边缘信息的保留量分别达到0.8和0.78以上。通过实验设置的评价指标,验证了本文方法具有较好的图像重组效果。

为了验证本文改进的平台直方图均衡方法的性能,将本文方法与文献[3]二维空间结合方法和传统直方图均衡方法进行对比,图4为对应方法的实验结果,图4(a)为舰船红外目标原图像,图4(b)、图4(c)、图4(d)分别为本文方法、传统直方图方法和文献[3]方法增强后的图像。从主观的视觉角度看,通过3种方式均可增强原始红外图像中所含有的图像信息。由图4(b)和图4(d)可知,本文方法和文献[3]方法对图像的噪声去除效果比较好,传统直方图方法增强后图像的对比度相对较低,且存在一定程度噪声干扰;文献[3]方法的图像对比度增强效果不错,但是清晰度比较低;本文方法处理的图像能够适当提高图像对比度,在图像的细节因素和边缘特征方面优于传统的直方图方法和文献[3]方法。综上,本文方法在红外图像视觉的增强方面和细节因素方面,均优于传统直方图法和文献[3]方法。

图 4 不同方法的舰船红外目标图像增强效果 Fig. 4 Enhancement effect of ship infrared target images using different methods
3 结 语

在分析红外成像的基础上,对红外目标图像常用的红外图像滤波、图像分割和增强方法进行研究,提出一种新的红外目标图像视觉传达增强方法。实验结果表明,本文方法能够很好凸显目标并挖掘更多细节信息,采用空域处理的中值滤波方法易于实现,对红外目标图像视觉传达增强具有有效性,具有实际价值。

参考文献
[1]
陈初侠, 丁勇. 基于多尺度语义网络的红外舰船目标检测[J]. 红外技术, 2022, 44(5): 529-536.
CHEN Chuxia, DING Yong. Infrared Ship Detection Based on Multi-scale Semantic Network[J]. Infrared Technology, 2022, 44(5): 529-536.
[2]
苗传开, 娄树理, 公维锋, 等. 基于改进CenterNet的红外舰船目标检测算法[J]. 激光与红外, 2022, 52(11): 1717-1722.
Miao Chuan-kai, LOU Shu-li, GONG Wei-feng, et al. Infrared ship target detection algorithm based on improved CenterNet[J]. Laser & Infrared, 2022, 52(11): 1717-1722. DOI:10.3969/j.issn.1001-5078.2022.11.021
[3]
黄攀, 杨小冈, 卢瑞涛, 等. 基于空间联合的红外舰船目标数据增强方法[J]. 红外与激光工程, 2021, 50(12): 545-554.
HUANG Pan, YANG Xiaogang, LU Ruitao, et al. Data augmentation method of infrared ship target based on spatial association[J]. Infrared and Laser Engineering, 2021, 50(12): 545-554.
[4]
高子航, 刘兆英, 张婷, 等. 基于对抗域适应的红外舰船目标分割[J]. 数据采集与处理, 2023, 38(3): 598-607.
GAO Zihang, LIU Zhaoying, ZHANG Ting, et al. Infrared Ship Target Segmentation Based on Adversarial Domain Adaptation[J]. Journal of Data Acquisition & Processing, 2023, 38(3): 598-607. DOI:10.16337/j.1004-9037.2023.03.009
[5]
刘万军, 高健康, 曲海成, 等. 多尺度特征增强的遥感图像舰船目标检测[J]. 自然资源遥感, 2021, 33(3): 97-106.
LIU Wanjun, GAO Jiankang, QU Haicheng, et al. Ship detection based on multi-scale feature enhancement of remote sensing images[J]. Remote Sensing for Natural Resources, 2021, 33(3): 97-106.
[6]
徐英, 谷雨, 彭冬亮, 等. 面向合成孔径雷达图像任意方向舰船检测的改进YOLOv3模型[J]. 兵工学报, 2021, 42(8): 1698-1707.
XU Ying, GU Yu, PENG Dongliang, et al. An Improved YOLOv3 Model for Arbitrary-oriented Ship Detection in SAR Image[J]. Acta Armamentarii, 2021, 42(8): 1698-1707. DOI:10.3969/j.issn.1000-1093.2021.08.014