舰船科学技术  2023, Vol. 45 Issue (7): 178-181    DOI: 10.3404/j.issn.1672-7649.2023.07.035   PDF    
基于视觉传达技术的红外舰船图像多级融合方法
刘金阳     
郑州科技学院, 河南 郑州 450064
摘要: 针对多光谱红外舰船图像质量差影响应用性的问题,提出基于视觉传达技术的红外舰船图像多级融合方法。利用多光谱红外热成像仪采集舰船图像数据,对红外舰船图像实施中值滤波处理,增强图像的视觉传达效果。通过非下采样变换方法,将红外舰船图像划分为高频方向子带与低频子带。依据高频子带融合方法和低频子带融合方法,分别融合红外舰船图像的高频方向子带与低频子带。对融合后的高频方向子带与低频子带实施非下采样逆变换处理,获取红外舰船图像的多级融合结果。实验结果表明,该方法可以实现不同光谱频段红外舰船图像的多级融合,融合后图像的互信息量、边缘信息保留量均高于0.7,有效提升红外舰船图像的应用性。
关键词: 视觉传达技术     红外舰船图像     多级融合方法     高频方向子带     低频子带     非下采样变换    
Multistage fusion of infrared ship image based on visual communication technology
LIU Jin-yang     
Zhengzhou University of Science and Technology, Zhengzhou 450064, China
Abstract: Aiming at the problem that the poor quality of infrared ship image affects the application, the multistage fusion method of infrared ship image based on visual communication technology is studied. Multi-spectral infrared thermal imager is used to collect ship image data and implement median filtering to enhance the visual transmission effect of infrared ship image. Infrared ship images are divided into high frequency and low frequency subbands by non-subsampling transform method. According to the high frequency and low frequency sub-band fusion methods, the high frequency direction sub-band and low frequency sub-band of infrared ship image are fused respectively. The fusion of high frequency and low frequency subbands is performed by non-downsampling inverse transformation to obtain the multistage fusion results of infrared ship images. The experimental results show that this method can achieve multi-stage fusion of infrared ship images with different spectral bands, and the mutual information and edge information retention of fused images are both higher than 0.7, which effectively improves the applicability of infrared ship images.
Key words: visual communication technology     infrared ship image     multilevel fusion method     high frequency direction subband     low frequency sub-band     non-subsampled transformation    
0 引 言

舰船目标识别是海上监测领域的研究重点,舰船红外图像是舰船目标识别领域中常用视觉传达方式。从舰船红外图像中识别舰船目标,为舰船目标定位与跟踪提供基础。红外舰船图像具有不易受到外界干扰,受光照、海杂波影响小的特点,在海上监测领域中应用极为广泛[1-3]

红外图像分析受到众多计算机视觉领域学者的重视。向涛等[4]将视觉显著性模型应用于红外图像舰船目标检测中,计算红外图像的显著图,增强红外图像的舰船目标区域,依据舰船目标的先验信息,通过模糊C均值聚类算法检测红外图像的舰船目标。该方法可以从红外图像中检测舰船目标,输出舰船目标位置,但是存在运算过程过于复杂,检测实时性较差的缺陷。成艳等[5]从红外遥感图像中提取舰船尾迹,利用Dot-Curve检测方法,对图像进行二维曲率滤波处理,提取舰船尾迹特征,依据所提取特征,通过尾迹线性度等指标检测舰船目标。该方法仅需少量样本,即可检测舰船目标,但是存在容易受环境影响的问题,舰船检测的误检率较高。针对以上方法在红外图像处理中存在的问题,研究基于视觉传达技术的红外舰船图像多级融合方法。处理利用视觉传达技术采集的红外舰船图像,对不同光谱级别的红外舰船进行多级融合处理,增强红外舰船图像,为红外舰船图像的目标检测等应用提供图像基础。

1 红外舰船图像多级融合方法 1.1 多光谱红外舰船图像的视觉传达效果增强

由于多光谱红外热成像仪采集的图像中包含不同程度的噪声,利用视觉传达技术采集红外图像前,需要对红外舰船图像进行去噪处理。图像滤波处理是过滤图像噪声的方法,红外图像的中频段与低频段包含图像的关键信息,图像高频段包含噪声时,容易将关键信息掩盖。通过图像滤波消除红外相机采集的不同频段图像噪声,保留图像的边缘信息以及轮廓信息,增强舰船红外图像的整体视觉传达效果。选取中值滤波方式对舰船红外图像进行去噪处理,该方法不仅可以过滤舰船红外图像噪声,同时可以保留舰船红外图像中舰船的边缘信息与轮廓信息。 $ C $ 为由舰船红外图像像素点 $ \left( {{x_0},{y_0}} \right) $ 组成的邻域集合,舰船红外图像中值滤波处理的表达式如下:

$ r\left( {{x_0},{y_0}} \right) = \left[ {\mathop {Sort}\limits_{\left( {x,y} \right) \in G} l\left( {x,y} \right)} \right]\left| C \right|/2 。$ (1)

式中, $ Sort $ $ l\left( {x,y} \right) $ 分别为排序运算以及像素值灰度大小。

舰船红外图像中值滤波处理过程如下:

1)依据像素点灰度值大小,排列舰船红外图像像素点;

2)依据像素点排列结果,设置排列结果的中间值作为中值滤波目标点的灰度值。

1.2 红外舰船图像的非下采样变换

非下采样变换方法是一种灵活的图像分解方法,该方法具有较高的平移不变性,可以实现不同尺度、不同方向的图像分解。非下采样变换分别对红外舰船图像进行多尺度、多方向分解,该方法利用非下采样金字塔,多尺度分解图像,获取不同尺度红外舰船图像的子带系数。对所获取的子带系数,利用非下采样反向滤波器组实施方向分解,获取不同方向、不同尺度的子带系数。非下采样变换方法利用Z变换的等效移位性质,对相应滤波器进行上采样处理。对红外舰船图像进行 $ L $ 级非下采样变换分解后,获取1个低通子带系数以及 $ \displaystyle\sum\limits_{l = 1}^{L - 1} {{2^{{k_l}}}} $ 个带通方向子带系数,其中 $ {2^{{k_l}}} $ 表示 $ {2^{ - l}} $ 尺度上的高频方向子带数量。将非下采样变换方法应用于红外舰船图像分解中,获取红外舰船图像的子带图像。红外舰船图像低频子带系数具有非稀疏特征,高频不同方向的子带系数均位于零值附近,具有近似稀疏特征,可以直观体现高频方向子带的多方向特点。

利用非下采样变换方法的稀疏表示,提升红外舰船图像的分解性能。利用字典中少量原子的近似组合或线性组合,表示红外舰船图像信号。对于红外舰船图像 $ Y $ ,利用近似方法搜寻其稀疏表示的表达式如下:

$ \left\{ {\begin{array}{*{20}{l}} {\mathop {\min }\limits_a \left\| a \right\|_0^0} ,\\ {{\rm{s.t.}}{\kern 1pt} {\kern 1pt} {\kern 1pt} {{\left\| {Y - Da} \right\|}_2} \leqslant \varepsilon } 。\end{array}} \right. $ (2)

式中: $ Y $ $ D $ 分别为利用K奇异值分解方法训练低频子带系数获取的字典; $ a $ $ \left\| a \right\|_0^0 $ 分别为向量以及向量中的非零元素数量; $ \varepsilon $ 为允许偏差精度。通过红外舰船图像的非下采样变换,将红外舰船图像变换为低频子带与高频子带。

1.3 红外舰船图像的低频子带融合

利用非下采样变换方法获取的低频子带,是红外舰船图像的近似部分,低频子带可以体现红外舰船图像的主要能量信息。利用下采样变换方法获取的低频子带样本集,训练过完备字典,依据已训练的过完备字典,稀疏处理红外舰船图像的低频系数。选取模糊逻辑方法,自适应选择完成稀疏处理的低频系数。红外舰船图像的低频子带融合过程如下:

1)用 $ A $ $ B $ 表示2幅不同级频段的红外舰船图像, $ {L_A} $ $ {L_B} $ 表示经过非下采样变换获取的低频子带。对 $ {L_A} $ $ {L_B} $ 利用滑动窗技术分块处理,将红外舰船图像转化为列向量。

2)从所获取的列向量中,随机选取样本,利用K奇异值分解方法训练样本,获取字典 $ D $ 。选取正交匹配追踪算法,依据字典 $ D $ 获取稀疏表示系数 $ {S_A} $ $ {S_B} $

3)选取模糊逻辑算法自适应确定融合系数,其表达式如下:

$ {S_F} = {w_A}{S_A} + {w_B}{S_B}。$ (3)

式中: $ {w_A} $ $ {w_B} $ 分别为 $ {S_A} $ $ {S_B} $ 的权值, $ {w_A} = \exp \left[ { - \displaystyle\frac{{{{\left( {{S_A} - \eta } \right)}^2}}}{{2{\sigma ^2}}}} \right] $ $ {w_B} = 1 - {w_A} $ $ \eta $ $ \sigma $ 分别表示 $ {S_A} $ 的均值以及方差。

4)将通过步骤3获取的融合系数 $ {S_F} $ ,放至原位置,获取最终融合后的低频系数 $ {L_F} $ ,完成红外舰船图像的低频子带融合。

1.4 红外舰船图像的高频子带融合

高频子带可以体现红外舰船图像的边缘信息以及细节信息,利用局部区域方差体现红外舰船图像像素灰度值的离散程度,该值越高时,红外舰船图像区域信息量越大。相同级频谱红外舰船图像融合时,选取局部尺度方差取大方法,融合高频系数的表达式如下:

$ G\left( {x,y} \right) = \left\{ {\begin{array}{*{20}{c}} {{G_{1,l,d}}\left( {x,y} \right),{\delta _{1,l}}\left( {x,y} \right) > {\delta _{2,l}}\left( {x,y} \right)} ,\\ {{G_{2,l,d}}\left( {x,y} \right),{\delta _{1,l}}\left( {x,y} \right) \leqslant {\delta _{2,l}}\left( {x,y} \right)} 。\end{array}} \right. $ (4)

式中: $ {G_{1,l,d}}\left( {x,y} \right) $ $ {G_{2,l,d}}\left( {x,y} \right) $ 分别为相同级别中,第1频谱与第2频谱的红外舰船图像在 $ l $ $ d $ 方向上,像素点 $ \left( {x,y} \right) $ 位置的高频分解系数; $ {\delta _{1,l}}\left( {x,y} \right) $ $ {\delta _{2,l}}\left( {x,y} \right) $ 分别为第1频谱与第2频谱的红外舰船图像尺度方差。

对红外舰船图像高频子带进行多方向分解,红外舰船图像像素点为图像边缘或细节信息时,个别方向的高频系数存在较大值。红外舰船图像像素点位置为噪声位置时,不同方向高频系数的数值差异较小,高频系数高于其他方向值,低于图像边缘和细节处分解值。通过计算相同尺度下,全部方向方差,在不同方向的最大方差值,避免不同方向高频系数不一致,以及受到噪声影响,造成图像失真情况。图像尺度最大方差的计算公式如下:

$ \left\{ {\begin{array}{*{20}{c}} {{\delta _{1,l}}\left( {x,y} \right) = \mathop {\max }\limits_d {\delta _{1,l,d}}\left( {x,y} \right)},\\ {{\delta _{2,l}}\left( {x,y} \right) = \mathop {\max }\limits_d {\delta _{2,l,d}}\left( {x,y} \right)} 。\end{array}} \right. $ (5)

基于视觉传达技术的红外舰船图像多级融合方法的具体流程如下:

1)输入不同级频段的红外舰船图像,对红外舰船图像进行中值滤波,提升图像的视觉传达效果。

2)对红外舰船图像进行非下采样变换处理,将红外舰船图像划分为高频方向子带与低频子带。

3)利用k奇异值分解方法训练字典,通过联合稀疏表示方法,提取红外舰船图像的稀疏表示系数。利用红外舰船图像的低频子带融合方法,重构红外舰船图像的低频子带。

4)依据高频子带融合方法,融合红外舰船图像不同方向的高频子带。

5)将非下采样逆变换方法应用于红外舰船图像不同尺度的高频方向子带以及低频子带,获取最终红外舰船图像的多级融合结果。

2 实例分析

为了验证本文基于视觉传达技术的红外舰船图像多级融合方法,选取利用多光谱红外成像仪采集的多光谱红外图像构建图像样本集。多光谱红外成像仪的分辨率为640×480,多光谱红外成像仪的对角线视场角为8.2°。选取Matlab R2015a软件中的Training Image Labeler图像标注工具,对样本集中的多光谱红外图像进行手动标注处理,构建测试集。多光谱红外成像仪的多级频谱设置如表1所示。表1中红外舰船图像样本集中包含5个级别的多谱段红外图像。红外舰船图像中包含不同成像距离、不同成像时间、不同成像角度的舰船图像,包含海洋环境、天空环境、云层环境等不同环境场景的舰船目标。

表 1 红外成像仪谱段设置 Tab.1 Spectrum setting of infrared imager

从样本集中随机选取相同场景不同波段的红外舰船图像,选取的2级谱段与4级谱段的原始红外舰船图像如图1所示。

图 1 原始红外图像 Fig. 1 Original infrared image

采用本文方法对不同谱段的原始红外舰船图像进行多级融合,红外舰船图像融合结果如图2所示。可以看出,本文方法可以实现红外舰船图像的多级融合。相比于原始红外舰船图像,多级融合后的红外舰船图像清晰度明显提升,可以更多地体现图像中的目标细节,图像边缘更加清晰,为红外舰船图像的目标识别等应用提供清晰的图像基础。

图 2 多级融合结果 Fig. 2 Multilevel fusion results

选取互信息量、边缘信息保留量、平均梯度3个指标,作为衡量图像多级融合性能的指标,评价多级融合后的图像质量。利用互信息量体现融合后图像包含源信息量的大小;利用边缘信息保留量体现融合后图像保留舰船目标边缘信息的大小;利用平均梯度衡量舰船图像融合后的清晰度。以上指标数值越高时,表示图像多级融合的效果越好。统计采用本文方法多级融合红外舰船图像的融合性能,统计结果如图3所示。由图3可知,采用本文方法融合红外舰船图像,图像融合结果的互信息量、边缘信息保留量以及平均梯度均高于0.7。通过实验设置的量化评价指标,验证本文方法具有较高的多级融合性能。

图 3 红外舰船图像融合性能 Fig. 3 Infrared ship image fusion performance

为了进一步验证采用本文方法融合红外舰船图像的实用性,将本文方法应用于舰船目标识别中。统计本文方法多级融合后的红外舰船图像,与不同级谱段红外舰船图像,识别舰船目标的结果,如图4所示。通过图4可知,本文方法采用多级融合方法融合红外舰船图像,识别舰船目标的识别精度明显高于单谱段红外舰船图像的识别结果。通过本文方法对红外舰船图像的多级融合,提升了红外舰船图像质量,通过高质量的红外舰船图像,提升舰船目标识别精度,具有较高的实用性。

图 4 舰船目标检测结果 Fig. 4 Ship target detection results
3 结 语

视觉传达技术是计算机视觉领域中的重要技术,利用视觉传达技术采集红外舰船图像,对红外舰船图像融合处理,提升红外舰船图像的视觉传达效果,为红外舰船图像的应用提供依据。对红外舰船图像进行非下采样变换处理,将红外舰船图像分解为低频子带与高频子带,融合处理图像的低频子带与高频子带,实现不同级别红外舰船图像的多级融合。通过实验验证该方法有效融合不同级谱段的红外舰船图像,提升舰船图标识别精度。

参考文献
[1]
杨龙, 苏娟, 黄华, 等. 一种基于深层次多尺度特征融合CNN的SAR图像舰船目标检测算法[J]. 光学学报, 2020, 40(2): 132-140.
YANG Long, SU Juan, HUANG Hua, et al. SAR Ship Detection Based on Convolutional Neural Network with Deep Multiscale Feature Fusion[J]. Acta Optica Sinica, 2020, 40(2): 132-140.
[2]
黄攀, 杨小冈, 卢瑞涛, 等. 基于空间联合的红外舰船目标数据增强方法[J]. 红外与激光工程, 2021, 50(12): 545-554.
HUANG Pan, YANG Xiaogang, LU Ruitao, et al. Data augmentation method of infrared ship target based on spatial association[J]. Infrared and Laser Engineering, 2021, 50(12): 545-554.
[3]
谢晓方, 刘厚君, 张龙杰, 等. 基于渐进式生成对抗网络的舰船红外图像仿真[J]. 激光与红外, 2021, 51(4): 471-479.
[4]
向涛. 基于显著区域提取的红外图像舰船目标检测[J]. 电讯技术, 2020, 60(7): 785-790.
[5]
成艳, 于雪莲, 钱惟贤, 等. 红外遥感图像舰船尾迹提取及检测[J]. 红外与激光工程, 2022, 51(2): 32-39.
CHENG Yan, YU Xuelian, QIAN Weixian, et al. Ship wake extraction and detection from infrared remote sensing images[J]. Infrared and Laser Engineering, 2022, 51(2): 32-39.