舰船科学技术  2024, Vol. 46 Issue (5): 65-68    DOI: 10.3404/j.issn.1672-7649.2024.05.012   PDF    
基于视觉传达优化的低清晰度船舶图像复原研究
赵振华     
河南工学院,河南 新乡 453000
摘要: 针对图像复原易出现复原图像颜色视觉特征失真问题,提出基于视觉传达优化的低清晰度船舶图像复原方法。该方法通过帧扫描方法,提取低清晰度船舶图像视觉传达信息的像素二维特征;使用基于最大后验概率的高分辨率船舶图像重组方法,将所提取低清晰度船舶图像视觉传达信息的像素二维特征,进行高分辨率特征重组,并引入基于视觉颜色模型的视觉传达效果优化复原方法,优化高分辨率特征重组后复原图像的颜色视觉传达效果。实验数据验证:该方法对低清晰度海域通行船舶监控图像复原处理后,图像视觉传达效果得到明显提升,且复原后船舶图像峰值信噪比、结构相似性指数接近1,图像特征失真小;复原后图像颜色特征显著性指数最大值达1.0,颜色特征细节显著性得以改善。
关键词: 视觉传达优化     低清晰度     船舶图像     复原方法     最大后验概率     视觉颜色模型    
Research on low definition ship image restoration based on visual communication optimization
ZHAO Zhen-hua     
Henan Institute of Technology, Xinxiang 453000, China
Abstract: A low definition ship image restoration method based on visual communication optimization is studied to address the issue of color visual feature distortion in image restoration. This method extracts pixel two-dimensional features of visual communication information from low definition ship images through frame scanning method; Using a high-resolution ship image reconstruction method based on maximum a posteriori probability, the two-dimensional features of pixels extracted from the visual communication information of low definition ship images are recombined into high-resolution features, and a visual communication optimization restoration method based on visual color models is introduced to optimize the color visual communication effect of the reconstructed image after the reconstruction of high-resolution features. Experimental data verification: After the restoration processing of low definition ship monitoring images in sea areas, the visual communication effect of the images is significantly improved, and the peak signal-to-noise ratio and structural similarity index of the restored ship images are close to 1, with small image feature distortion; The maximum value of the color feature saliency index of the restored image reaches 1.0, and the saliency of color feature details is improved.
Key words: visual communication optimization     low definition     ship images     restoration method     maximum posterior probability     visual Color Model    
0 引 言

船舶监控是保障海上交通安全、防止海上犯罪以及维护国家安全的重要手段。然而,在实际监控中,由于受到天气、光照、摄像头质量等多种因素的影响,常会获得低清晰度的船舶图像。这使得船舶的识别、跟踪和监控变得困难。因此,低清晰度船舶图像复原问题的研究,是为了满足实际应用中,对清晰船舶图像的需求。

国内外学者在船舶图像处理和机器视觉领域的研究不断深入,推动了低清晰度船舶图像复原问题的研究进展。许多学者针对船舶图像的特点,提出了各种图像增强、超分辨率和深度学习等技术,不断改善船舶图像的清晰度和识别效果。张恒等[4]在研究舰船图像目标检测问题时,为优化图像质量,由自适应中值滤波和均值漂移滤波方法,去除图像噪声信息,提高图像清晰度,复原原始图像信息。但这2种方法在去除噪声的同时,可能会对图像的细节造成一定程度的模糊或损失。这在舰船的边缘和纹理等关键特征的保留上可能存在问题,导致复原图像存在特征丢失问题。李凯等[5]在研究舰船目标检测问题中,认为使用边缘增强算法可增强图像目标与背景的边缘细节特征,复原原始图像信息,但边缘增强算法往往依赖于图像中的亮度变化,因此对光照条件比较敏感。在光照不均匀的条件下,算法可能会导致图像增强后出现失真问题,为此设计基于视觉传达优化的低清晰度船舶图像复原方法,主要用于优化低清晰度船舶图像视觉传达效果。

1 低清晰度船舶图像复原方法 1.1 低清晰度船舶图像视觉传达信息特征提取方法

采用帧扫描方法,提取低清晰度船舶图像$ J $视觉传达信息的像素二维特征。首先,设计图像复原的像素目标匹配模板、匹配矩阵$ \left\{ {{{\boldsymbol{z}}_{{1}}},{{\boldsymbol{z}}_{{2}}},...,{{\boldsymbol{z}}_{{m}}}} \right\} $,该矩阵主要用于表达低清晰度船舶图像特征提取的向量加权状态,表示低清晰度船舶图像的目标边缘轮廓特征集合。低清晰度船舶图像的位置信息关联分布长度、宽度分别为$ C $$ K $,将低清晰度船舶图像拓扑结构描述为参考模板向量:

$ {\varepsilon _j} = {z_j} - n。$ (1)

式中:$ {z_j} \in {z_m} $$ n $为低清晰度船舶图像尺寸。

特征提取时,设置低清晰度船舶图像单帧信息为$ I\left( {x,y} \right) $,图像的几何空间中,参考模板向量$ \varepsilon $为:

$ \varepsilon = \arg \min \partial \left( \varepsilon \right)。$ (2)

式中:$ \partial \left( \varepsilon \right) $为傅里叶变换后,低清晰度船舶图像滤波结果。

基于傅里叶频域中,以融合的方式进行模板匹配,得到滤波后低清晰度船舶图像$ \partial \left( \varepsilon \right) $中,目标边缘纹理结构特征量$ \varPhi \left( {x,y} \right) $、模板差异值$ P\left( {X,Y} \right) $

$ P\left( {X,Y} \right) = \frac{{\mu \left( {X,Y} \right)}}{{A\left( {X,U} \right)}} + \frac{{\mu \left( {X,Y} \right)}}{{A\left( {Y,U} \right)}} 。$ (3)

式中:$ A\left( {X,U} \right) $$ A\left( {Y,U} \right) $分别为像素子集$ X $、子集$ Y $的离散度;$ \mu \left( {X,Y} \right) $为颜色空间分量。

把滤波后低清晰度船舶图像像素点作为初始聚类中心,把低清晰度船舶图像$ \partial \left( \varepsilon \right) $各个区域均执行傅里叶转换,得到每个区域边缘像素集合$ {J_{if}}\left( {x,y} \right) $

$ {J_{if}}\left( {x,y} \right) = J\cdot W 。$ (4)

其中,$ W $为低清晰度船舶图像$ \partial \left( \varepsilon \right) $的高频分量集。

基于频谱能量集合中整理边缘像素特征,重构时加权权重为$ \varpi $,假如边缘像素特征融合向量符合高斯分布状态,则加权像素点的加权系数为:

$ \varpi = \frac{1}{L}\exp \left( { - \frac{d}{{{v^2}}}} \right)。$ (5)

式中,$ L $$ v $$ d $分别为复合窗口模板、内层窗口的增强特征信息、像素点之间距离。

融合低清晰度船舶图像全部像素点特征,提取图像的区域像素特征分布基函数,便可获取图像边缘特征$ z $$ z $主要由像素强度$ \varphi $、亮度$ \ell $构成。

$ z = \varpi \left( {\varphi + \ell } \right)。$ (6)
1.2 基于最大后验概率的高分辨率船舶图像重组方法

使用最大后验概率方法,将提取的低清晰度图像特征进行高分辨率重组,完成低清晰度船舶图像复原。结合贝叶斯估计理论,低分辨率船舶图像特征和高分辨率特征之间后验概率$ o $为:

$ o = \arg \mathop {\max }\limits_o \frac{{Q\left( {z,o} \right)}}{{Q\left( z \right)}} 。$ (7)

式中:$ Q\left( z \right) $$ Q\left( {z,o} \right) $分别为边缘轮廓特征信息分量$ z \in Z $的先验概率、高低分辨率特征的联合概率。

在图像重组复原的情境中,先验概率是指在处理图像之前,根据已有知识和经验,对图像中各个部分(如像素、特征等)的可能状态或结果的概率分布进行估计。因$ z $存在已知性,则$ Q\left( z \right) $属于常数,则式(7)能转换为:

$ o' = \arg \mathop {\max }\limits_o Q\left( {z,o} \right)Q\left( z \right),$ (8)

先验概率$ Q\left( z \right) $使用高斯模型获取:

$ Q\left( z \right) = \frac{1}{\tau }\exp \left\{ { - {\vartheta ^{\mathrm{T}}}{\psi ^{ - 1}}\vartheta } \right\}。$ (9)

式中:$ \tau $为归一化参数;$ \vartheta $$ \psi $依次为高分辨重组复原权重、似然函数。似然函数可确定图像复原算法应采取的行动方向。例如,如果观测到的数据与先验知识相矛盾,似然函数可能会指导算法调整参数或采取其他纠正措施。似然概率为:

$ Q\left( {z\left| \theta \right.} \right) = \frac{1}{\tau }\exp \left\{ {\frac{{ - {{\left\| {z\left( {\psi \theta + \eta } \right) - z} \right\|}^2}}}{\delta }} \right\}。$ (10)

其中:$ \delta $$ \eta $分别为拉格朗日乘数、点估计参数。

将低分辨率图像特征进行高分辨率重组复原,需实现$ Q\left( {z,o} \right)Q\left( z \right) $最大化,此时解方程$ \theta^* $为:

$ \theta^* = \left( {{\psi ^{\rm{T}}}{z^{\rm{T}}}z\psi + \delta {\psi ^{ - 1}}} \right){\psi ^{\rm{T}}}{z^{\rm{T}}}\left( {z - z\eta } \right) 。$ (11)

则低清晰度船舶图像高分辨率特征重组结果为:

$ z' = \psi \theta^*。$ (12)

考虑噪声会影响特征重组效果,从而影响图像复原质量,式(12)的复原效果需进行失真保护,为此,在复原过程中引入约束条件,从而保证低清晰度船舶图像的复原效果。设置低分辨率船舶图像特征为$ z $,把高分辨率船舶图像特征投影至解空间。

1.3 视觉颜色模型的视觉传达效果优化复原方法

基于视觉(HSV)颜色模型的视觉传达效果优化复原方法为使用六角椎体模型,将重组的高分辨率特征色彩模式进行非线性转换复原。则:

$ {V_Z} = \max \left( {R,G,B} \right),$ (13)
$ {S}_{Z}=\Biggr\{\begin{array}{cc}\frac{{V}_{Z}-\mathrm{min}\left(R,G,B\right)}{{V}_{Z}}& ,{V}_{Z}\ne 0,\\ 0,& 其他,\end{array} $ (14)
$ {H_Z} = 240 + \frac{{60\left( {G - B} \right)}}{{{V_Z} - \min \left( {R,G,B} \right)}}。$ (15)

式中:$ {V_Z} $$ {S_Z} $$ {H_Z} $分别为重组复原后船舶图像的明度、饱和度、色调;$ \left( {R,G,B} \right) $为重组复原后船舶图像的红绿蓝本色。

视觉传达效果优化时,使用式(13)~式(15)转换视觉特性颜色空间,便可优化其重组复原后的视觉效果。

2 结果分析

将本文方法应用于某船舶导航监控系统,用于处理导航监控系统采集的环境感知图像,此系统主要通过可见光摄像机等设备采集船舶航行的工况图像。图1为船舶导航监控系统结构图。

图 1 船舶导航监控系统结构图 Fig. 1 Structure diagram of ship navigation monitoring system

图2为此船舶导航监控系统采集的航行过程中,拍摄的低清晰度海域通行船舶监控图像示意图。图3为本文方法对低清晰度海域通行船舶监控图像复原后效果图,本文方法对低清晰度海域通行船舶监控图像复原之前,图像清晰度较低、图像质量较差,通过人眼分析海域通行船舶监控图像时,视觉传达效果不好;相比之下,复原后海域通行船舶监控图像效果明显优化,复原后图像视觉传达效果提升,清晰度明显优于复原前。从视觉角度分析,本文方法对低清晰度海域通行船舶监控图像的复原效果显著。

图 2 低清晰度海域通行船舶监控图像示意图 Fig. 2 Schematic diagram of low definition monitoring images of ships passing through the sea area

图 3 复原后低清晰度海域通行船舶监控图像效果图 Fig. 3 Restored low definition sea area vessel monitoring image rendering

低清晰度海域通行船舶监控图像复原效果通常会使用峰值信噪比$ {\omega _1} $、结构相似性指数$ {\omega _2} $进行分析。本文方法使用后,低清晰度船舶图像的峰值信噪比$ {\omega _1} $、结构相似性指数$ {\omega _2} $测试结果,如图4所示。可知,复原后$ {\omega _1} $$ {\omega _2} $的数值均大于0.95,说明本文方法对低清晰度海域通行船舶监控图像复原后,图像的像素特征未出现明显失真问题,图像原始特征高度保真。

图 4 船舶图像复原后峰值信噪比、结构相似性指数测试结果 Fig. 4 Test results of peak signal-to-noise ratio and structural similarity index after ship image restoration

图像复原前后,视觉传达效果以颜色特征作为体现,视觉传达效果变化如图5图6所示。可知,复原前图像颜色特征显著性分布在0.3之内,颜色特征显著性有待优化,复原后图像颜色特征显著性指数最大值达1.0,颜色特征显著性提高。说明本文方法复原处理下,低清晰度船舶图像细节受到改善。

图 5 复原前颜色特征的视觉传达效果 Fig. 5 Visual communication effect of color features before restoration

图 6 复原后颜色特征的视觉传达效果 Fig. 6 Visual communication effect of restored color features
3 结 语

对于低清晰度船舶图像的复原,本文提出了基于视觉传达优化的低清晰度船舶图像复原方法,经测试数据显示,在使用本文方法后,复原后海域通行船舶监控图像效果明显优化,复原后图像视觉传达效果提升,清晰度明显优于复原前,且复原后图像特征未出现严重失真问题。该方法对图像的复原能力显著。

参考文献
[1]
陈丽, 李临寒, 王世勇, 等. MMShip: 中分辨率多光谱卫星图像船舶数据集[J]. 光学精密工程, 2023, 31(13): 1962-1972.
CHEN Li, LI Lin-han, WANG Shi-yong, et al. MMShip: medium resolution multispectral satellite imagery ship dataset[J]. Optics and Precision Engineering, 2023, 31(13): 1962-1972. DOI:10.37188/OPE.20233113.1962
[2]
曾广淼, 俞万能, 王荣杰, 等. 船舶目标重叠下马赛克图像数据增强方法研究[J]. 控制理论与应用, 2022, 39(6): 1139-1148.
ZENG Guang-miao, YU Wan-neng, WANG Rong-jie, et al. Research on mosaic image data enhancement and detection method for overlapping ship targets[J]. Control Theory & Applications, 2022, 39(6): 1139-1148.
[3]
乔志凯, 陈世才, 蒙子昕, 等. 复杂光照下的船舶水尺图像二值化新方法[J]. 中国航海, 2021, 44(4): 80-85+93.
QIAO Zhi-kai, CHEN Shi-cai, MENG Zi-xin, et al. A new method for draught line image binarization in complicated Illumination environment[J]. Navigation of China, 2021, 44(4): 80-85+93.
[4]
张恒, 杨家轩, 周洋宇, 等. 可见光视频图像中的船舶目标自适应检测[J]. 上海海事大学学报, 2021, 42(1): 33-38, 43.
ZHANG Heng, YANG Jia-xuan, ZHOU Yang-yu, et al. Adaptive detection of ship targets in visible light video images[J]. Journal of Shanghai Maritime University, 2021, 42(1): 33-38, 43.
[5]
李凯, 于洪亮, 徐轶群, 等. 基于光学遥感影像的船舶目标识别[J]. 中国航海, 2022, 45(1): 95-100.
LI Kai, YU Hong-liang, XU Yi-qun, et al. Ship target recognition from optical remote sensing image[J]. Navigation of China, 2022, 45(1): 95-100.