船舶监控是保障海上交通安全、防止海上犯罪以及维护国家安全的重要手段。然而,在实际监控中,由于受到天气、光照、摄像头质量等多种因素的影响,常会获得低清晰度的船舶图像。这使得船舶的识别、跟踪和监控变得困难。因此,低清晰度船舶图像复原问题的研究,是为了满足实际应用中,对清晰船舶图像的需求。
国内外学者在船舶图像处理和机器视觉领域的研究不断深入,推动了低清晰度船舶图像复原问题的研究进展。许多学者针对船舶图像的特点,提出了各种图像增强、超分辨率和深度学习等技术,不断改善船舶图像的清晰度和识别效果。张恒等[4]在研究舰船图像目标检测问题时,为优化图像质量,由自适应中值滤波和均值漂移滤波方法,去除图像噪声信息,提高图像清晰度,复原原始图像信息。但这2种方法在去除噪声的同时,可能会对图像的细节造成一定程度的模糊或损失。这在舰船的边缘和纹理等关键特征的保留上可能存在问题,导致复原图像存在特征丢失问题。李凯等[5]在研究舰船目标检测问题中,认为使用边缘增强算法可增强图像目标与背景的边缘细节特征,复原原始图像信息,但边缘增强算法往往依赖于图像中的亮度变化,因此对光照条件比较敏感。在光照不均匀的条件下,算法可能会导致图像增强后出现失真问题,为此设计基于视觉传达优化的低清晰度船舶图像复原方法,主要用于优化低清晰度船舶图像视觉传达效果。
1 低清晰度船舶图像复原方法 1.1 低清晰度船舶图像视觉传达信息特征提取方法采用帧扫描方法,提取低清晰度船舶图像
εj=zj−n。 | (1) |
式中:
特征提取时,设置低清晰度船舶图像单帧信息为
ε=argmin∂(ε)。 | (2) |
式中:
基于傅里叶频域中,以融合的方式进行模板匹配,得到滤波后低清晰度船舶图像
P(X,Y)=μ(X,Y)A(X,U)+μ(X,Y)A(Y,U)。 | (3) |
式中:
把滤波后低清晰度船舶图像像素点作为初始聚类中心,把低清晰度船舶图像
Jif(x,y)=J⋅W。 | (4) |
其中,
基于频谱能量集合中整理边缘像素特征,重构时加权权重为
ϖ=1Lexp(−dv2)。 | (5) |
式中,
融合低清晰度船舶图像全部像素点特征,提取图像的区域像素特征分布基函数,便可获取图像边缘特征
z=ϖ(φ+ℓ)。 | (6) |
使用最大后验概率方法,将提取的低清晰度图像特征进行高分辨率重组,完成低清晰度船舶图像复原。结合贝叶斯估计理论,低分辨率船舶图像特征和高分辨率特征之间后验概率
o=argmaxoQ(z,o)Q(z)。 | (7) |
式中:
在图像重组复原的情境中,先验概率是指在处理图像之前,根据已有知识和经验,对图像中各个部分(如像素、特征等)的可能状态或结果的概率分布进行估计。因
o′=argmaxoQ(z,o)Q(z), | (8) |
先验概率
Q(z)=1τexp{−ϑTψ−1ϑ}。 | (9) |
式中:
Q(z|θ)=1τexp{−‖z(ψθ+η)−z‖2δ}。 | (10) |
其中:
将低分辨率图像特征进行高分辨率重组复原,需实现
θ∗=(ψTzTzψ+δψ−1)ψTzT(z−zη)。 | (11) |
则低清晰度船舶图像高分辨率特征重组结果为:
z′=ψθ∗。 | (12) |
考虑噪声会影响特征重组效果,从而影响图像复原质量,式(12)的复原效果需进行失真保护,为此,在复原过程中引入约束条件,从而保证低清晰度船舶图像的复原效果。设置低分辨率船舶图像特征为
基于视觉(HSV)颜色模型的视觉传达效果优化复原方法为使用六角椎体模型,将重组的高分辨率特征色彩模式进行非线性转换复原。则:
VZ=max(R,G,B), | (13) |
SZ={VZ−min(R,G,B)VZ,VZ≠0,0,其他, | (14) |
HZ=240+60(G−B)VZ−min(R,G,B)。 | (15) |
式中:
视觉传达效果优化时,使用式(13)~式(15)转换视觉特性颜色空间,便可优化其重组复原后的视觉效果。
2 结果分析将本文方法应用于某船舶导航监控系统,用于处理导航监控系统采集的环境感知图像,此系统主要通过可见光摄像机等设备采集船舶航行的工况图像。图1为船舶导航监控系统结构图。
![]() |
图 1 船舶导航监控系统结构图 Fig. 1 Structure diagram of ship navigation monitoring system |
图2为此船舶导航监控系统采集的航行过程中,拍摄的低清晰度海域通行船舶监控图像示意图。图3为本文方法对低清晰度海域通行船舶监控图像复原后效果图,本文方法对低清晰度海域通行船舶监控图像复原之前,图像清晰度较低、图像质量较差,通过人眼分析海域通行船舶监控图像时,视觉传达效果不好;相比之下,复原后海域通行船舶监控图像效果明显优化,复原后图像视觉传达效果提升,清晰度明显优于复原前。从视觉角度分析,本文方法对低清晰度海域通行船舶监控图像的复原效果显著。
![]() |
图 2 低清晰度海域通行船舶监控图像示意图 Fig. 2 Schematic diagram of low definition monitoring images of ships passing through the sea area |
![]() |
图 3 复原后低清晰度海域通行船舶监控图像效果图 Fig. 3 Restored low definition sea area vessel monitoring image rendering |
低清晰度海域通行船舶监控图像复原效果通常会使用峰值信噪比
![]() |
图 4 船舶图像复原后峰值信噪比、结构相似性指数测试结果 Fig. 4 Test results of peak signal-to-noise ratio and structural similarity index after ship image restoration |
图像复原前后,视觉传达效果以颜色特征作为体现,视觉传达效果变化如图5和图6所示。可知,复原前图像颜色特征显著性分布在0.3之内,颜色特征显著性有待优化,复原后图像颜色特征显著性指数最大值达1.0,颜色特征显著性提高。说明本文方法复原处理下,低清晰度船舶图像细节受到改善。
![]() |
图 5 复原前颜色特征的视觉传达效果 Fig. 5 Visual communication effect of color features before restoration |
![]() |
图 6 复原后颜色特征的视觉传达效果 Fig. 6 Visual communication effect of restored color features |
对于低清晰度船舶图像的复原,本文提出了基于视觉传达优化的低清晰度船舶图像复原方法,经测试数据显示,在使用本文方法后,复原后海域通行船舶监控图像效果明显优化,复原后图像视觉传达效果提升,清晰度明显优于复原前,且复原后图像特征未出现严重失真问题。该方法对图像的复原能力显著。
[1] |
陈丽, 李临寒, 王世勇, 等. MMShip: 中分辨率多光谱卫星图像船舶数据集[J]. 光学精密工程, 2023, 31(13): 1962-1972. CHEN Li, LI Lin-han, WANG Shi-yong, et al. MMShip: medium resolution multispectral satellite imagery ship dataset[J]. Optics and Precision Engineering, 2023, 31(13): 1962-1972. DOI:10.37188/OPE.20233113.1962 |
[2] |
曾广淼, 俞万能, 王荣杰, 等. 船舶目标重叠下马赛克图像数据增强方法研究[J]. 控制理论与应用, 2022, 39(6): 1139-1148. ZENG Guang-miao, YU Wan-neng, WANG Rong-jie, et al. Research on mosaic image data enhancement and detection method for overlapping ship targets[J]. Control Theory & Applications, 2022, 39(6): 1139-1148. |
[3] |
乔志凯, 陈世才, 蒙子昕, 等. 复杂光照下的船舶水尺图像二值化新方法[J]. 中国航海, 2021, 44(4): 80-85+93. QIAO Zhi-kai, CHEN Shi-cai, MENG Zi-xin, et al. A new method for draught line image binarization in complicated Illumination environment[J]. Navigation of China, 2021, 44(4): 80-85+93. |
[4] |
张恒, 杨家轩, 周洋宇, 等. 可见光视频图像中的船舶目标自适应检测[J]. 上海海事大学学报, 2021, 42(1): 33-38, 43. ZHANG Heng, YANG Jia-xuan, ZHOU Yang-yu, et al. Adaptive detection of ship targets in visible light video images[J]. Journal of Shanghai Maritime University, 2021, 42(1): 33-38, 43. |
[5] |
李凯, 于洪亮, 徐轶群, 等. 基于光学遥感影像的船舶目标识别[J]. 中国航海, 2022, 45(1): 95-100. LI Kai, YU Hong-liang, XU Yi-qun, et al. Ship target recognition from optical remote sensing image[J]. Navigation of China, 2022, 45(1): 95-100. |