船舶监控是保障海上交通安全、防止海上犯罪以及维护国家安全的重要手段。然而,在实际监控中,由于受到天气、光照、摄像头质量等多种因素的影响,常会获得低清晰度的船舶图像。这使得船舶的识别、跟踪和监控变得困难。因此,低清晰度船舶图像复原问题的研究,是为了满足实际应用中,对清晰船舶图像的需求。
国内外学者在船舶图像处理和机器视觉领域的研究不断深入,推动了低清晰度船舶图像复原问题的研究进展。许多学者针对船舶图像的特点,提出了各种图像增强、超分辨率和深度学习等技术,不断改善船舶图像的清晰度和识别效果。张恒等[4]在研究舰船图像目标检测问题时,为优化图像质量,由自适应中值滤波和均值漂移滤波方法,去除图像噪声信息,提高图像清晰度,复原原始图像信息。但这2种方法在去除噪声的同时,可能会对图像的细节造成一定程度的模糊或损失。这在舰船的边缘和纹理等关键特征的保留上可能存在问题,导致复原图像存在特征丢失问题。李凯等[5]在研究舰船目标检测问题中,认为使用边缘增强算法可增强图像目标与背景的边缘细节特征,复原原始图像信息,但边缘增强算法往往依赖于图像中的亮度变化,因此对光照条件比较敏感。在光照不均匀的条件下,算法可能会导致图像增强后出现失真问题,为此设计基于视觉传达优化的低清晰度船舶图像复原方法,主要用于优化低清晰度船舶图像视觉传达效果。
1 低清晰度船舶图像复原方法 1.1 低清晰度船舶图像视觉传达信息特征提取方法采用帧扫描方法,提取低清晰度船舶图像
$ {\varepsilon _j} = {z_j} - n。$ | (1) |
式中:
特征提取时,设置低清晰度船舶图像单帧信息为
$ \varepsilon = \arg \min \partial \left( \varepsilon \right)。$ | (2) |
式中:
基于傅里叶频域中,以融合的方式进行模板匹配,得到滤波后低清晰度船舶图像
$ P\left( {X,Y} \right) = \frac{{\mu \left( {X,Y} \right)}}{{A\left( {X,U} \right)}} + \frac{{\mu \left( {X,Y} \right)}}{{A\left( {Y,U} \right)}} 。$ | (3) |
式中:
把滤波后低清晰度船舶图像像素点作为初始聚类中心,把低清晰度船舶图像
$ {J_{if}}\left( {x,y} \right) = J\cdot W 。$ | (4) |
其中,
基于频谱能量集合中整理边缘像素特征,重构时加权权重为
$ \varpi = \frac{1}{L}\exp \left( { - \frac{d}{{{v^2}}}} \right)。$ | (5) |
式中,
融合低清晰度船舶图像全部像素点特征,提取图像的区域像素特征分布基函数,便可获取图像边缘特征
$ z = \varpi \left( {\varphi + \ell } \right)。$ | (6) |
使用最大后验概率方法,将提取的低清晰度图像特征进行高分辨率重组,完成低清晰度船舶图像复原。结合贝叶斯估计理论,低分辨率船舶图像特征和高分辨率特征之间后验概率
$ o = \arg \mathop {\max }\limits_o \frac{{Q\left( {z,o} \right)}}{{Q\left( z \right)}} 。$ | (7) |
式中:
在图像重组复原的情境中,先验概率是指在处理图像之前,根据已有知识和经验,对图像中各个部分(如像素、特征等)的可能状态或结果的概率分布进行估计。因
$ o' = \arg \mathop {\max }\limits_o Q\left( {z,o} \right)Q\left( z \right),$ | (8) |
先验概率
$ Q\left( z \right) = \frac{1}{\tau }\exp \left\{ { - {\vartheta ^{\mathrm{T}}}{\psi ^{ - 1}}\vartheta } \right\}。$ | (9) |
式中:
$ Q\left( {z\left| \theta \right.} \right) = \frac{1}{\tau }\exp \left\{ {\frac{{ - {{\left\| {z\left( {\psi \theta + \eta } \right) - z} \right\|}^2}}}{\delta }} \right\}。$ | (10) |
其中:
将低分辨率图像特征进行高分辨率重组复原,需实现
$ \theta^* = \left( {{\psi ^{\rm{T}}}{z^{\rm{T}}}z\psi + \delta {\psi ^{ - 1}}} \right){\psi ^{\rm{T}}}{z^{\rm{T}}}\left( {z - z\eta } \right) 。$ | (11) |
则低清晰度船舶图像高分辨率特征重组结果为:
$ z' = \psi \theta^*。$ | (12) |
考虑噪声会影响特征重组效果,从而影响图像复原质量,式(12)的复原效果需进行失真保护,为此,在复原过程中引入约束条件,从而保证低清晰度船舶图像的复原效果。设置低分辨率船舶图像特征为
基于视觉(HSV)颜色模型的视觉传达效果优化复原方法为使用六角椎体模型,将重组的高分辨率特征色彩模式进行非线性转换复原。则:
$ {V_Z} = \max \left( {R,G,B} \right),$ | (13) |
$ {S}_{Z}=\Biggr\{\begin{array}{cc}\frac{{V}_{Z}-\mathrm{min}\left(R,G,B\right)}{{V}_{Z}}& ,{V}_{Z}\ne 0,\\ 0,& 其他,\end{array} $ | (14) |
$ {H_Z} = 240 + \frac{{60\left( {G - B} \right)}}{{{V_Z} - \min \left( {R,G,B} \right)}}。$ | (15) |
式中:
视觉传达效果优化时,使用式(13)~式(15)转换视觉特性颜色空间,便可优化其重组复原后的视觉效果。
2 结果分析将本文方法应用于某船舶导航监控系统,用于处理导航监控系统采集的环境感知图像,此系统主要通过可见光摄像机等设备采集船舶航行的工况图像。图1为船舶导航监控系统结构图。
图2为此船舶导航监控系统采集的航行过程中,拍摄的低清晰度海域通行船舶监控图像示意图。图3为本文方法对低清晰度海域通行船舶监控图像复原后效果图,本文方法对低清晰度海域通行船舶监控图像复原之前,图像清晰度较低、图像质量较差,通过人眼分析海域通行船舶监控图像时,视觉传达效果不好;相比之下,复原后海域通行船舶监控图像效果明显优化,复原后图像视觉传达效果提升,清晰度明显优于复原前。从视觉角度分析,本文方法对低清晰度海域通行船舶监控图像的复原效果显著。
低清晰度海域通行船舶监控图像复原效果通常会使用峰值信噪比
图像复原前后,视觉传达效果以颜色特征作为体现,视觉传达效果变化如图5和图6所示。可知,复原前图像颜色特征显著性分布在0.3之内,颜色特征显著性有待优化,复原后图像颜色特征显著性指数最大值达1.0,颜色特征显著性提高。说明本文方法复原处理下,低清晰度船舶图像细节受到改善。
对于低清晰度船舶图像的复原,本文提出了基于视觉传达优化的低清晰度船舶图像复原方法,经测试数据显示,在使用本文方法后,复原后海域通行船舶监控图像效果明显优化,复原后图像视觉传达效果提升,清晰度明显优于复原前,且复原后图像特征未出现严重失真问题。该方法对图像的复原能力显著。
[1] |
陈丽, 李临寒, 王世勇, 等. MMShip: 中分辨率多光谱卫星图像船舶数据集[J]. 光学精密工程, 2023, 31(13): 1962-1972. CHEN Li, LI Lin-han, WANG Shi-yong, et al. MMShip: medium resolution multispectral satellite imagery ship dataset[J]. Optics and Precision Engineering, 2023, 31(13): 1962-1972. DOI:10.37188/OPE.20233113.1962 |
[2] |
曾广淼, 俞万能, 王荣杰, 等. 船舶目标重叠下马赛克图像数据增强方法研究[J]. 控制理论与应用, 2022, 39(6): 1139-1148. ZENG Guang-miao, YU Wan-neng, WANG Rong-jie, et al. Research on mosaic image data enhancement and detection method for overlapping ship targets[J]. Control Theory & Applications, 2022, 39(6): 1139-1148. |
[3] |
乔志凯, 陈世才, 蒙子昕, 等. 复杂光照下的船舶水尺图像二值化新方法[J]. 中国航海, 2021, 44(4): 80-85+93. QIAO Zhi-kai, CHEN Shi-cai, MENG Zi-xin, et al. A new method for draught line image binarization in complicated Illumination environment[J]. Navigation of China, 2021, 44(4): 80-85+93. |
[4] |
张恒, 杨家轩, 周洋宇, 等. 可见光视频图像中的船舶目标自适应检测[J]. 上海海事大学学报, 2021, 42(1): 33-38, 43. ZHANG Heng, YANG Jia-xuan, ZHOU Yang-yu, et al. Adaptive detection of ship targets in visible light video images[J]. Journal of Shanghai Maritime University, 2021, 42(1): 33-38, 43. |
[5] |
李凯, 于洪亮, 徐轶群, 等. 基于光学遥感影像的船舶目标识别[J]. 中国航海, 2022, 45(1): 95-100. LI Kai, YU Hong-liang, XU Yi-qun, et al. Ship target recognition from optical remote sensing image[J]. Navigation of China, 2022, 45(1): 95-100. |