舰船图像采集过程中有较大概率受外界与周边环境影响[1],造成舰船图像的质量下降。而舰船图像采集过程中因相机抖动、云雾天气以及对焦偏差所产生的图像模糊是一种最为常见的图像质量下降问题[2]。图像模糊问题对于舰船图像的视觉传达效果产生直接影响,不利于用户在舰船图像中获取有用的信息[3]。因此研究一种模糊舰船图像的视觉传达优化方法对于舰船图像的应用具有重要意义。
杨琼等[4]在研究模糊图像复原的问题中,利用全变差正则模型对图像实施去模糊处理,通过神经网络模型恢复模糊图像的像素。该方法在实际应用中产生过度复原问题,也就是去模糊后图像亮度过暗,不利于人眼辨识。杨洁等[5]在研究图像去模糊问题中,利用变量分裂交替优化算法求解自适应梯度稀疏模型,利用求解后的模型实现图像去模糊处理。该方法实际应用过程具有一定约束性,对部分因外界环境信息导致的模糊问题无法有效去除。针对上述问题,研究基于视觉传达的模糊舰船图像优化方法,为模糊舰船图像的应用提供新的思路。
1 模糊舰船图像优化方法 1.1 基于视觉传达的模糊舰船图像去模糊处理 1.1.1 模糊舰船图像模型构建舰船图像的模糊过程可理解为是在清晰舰船图像同点扩散函数的卷积处理过程中掺杂了噪声[6],可通过下式描述:
$ g = d * f + z。$ | (1) |
式中:
模糊舰船图像去模糊处理的目的即为由模糊舰船图像
$ m = {\boldsymbol{D}}f + n。$ | (2) |
式中:
$ {\boldsymbol{D}} = \left[ \begin{gathered} d_r^{}\mathop {}\nolimits_{} 0\mathop {}\nolimits_{} 0 \\ 0\mathop {}\nolimits_{} d_g^{}\mathop {}\nolimits_{} 0 \\ 0\mathop {}\nolimits_{} 0\mathop {}\nolimits_{} d_b^{} \\ \end{gathered} \right]。$ | (3) |
式中:
通过确定不同色彩通道的模糊核函数,能够获取更好的舰船图像去模糊效果。
1.1.2 模糊核确定模糊核确定是模糊舰船图像去模糊处理过程中的关键环节[7],通过获取高精度的模糊核能够提升模糊舰船图像去模糊处理的效果。舰船图像不同色彩通道内的梯度矩阵也可以定义为一幅图像,由此基于式(1),可通过式(4)描述模糊舰船图像色彩通道内的梯度矩阵
$ \nabla m = d * \nabla f + z 。$ | (4) |
基于式(4),以防止模糊舰船图像不同色彩通道内模糊核确定的误差,采用最小二乘模型在模糊舰船图像色彩通道梯度空间内确定模糊核:
$ \mathop {\min }\limits_d \left\| {d * \nabla f - \nabla m} \right\|_2^2 + \sigma \left\| d \right\|_2^2。$ | (5) |
式中,
利用快速傅里叶变换求解式(5),由此能够确定模糊舰船图像色彩通道内的模糊核为:
$ d = {F^{ - 1}}\left( {\frac{{F{{\left( {{\nabla _x}f} \right)}^ * } \cdot F\left( {{\nabla _x}m} \right) + F{{\left( {{\nabla _y}f} \right)}^ * } \cdot F\left( {{\nabla _y}m} \right)}}{{F{{\left( {{\nabla _x}f} \right)}^ * } \cdot F\left( {{\nabla _x}f} \right) + F{{\left( {{\nabla _y}f} \right)}^ * } \cdot F\left( {{\nabla _y}f} \right) + \sigma }}} \right) 。$ | (6) |
式中,
在确定模糊舰船图像不同色彩通道内的模糊核后,可将模糊舰船图像的去模糊问题转换成反卷积的求解问题。在求解过程中,通过模糊舰船图像信号的稀疏描述,构建高质量的舰船图像去模糊模型。以获取高质量稀疏表示信号为目的,需最大限度利用模糊舰船图像局部平滑与非局部自相似特征,因此以结构组作为稀疏表示的基本单位。利用字典学习法获取结构组的字典,结合不同色彩通道内的模糊核,即可构建结构组稀疏下的舰船图像去模糊模型,公式描述如下:
$ {\alpha _G} = \arg {\min _{{\alpha _G}}}\frac{{\left\| {D{E_G} \cdot {\alpha _G} - m} \right\|}}{2} + \delta {\left\| {{\alpha _G}} \right\|_1} 。$ | (7) |
式中:
在完成舰船图像去模糊处理后,考虑人眼视觉特性,采用人眼视觉HSV(Hue Saturation Value)色彩模型对去模糊处理后的舰船图像进行优化,提升舰船图像视觉传达效果。基于人眼视觉(HSV)模型进行舰船图像视觉传达效果优化就是通过舰船图像直观颜色特性构建适合描述舰船图像颜色的空间模型。采用以颜色系统色彩模型为基础的六角椎体模型对舰船图像进行视觉传达效果优化,利用式(8)~式(12)描述HSV模型对去模糊后舰船图像色彩的非线性变换过程:
$ V = \max \left( {R,G,B} \right),$ | (8) |
$ S = \left\{ \begin{array}{*{20}{l}} \dfrac{{V - \min \left( {R,G,B} \right)}}{V},V \ne 0 ,\\ 0,{\rm{else }},\end{array} \right. $ | (9) |
$ H = \frac{{60\left( {G - B} \right)}}{{V - \min \left( {R,G,B} \right)}},$ | (10) |
$ H' = 120 + \frac{{60\left( {G - B} \right)}}{{V - \min \left( {R,G,B} \right)}} ,$ | (11) |
$ H'' = 240 + \frac{{60\left( {G - B} \right)}}{{V - \min \left( {R,G,B} \right)}}。$ | (12) |
式中:
在舰船图像视觉传达优化过程中,利用上述过程所描述的RGB色彩模式变换舰船图像在人眼视觉特性中的颜色空间,重建去模糊后舰船图像颜色模型空间内的明度参数,由此达到舰船图像视觉效果优化的目的。
2 实验结果为验证本文基于视觉传达的模糊舰船图像优化方法在实际模糊舰船图像优化中的应用效果,以某舰船图像集合为研究对象,该集合中包含在不同状态下、不同天气条件下所采集的3692幅图像。其中包含部分因运动造成的模糊图像和因天气条件等外界环境因素所造成的模糊图像。采用本文方法对这些模糊图像进行去模糊与视觉传达优化,从主观与客观2个角度分析本文方法的应用效果。
2.1 主观视觉传达优化效果分析在图像集内随机选取一幅运动状态下的舰船图像和一幅静止状态下的舰船图像,采用本文方法对这2幅图像进行去模糊处理与视觉传达优化,所得结果如图1和图2所示。
图1为在晴朗天气条件下舰船运动状态中所采集的图像,图2为云雾天气条件下舰船静止状态中所采集的图像。分析图1和图2能够得到,本文方法在针对不同状态下所获取的舰船图像时均能够有效实现去模糊处理,但在去模糊的同时将会造成舰船图像的色彩产生一定偏差,而通过本文方法中视觉传达优化过程即可改善这一问题,提升模糊图像的清晰度与对比度,令处理后的舰船图像无限接近清晰图像。
2.2 客观视觉传达优化效果分析在图像视觉传达方面,结构相似度与信息熵被普遍应用在处理后的图像质量分析上。在研究对象内随机选取8幅模糊舰船图像,采用本文方法对所选图像进行去模糊与视觉优化。从客观角度分析本文方法的视觉传达优化效果,以结构相似度与信息熵为评价指标,通过结构相似度能够描述清晰舰船图像与本文方法处理后舰船图像间的一致度信息熵能够描述本文方法处理后舰船图像内包含的信息量,结构相似度
$ S\left( {x,y} \right) = \frac{{\left( {2{\mu _x}{\mu _y} + {k_1}} \right)\left( {2{\phi _{xy}} + {k_2}} \right)}}{{\left( {\mu _x^2\mu _y^2 + {k_1}} \right)\left( {\phi _x^2 + \phi _y^2 + {k_2}} \right)}}。$ | (13) |
式中:
$ \beta = \sum\limits_{g = 0}^{L - 1} {a\left( j \right)} {\log _2}a\left( j \right) 。$ | (14) |
式中,
本文方法处理后各舰船图像的结构相似度
本文研究基于视觉传达的模糊舰船图像优化方法,在舰船图像去模糊处理的基础上,基于人眼视觉对舰船图像实施视觉优化。实验结果显示,本文方法具有较好应用效果。后续将主要针对本文方法在实际应用过程中的去噪性能进行研究,提升本文方法应用性能。
[1] |
陈卫东, 郭蔚然, 刘宏炜, 等. 基于改进Mask R-CNN的模糊图像实例分割的研究[J]. 电子与信息学报, 2020, 42(11): 2805-2812. CHEN Weidong, GUO Weiran, LIU Hongwei, et al. Research on fuzzy image instance segmentation based on improved mask R-CNN[J]. Journal of Electronics & Information Technology, 2020, 42(11): 2805-2812. DOI:10.11999/JEIT190604 |
[2] |
叶晓杰, 崔光茫, 赵巨峰, 等. 基于闪动快门的互补序列对的运动模糊图像复原[J]. 光子学报, 2020, 49(8): 161-175. YE Xiao-jie, CUI Guang-mang, ZHAO Ju-feng, et al. Motion blurred image restoration based on complementary sequence pair using fluttering shutter imaging[J]. Acta Photonica Sinica, 2020, 49(8): 161-175. |
[3] |
梁晓萍, 郭振军, 朱昌洪. 基于头脑风暴优化算法的BP神经网络模糊图像复原[J]. 电子与信息学报, 2019, 41(12): 2980-2986. LIANG Xiaoping, GUO Zhenjun, ZHU Changhong. BP neural network fuzzy image restoration based on brain storming optimization algorithm[J]. Journal of Electronics & Information Technology, 2019, 41(12): 2980-2986. DOI:10.11999/JEIT190261 |
[4] |
杨琼, 况姗芸, 冯义东. 基于全变差模型与卷积神经网络的模糊图像恢复[J]. 南京理工大学学报, 2022, 46(3): 277-283. YANG Qiong, KUANG Shanyun, FENG Yidong. Fuzzy image restoration based on TV model and CNN[J]. ournal of Nanjing University of Science and Technology, 2022, 46(3): 277-283. |
[5] |
杨洁, 周洋, 谢菲, 等. 采用自适应梯度稀疏模型的图像去模糊算法[J]. 中国图象图形学报, 2019, 24(2): 180-191. YANG Jie, ZHOU Yang, XIE Fei, et al. Image deblurring using an adaptive sparse gradient model[J]. Journal of Image and Graphics, 2019, 24(2): 180-191. |
[6] |
易开宇, 戴贞明. 基于混合非凸性二阶全变分和重叠组稀疏的非盲图像去模糊算法[J]. 电子测量与仪器学报, 2021, 35(9): 229-235. YI Kaiyu; DAI Zhenming. Non-blind image deblurring based on hybrid non-convex second-order total variation and the overlapping group sparse[J]. Journal of Electronic Measurement and Instrumentation, 2021, 35(9): 229-235. |
[7] |
黄彦宁, 李伟红, 崔金凯, 等. 强边缘提取网络用于非均匀运动模糊图像盲复原[J]. 自动化学报, 2021, 47(11): 2637-2653. HUANG Yan-Ning, LI Wei-Hong, CUI Jin-Kai, et al. Strong edge extraction network for non-uniform blind motion image deblurring[J]. Acta Automatica Sinica, 2021, 47(11): 2637-2653. DOI:10.16383/j.aas.c190654 |