舰船科学技术  2022, Vol. 44 Issue (22): 154-157    DOI: 10.3404/j.issn.1672-7649.2022.22.030   PDF    
基于视觉传达的模糊舰船图像优化
周延木     
江西科技学院,江西 南昌 330000
摘要: 以提升模糊舰船图像视觉传达效果,获取更多的舰船图像内部信息为目的,研究基于视觉传达的模糊舰船图像优化方法。采用基于视觉传达的模糊舰船图像去模糊处理方法,根据模糊舰船图像模型,分别确定彩色模糊舰船图像3个RGB 色彩通道的模糊核,并将确定的模糊核应用到基于细稀疏表示的去模糊模型中,对舰船图像去模糊处理。依照人类视觉对色彩度的具体感知水平,采用六角椎体模型对去模糊化后的舰船图像进行视觉传达效果优化,重建去模糊后舰船图像颜色模型空间内的明度参数。实验结果显示,所研究方法能够有效实现舰船图像去模糊处理,处理后图像与清晰舰船图像相比结构相似度均达到0.89以上,信息熵值均在9.1以上。
关键词: 视觉传达     模糊舰船图像     色彩通道     模糊核     人类视觉     颜色模型    
Research on optimization of fuzzy ship image based on visual communication
ZHOU Yan-mu     
Jiangxi University of Technology, Nanchang 330000, China
Abstract: In order to improve the visual communication effect of fuzzy ship image and obtain more internal information of ship image, the optimization method of fuzzy ship image based on visual communication is studied. The fuzzy ship image deblurring method based on visual communication is adopted. Based on the fuzzy ship image model, the fuzzy cores of the three RGB color channels of the color fuzzy ship image are determined respectively, and the determined fuzzy cores are applied to the deblurring model based on thin sparse representation to deblurch the ship image. According to the specific perception level of human vision on chromaticity, the hexagonal cone model is used to optimize the visual communication effect of the deblurred ship image, and reconstruct the brightness parameters in the color model space of the deblurred ship image. The experimental results show that the proposed method can effectively de blur the ship image, and the structural similarity between the processed image and the clear ship image is more than 0.89, and the information entropy is more than 9.1.
Key words: visual communication     fuzzy ship image     color channel     fuzzy kernel     human vision     color model    
0 引 言

舰船图像采集过程中有较大概率受外界与周边环境影响[1],造成舰船图像的质量下降。而舰船图像采集过程中因相机抖动、云雾天气以及对焦偏差所产生的图像模糊是一种最为常见的图像质量下降问题[2]。图像模糊问题对于舰船图像的视觉传达效果产生直接影响,不利于用户在舰船图像中获取有用的信息[3]。因此研究一种模糊舰船图像的视觉传达优化方法对于舰船图像的应用具有重要意义。

杨琼等[4]在研究模糊图像复原的问题中,利用全变差正则模型对图像实施去模糊处理,通过神经网络模型恢复模糊图像的像素。该方法在实际应用中产生过度复原问题,也就是去模糊后图像亮度过暗,不利于人眼辨识。杨洁等[5]在研究图像去模糊问题中,利用变量分裂交替优化算法求解自适应梯度稀疏模型,利用求解后的模型实现图像去模糊处理。该方法实际应用过程具有一定约束性,对部分因外界环境信息导致的模糊问题无法有效去除。针对上述问题,研究基于视觉传达的模糊舰船图像优化方法,为模糊舰船图像的应用提供新的思路。

1 模糊舰船图像优化方法 1.1 基于视觉传达的模糊舰船图像去模糊处理 1.1.1 模糊舰船图像模型构建

舰船图像的模糊过程可理解为是在清晰舰船图像同点扩散函数的卷积处理过程中掺杂了噪声[6],可通过下式描述:

$ g = d * f + z。$ (1)

式中: $ m $ $ \delta $ 分别为模糊舰船图像和点扩散函数,其中 $ \delta $ 也称为模糊核函数; $ * $ $ f $ 分别为卷积处理与清晰舰船图像; $ z $ 为噪声。

模糊舰船图像去模糊处理的目的即为由模糊舰船图像 $ z $ 内复原出清晰舰船图像 $ f $ 。以向量 $m = [ m_r^{\rm{T}}, m_g^{\rm{T}},m_b^{\rm{T}} ]$ 描述彩色模糊舰船图像,其中 $ T $ 表示转置处理, $ m_r^{} $ $ m_g^{} $ $ m_b^{} $ 分别表示红、绿、蓝3个色彩通道中的模糊舰船图像向量。同理,清晰舰船图像也可通过向量 $f = \left[ {f_r^{\rm{T}},f_g^T{\rm{}},f_b^{\rm{T}}} \right]$ 描述,由此可将式(1)转换为式(2)所示的矩阵形式:

$ m = {\boldsymbol{D}}f + n。$ (2)

式中: $ {\boldsymbol{D}} $ $z = \left[ {z_r^{\rm{T}},z_g^{\rm{T}},z_b^{\rm{T}}} \right]$ 分别表示模糊核对角矩阵和加性噪声向量, $ {\boldsymbol{D}} $ 可表示为:

$ {\boldsymbol{D}} = \left[ \begin{gathered} d_r^{}\mathop {}\nolimits_{} 0\mathop {}\nolimits_{} 0 \\ 0\mathop {}\nolimits_{} d_g^{}\mathop {}\nolimits_{} 0 \\ 0\mathop {}\nolimits_{} 0\mathop {}\nolimits_{} d_b^{} \\ \end{gathered} \right]。$ (3)

式中: $ d_r^{} $ $ d_g^{} $ $ d_b^{} $ 分别为不同彩色通道中的模糊核函数。

通过确定不同色彩通道的模糊核函数,能够获取更好的舰船图像去模糊效果。

1.1.2 模糊核确定

模糊核确定是模糊舰船图像去模糊处理过程中的关键环节[7],通过获取高精度的模糊核能够提升模糊舰船图像去模糊处理的效果。舰船图像不同色彩通道内的梯度矩阵也可以定义为一幅图像,由此基于式(1),可通过式(4)描述模糊舰船图像色彩通道内的梯度矩阵 $ \nabla m $ 与清晰舰船图像梯度矩阵 $ \nabla f $ 间的相关性:

$ \nabla m = d * \nabla f + z 。$ (4)

基于式(4),以防止模糊舰船图像不同色彩通道内模糊核确定的误差,采用最小二乘模型在模糊舰船图像色彩通道梯度空间内确定模糊核:

$ \mathop {\min }\limits_d \left\| {d * \nabla f - \nabla m} \right\|_2^2 + \sigma \left\| d \right\|_2^2。$ (5)

式中, $ \sigma $ 表示核矩阵的权重。

利用快速傅里叶变换求解式(5),由此能够确定模糊舰船图像色彩通道内的模糊核为:

$ d = {F^{ - 1}}\left( {\frac{{F{{\left( {{\nabla _x}f} \right)}^ * } \cdot F\left( {{\nabla _x}m} \right) + F{{\left( {{\nabla _y}f} \right)}^ * } \cdot F\left( {{\nabla _y}m} \right)}}{{F{{\left( {{\nabla _x}f} \right)}^ * } \cdot F\left( {{\nabla _x}f} \right) + F{{\left( {{\nabla _y}f} \right)}^ * } \cdot F\left( {{\nabla _y}f} \right) + \sigma }}} \right) 。$ (6)

式中, $ \nabla m $ 以及 $ \nabla f $ 取值依据色彩的差异而不同。因此,依据不同色彩的具体 $ \nabla m $ 以及 $ \nabla f $ 取值,获取不同色彩的模糊核分别是 $ d_r^{} $ $ d_g^{} $ $ d_b^{} $

1.1.3 基于稀疏表示的去模糊模型构建

在确定模糊舰船图像不同色彩通道内的模糊核后,可将模糊舰船图像的去模糊问题转换成反卷积的求解问题。在求解过程中,通过模糊舰船图像信号的稀疏描述,构建高质量的舰船图像去模糊模型。以获取高质量稀疏表示信号为目的,需最大限度利用模糊舰船图像局部平滑与非局部自相似特征,因此以结构组作为稀疏表示的基本单位。利用字典学习法获取结构组的字典,结合不同色彩通道内的模糊核,即可构建结构组稀疏下的舰船图像去模糊模型,公式描述如下:

$ {\alpha _G} = \arg {\min _{{\alpha _G}}}\frac{{\left\| {D{E_G} \cdot {\alpha _G} - m} \right\|}}{2} + \delta {\left\| {{\alpha _G}} \right\|_1} 。$ (7)

式中: $ {\alpha _G} $ $ {E_G} $ 分别为结构组在字典下的稀疏编码向量和结构组字典; $ D $ $ \delta $ 分别为不同色彩通道内的模糊核和调节参数。选取分裂伯格曼迭代算法求解式(7)即可完成模糊舰船图像的去模糊处理。

1.2 舰船图像视觉传达效果优化

在完成舰船图像去模糊处理后,考虑人眼视觉特性,采用人眼视觉HSV(Hue Saturation Value)色彩模型对去模糊处理后的舰船图像进行优化,提升舰船图像视觉传达效果。基于人眼视觉(HSV)模型进行舰船图像视觉传达效果优化就是通过舰船图像直观颜色特性构建适合描述舰船图像颜色的空间模型。采用以颜色系统色彩模型为基础的六角椎体模型对舰船图像进行视觉传达效果优化,利用式(8)~式(12)描述HSV模型对去模糊后舰船图像色彩的非线性变换过程:

$ V = \max \left( {R,G,B} \right),$ (8)
$ S = \left\{ \begin{array}{*{20}{l}} \dfrac{{V - \min \left( {R,G,B} \right)}}{V},V \ne 0 ,\\ 0,{\rm{else }},\end{array} \right. $ (9)
$ H = \frac{{60\left( {G - B} \right)}}{{V - \min \left( {R,G,B} \right)}},$ (10)
$ H' = 120 + \frac{{60\left( {G - B} \right)}}{{V - \min \left( {R,G,B} \right)}} ,$ (11)
$ H'' = 240 + \frac{{60\left( {G - B} \right)}}{{V - \min \left( {R,G,B} \right)}}。$ (12)

式中: $ H $ $ S $ $ V $ 分别为色调、饱和度和明度; $ \left( {R,G,B} \right) $ 表示去噪后舰船图像的色彩值。

在舰船图像视觉传达优化过程中,利用上述过程所描述的RGB色彩模式变换舰船图像在人眼视觉特性中的颜色空间,重建去模糊后舰船图像颜色模型空间内的明度参数,由此达到舰船图像视觉效果优化的目的。

2 实验结果

为验证本文基于视觉传达的模糊舰船图像优化方法在实际模糊舰船图像优化中的应用效果,以某舰船图像集合为研究对象,该集合中包含在不同状态下、不同天气条件下所采集的3692幅图像。其中包含部分因运动造成的模糊图像和因天气条件等外界环境因素所造成的模糊图像。采用本文方法对这些模糊图像进行去模糊与视觉传达优化,从主观与客观2个角度分析本文方法的应用效果。

2.1 主观视觉传达优化效果分析

在图像集内随机选取一幅运动状态下的舰船图像和一幅静止状态下的舰船图像,采用本文方法对这2幅图像进行去模糊处理与视觉传达优化,所得结果如图1图2所示。

图 1 运动状态下的舰船图像 Fig. 1 Ship image in motion

图 2 静止状态下的舰船图像 Fig. 2 Ship image in static state

图1为在晴朗天气条件下舰船运动状态中所采集的图像,图2为云雾天气条件下舰船静止状态中所采集的图像。分析图1图2能够得到,本文方法在针对不同状态下所获取的舰船图像时均能够有效实现去模糊处理,但在去模糊的同时将会造成舰船图像的色彩产生一定偏差,而通过本文方法中视觉传达优化过程即可改善这一问题,提升模糊图像的清晰度与对比度,令处理后的舰船图像无限接近清晰图像。

2.2 客观视觉传达优化效果分析

在图像视觉传达方面,结构相似度与信息熵被普遍应用在处理后的图像质量分析上。在研究对象内随机选取8幅模糊舰船图像,采用本文方法对所选图像进行去模糊与视觉优化。从客观角度分析本文方法的视觉传达优化效果,以结构相似度与信息熵为评价指标,通过结构相似度能够描述清晰舰船图像与本文方法处理后舰船图像间的一致度信息熵能够描述本文方法处理后舰船图像内包含的信息量,结构相似度 $ S\left( {x,y} \right) $ 与信息熵 $ \beta $ 的计算过程如下:

$ S\left( {x,y} \right) = \frac{{\left( {2{\mu _x}{\mu _y} + {k_1}} \right)\left( {2{\phi _{xy}} + {k_2}} \right)}}{{\left( {\mu _x^2\mu _y^2 + {k_1}} \right)\left( {\phi _x^2 + \phi _y^2 + {k_2}} \right)}}。$ (13)

式中: $ x $ $ y $ 分别为清晰舰船图像与本文方法处理后的舰船图像; $ {\mu _x} $ $ {\mu _y} $ 分别为 $ x $ $ y $ 的均值, $ \phi _x^2 $ $ \phi _y^2 $ 分别为 $ x $ $ y $ 的方差, $ \phi _y^2 $ $ k $ 分别为 $ x $ $ y $ 的协方差和扰动量。 $ S\left( {x,y} \right) $ 取值范围为[0,1],其值越大说明本文方法图像处理效果越好。

$ \beta = \sum\limits_{g = 0}^{L - 1} {a\left( j \right)} {\log _2}a\left( j \right) 。$ (14)

式中, $ \phi _y^2 $ 为本文方法处理后舰船图像灰度级 $ j $ 的分布概率。 $ \beta $ 取值范围为[0,10],其值越大说明本文方法处理后舰船图像内包含的信息越多。

本文方法处理后各舰船图像的结构相似度 $ S\left( {x,y} \right) $ 与信息熵 $ \beta $ 的计算结果如表1所示。分析表1得到,采用本文方法进行去模糊与视觉传达优化处理后的图像与清晰舰船图像相比结构相似度均达到0.89以上,而信息熵值均在9.1以上。以上数据充分说明本文方法能够较好的对舰船图像进行去模糊处理,具有较好的视觉传达效果。

表 1 图像的结构相似度与信息熵的计算结果 Tab.1 Calculation results of image structure similarity and information entropy
3 结 语

本文研究基于视觉传达的模糊舰船图像优化方法,在舰船图像去模糊处理的基础上,基于人眼视觉对舰船图像实施视觉优化。实验结果显示,本文方法具有较好应用效果。后续将主要针对本文方法在实际应用过程中的去噪性能进行研究,提升本文方法应用性能。

参考文献
[1]
陈卫东, 郭蔚然, 刘宏炜, 等. 基于改进Mask R-CNN的模糊图像实例分割的研究[J]. 电子与信息学报, 2020, 42(11): 2805-2812.
CHEN Weidong, GUO Weiran, LIU Hongwei, et al. Research on fuzzy image instance segmentation based on improved mask R-CNN[J]. Journal of Electronics & Information Technology, 2020, 42(11): 2805-2812. DOI:10.11999/JEIT190604
[2]
叶晓杰, 崔光茫, 赵巨峰, 等. 基于闪动快门的互补序列对的运动模糊图像复原[J]. 光子学报, 2020, 49(8): 161-175.
YE Xiao-jie, CUI Guang-mang, ZHAO Ju-feng, et al. Motion blurred image restoration based on complementary sequence pair using fluttering shutter imaging[J]. Acta Photonica Sinica, 2020, 49(8): 161-175.
[3]
梁晓萍, 郭振军, 朱昌洪. 基于头脑风暴优化算法的BP神经网络模糊图像复原[J]. 电子与信息学报, 2019, 41(12): 2980-2986.
LIANG Xiaoping, GUO Zhenjun, ZHU Changhong. BP neural network fuzzy image restoration based on brain storming optimization algorithm[J]. Journal of Electronics & Information Technology, 2019, 41(12): 2980-2986. DOI:10.11999/JEIT190261
[4]
杨琼, 况姗芸, 冯义东. 基于全变差模型与卷积神经网络的模糊图像恢复[J]. 南京理工大学学报, 2022, 46(3): 277-283.
YANG Qiong, KUANG Shanyun, FENG Yidong. Fuzzy image restoration based on TV model and CNN[J]. ournal of Nanjing University of Science and Technology, 2022, 46(3): 277-283.
[5]
杨洁, 周洋, 谢菲, 等. 采用自适应梯度稀疏模型的图像去模糊算法[J]. 中国图象图形学报, 2019, 24(2): 180-191.
YANG Jie, ZHOU Yang, XIE Fei, et al. Image deblurring using an adaptive sparse gradient model[J]. Journal of Image and Graphics, 2019, 24(2): 180-191.
[6]
易开宇, 戴贞明. 基于混合非凸性二阶全变分和重叠组稀疏的非盲图像去模糊算法[J]. 电子测量与仪器学报, 2021, 35(9): 229-235.
YI Kaiyu; DAI Zhenming. Non-blind image deblurring based on hybrid non-convex second-order total variation and the overlapping group sparse[J]. Journal of Electronic Measurement and Instrumentation, 2021, 35(9): 229-235.
[7]
黄彦宁, 李伟红, 崔金凯, 等. 强边缘提取网络用于非均匀运动模糊图像盲复原[J]. 自动化学报, 2021, 47(11): 2637-2653.
HUANG Yan-Ning, LI Wei-Hong, CUI Jin-Kai, et al. Strong edge extraction network for non-uniform blind motion image deblurring[J]. Acta Automatica Sinica, 2021, 47(11): 2637-2653. DOI:10.16383/j.aas.c190654