舰船科学技术  2023, Vol. 45 Issue (3): 173-176    DOI: 10.3404/j.issn.1672-7649.2023.03.034   PDF    
基于时空域滤波的雾天舰船图像视觉传达方法
焦晓杰     
郑州科技学院,河南 郑州 450064
摘要: 为提升雾天舰船图像视觉传达质量,提出基于时空域滤波的雾天舰船图像视觉传达方法。中值滤波算法分解雾天舰船图像,获取基础层与细节层雾天舰船图像;利用时空域滤波算法确定舰船图像需增强区域,并对其进行图像增强;以加权融合方式到增强后雾天舰船图像;提取增强后雾天舰船图像的边缘轮廓特征,依据量化融合方式处理提取的边缘轮廓特征,输出雾天舰船图像视觉传达结果。实验证明,该方法可有效分解雾天舰船图像,并增强图像,有效完成现雾天舰船图像视觉传达,提升图像边缘强度与彩色熵,即图像视觉传达效果较优。
关键词: 时空域滤波     雾天舰船图像     视觉传达     中值滤波     基础层     分辨率    
Visual communication method of ship image in fog based on spatio-temporal filtering
JIAO Xiao-jie     
Zhengzhou University of Science and Technology, Zhengzhou 450064, China
Abstract: In order to improve the visual communication quality of ship image in fog, a method of ship image visual communication based on spatio-temporal filtering was proposed. The median filtering algorithm decomposes the ship image in fog, and obtains the ship image in fog at the base layer and detail layer, Using the spatio-temporal filtering algorithm to determine the area of the ship image to be enhanced, and enhance the image; Weighted fusion method is used to enhance the ship image in foggy weather, The edge contour features of the enhanced ship image in foggy weather are extracted. The extracted edge contour features are processed according to the quantitative fusion method, and the visual communication results of the ship image in foggy weather are output. Experimental results show that this method can effectively decompose and enhance ship images in fog, This method can effectively complete the visual communication of ship images in foggy weather, improve the image edge intensity and color entropy, that is, the image visual communication effect is better.
Key words: spatio temporal filtering     ship image in fog     visual communication     median filtering     foundation layer     resolving power    
0 引 言

受雾天影响,采集的舰船图像不够清晰,舰船图像质量较差[1-2],导致其不具备较好的使用价值,视觉传达效果较差,无法为舰船图像应用提供有价值的信息[3]。为此,需要研究视觉传达方法,提升图像的使用价值。林伟等[4]利用小波分解去除图像噪声,通过改进粒子群算法,增强视觉传达图像对比度,完成图像视觉传达。该方法具备较优的视觉传达效果。但仅适合正常图像的视觉传达,在图像清晰度较差情况下,无法确保图像的真实性,提升图像边缘清晰度,影响视觉传达效果。时空域滤波可较好地增强图像细节信息,在保留原始图像真实性的同时,还能够提升图像边缘清晰度。为此,提出基于时空域滤波的雾天舰船图像视觉传达方法,提升舰船图像清晰度。

1 雾天舰船图像视觉传达方法 1.1 雾天舰船图像分解

依据雾天舰船图像m(x,y)的退化原理,构造舰船图像雾气退化模型m(x,y),令空气散射系数为βm(x,y)的公式如下:

$ \begin{gathered} m\left( {x,y} \right) = b\left( {x,y} \right) \cdot \exp \left[ { - \beta \cdot d\left( x \right)} \right] + \\ A - A \cdot \exp \left[ { - \beta \cdot d\left( x \right)} \right] + n\left( {x,y} \right)。\\ \end{gathered} $ (1)

其中: $b(x,y) $ 为实际舰船图像; $ A $ 为大气光; $d(x) $ 为场景深度; $(x,y) $ 为像素; $n(x,y) $ 为噪声。

$b(x,y) $ 内包含2层图像,分别是基础层图像b1与细节层图像b2,公式如下:

$ b\left( {x,y} \right) = {b_1}\left( {x,y} \right) + {b_2}\left( {x,y} \right),$ (2)

依据式(2)变更式(1)得:

$ \begin{gathered} m\left( {x,y} \right) = {b_1}\left( {x,y} \right) \cdot \exp \left[ { - \beta \cdot d\left( x \right)} \right] + A - \\ A \cdot \exp \left[ { - \beta \cdot d\left( x \right)} \right] + {b_2}\left( {x,y} \right) \cdot \exp \left[ { - \beta \cdot d\left( x \right)} \right] + n\left( {x,y} \right),\\ \end{gathered} $ (3)

按照中值滤波算法,结合式(3)分解雾天舰船图像,公式如下:

$ \begin{gathered} m\left( {x,y} \right) = {b_1}\left( {x,y} \right) \cdot \exp \left[ { - \beta \cdot d\left( x \right)} \right] + A - A \cdot \exp \left[ { - \beta \cdot d\left( x \right)} \right] + \\ {b_2}\left( {x,y} \right) \cdot \exp \left[ { - \beta \cdot d\left( x \right)} \right] + n\left( {x,y} \right) 。\\ \end{gathered} $ (4)

其中: $ {m_1}\left( {x,y} \right) $ $ {m_2}\left( {x,y} \right) $ 为基础层、细节层雾天舰船图像; $ \lambda \left( {x,y} \right) $ 为中值滤波。

1.2 基于时空域滤波的雾天舰船图像增强

利用时空域滤波先对分解后的基础层、细节层雾天舰船图像,分别进行需增强区域划分,再对划分后的区域进行雾天舰船图像增强。以基础层雾天舰船图像m1(x,y)增强为例。在m1(x,y)内随机选择两点 $ s $ $ k $ ,对 $ s $ $ k $ 组建的4个三角正余弦函数展开计算,公式如下:

$ \left\{ \begin{gathered} \sin sk = \frac{{{z_1} - {z_2}}}{{z_1^2 - z_2^2 + h_1^2 - h_2^2}} ,\\ \sin ks = \frac{{{z_2} - {z_1}}}{{z_1^2 - z_2^2 + h_1^2 - h_2^2}} ,\\ \cos sk = \frac{{{h_1} - {h_2}}}{{z_1^2 - z_2^2 + h_1^2 - h_2^2}} ,\\ \cos ks = \frac{{{h_2} - {h_1}}}{{z_1^2 - z_2^2 + h_2^2 - h_1^2}}。\\ \end{gathered} \right. $ (5)

其中: $ \sin sk $ $ \sin ks $ 为正弦函数; $ \cos sk $ $ \cos ks $ 为余弦函数; $ \left( {{z_1},{h_1}} \right) $ $ \left( {{z_2},{h_2}} \right) $ $ s $ $ k $ 的坐标。

通过强化 $ \sin sk $ $ \sin ks $ $ \cos sk $ $ \cos ks $ ,并求导其分类量 $ r $ ,可完成增强区域的划分目的,公式如下:

$ \left\{ \begin{gathered} r = \gamma \times {r_0} + \sin sk ,\\ r = \gamma \times {r_0} + \sin ks,\\ r = \gamma \times {r_0} + \cos sk,\\ r = \gamma \times {r_0} + \cos ks。\\ \end{gathered} \right. $ (6)

其中: $ {r_0} $ 为基础层雾天舰船图像需增强区域划分轨迹初始值; $ \gamma $ 为常数。

依据 $ r $ 划分基础层、细节层雾天舰船图像需增强区域。通过累积量与累积矩对划分的需增强区域,实施雾天舰船图像增强。令基础层雾天舰船图像增强时的高斯随机变量为 $ q $ ,方差为 $ {\delta ^2} $ 。在 $ q $ 的均值为0的情况下,便可直接计算获取 $ q $ 的高阶累积量与累积矩。基础层雾天舰船图像增强时的概率密度函数为:

$ \rho \left( q \right) = \frac{{{u^{ - \frac{{{q^2}}}{{2{\delta ^2}}}}}}}{{\sqrt {2\text{π} {\delta ^2}} }},$ (7)

其中, $ u $ 为变量密度。

根据 $ \rho \left( q \right) $ 计算 $ q $ 的第一特征函数 $ \eta $ ,公式如下:

$ \eta = \int_{ - \infty }^\infty {\rho \left( q \right){u^{jq}}{\rm{d}}q},$ (8)

其中, $ j $ $ q $ 的变化参数。

以积分公式求解式(8),公式如下:

$ \eta = \sqrt {\frac{{\pi {u^{ - \frac{{yq - {\delta ^2}}}{y}}}}}{y}},$ (9)

其中, $ y $ 为积分系数。

继续对式(9)进行求解,公式如下:

$ \eta = {u^{ - \frac{{{\delta ^2}}}{2}}},$ (10)

计算 $ \eta $ 的1~4阶导数,公式如下:

$ \left\{ \begin{gathered} \dot \eta = - {\delta ^2}{u^{ - \frac{{{\delta ^2}}}{2}}} ,\\ \ddot \eta = \left( {{\delta ^4} - {\delta ^2}} \right){u^{ - \frac{{{\delta ^2}}}{2}}},\\ \dddot \eta = \left( {3{\delta ^4} - {\delta ^6}} \right){u^{ - \frac{{{\delta ^2}}}{2}}},\\ \ddddot \eta = \left( {3{\delta ^4} - 6{\delta ^6} + {\delta ^8}} \right){u^{ - \frac{{{\delta ^2}}}{2}}}。\\ \end{gathered} \right. $ (11)

其中: $ \dot \eta $ $ \ddot \eta $ $ \dddot \eta $ $ \ddddot \eta $ 为1~4阶导数。

根据式(11)计算 $ q $ 的每个阶矩,公式如下:

$ \left\{ \begin{gathered} \dot l = 0 ,\\ \ddot l = {\delta ^2} ,\\ \dddot l = 0 ,\\ \ddddot l = 3{\delta ^4} 。\\ \end{gathered} \right. $ (12)

其中: $ \dot l $ $ \ddot l $ $ \dddot l $ $ \ddddot l $ $ q $ 的1~4阶矩。

对式(12)展开整合,可获取随机一个函数 $ v $ 的阶矩,公式如下:

$ {l_v} = \left\{ \begin{gathered} 0,\\ 1 \times 3 \times \left( {v - 1} \right){\delta ^v} 。\\ \end{gathered} \right. $ (13)

根据式(13)可知,基础层雾天舰船图像增强时的奇数阶矩是0,偶数阶矩不是0。在不同阶矩累积过程中,基础层舰船图像内的高斯随机变量都会呈现0的特性。为此,对近似0的高斯随机变量进行去均值处理,便可完成确定区域的基础层雾天舰船图像增强,得到增强后的基础层雾天舰船图像 $ {\hat m_1}\left( {x,y} \right) $ 。同理,获取增强后的细节层雾天舰船图像 $ {\hat m_2}\left( {x,y} \right) $ 。以加权融合的方式,融合 $ {\hat m_1}\left( {x,y} \right) $ $ {\hat m_2}\left( {x,y} \right) $ ,得到增强后的雾天舰船图像,公式如下:

$ \hat m\left( {x,y} \right) = {w_1} \times {\hat m_1}\left( {x,y} \right) + {w_2} \times {\hat m_2}\left( {x,y} \right)。$ (14)

其中: $ {w_1} $ $ {w_2} $ 分别为 $ {\hat m_1}\left( {x,y} \right) $ $ {\hat m_2}\left( {x,y} \right) $ 的融合权重。

1.3 雾天舰船图像视觉传达输出

利用边缘轮廓特征提取方法,在增强后的雾天舰船图像 $ \hat m\left( {x,y} \right) $ 内,提取边缘轮廓特征 $ a\left( {x,y} \right) $ ,公式如下:

$ a\left( {x,y} \right) = \theta \cdot \hat m\left( {x,y} \right) + \omega \left( {x,y} \right) $ (15)

其中, $ \omega \left( {x,y} \right) $ 为增强后雾天舰船图像信息加权权重。

对提取的 $ a\left( {x,y} \right) $ 展开量化融合,输出雾天舰船图像视觉传达结果。雾天舰船图像量化融合的视觉传达的迭代过程为:

$ \left\{\begin{gathered} o\left( {x,y} \right) = 1 - \min \left( {\frac{{C\left( {{a_{i'}}\left( {x,y} \right) - {a_{j'}}\left( {x,y} \right)} \right)}}{B}} \right),\\ \xi \left( {x,y} \right) = 1 - o\left( {x,y} \right) = - \min \left( {\frac{{C\left( {{a_{i'}}\left( {x,y} \right) - {a_{j'}}\left( {x,y} \right)} \right)}}{B}} \right)。\\ \end{gathered}\right. $ (16)

其中: $ {a_{i'}}\left( {x,y} \right) $ $ {a_{j'}}\left( {x,y} \right) $ 分别为第 $ i' $ 个、第 $ j' $ 个增强后雾天舰船图像边缘轮廓特征; $ C\left( {{a_{i'}}\left( {x,y} \right) - {a_{j'}}\left( {x,y} \right)} \right) $ $ {a_{i'}}\left( {x,y} \right) $ $ {a_{j'}}\left( {x,y} \right) $ 间的关联特征值; $ B $ 为雾天舰船图像视觉传达时的特征分布幅值; $ \xi \left( {x,y} \right) $ 为雾天舰船图像量化融合的视觉传达输出结果。

2 结果分析

以采集的一年雾天舰船图像为实验对象,数量接近上万幅,雾天舰船图像的大小均为256×256,分辨率均为1920×1080。利用本文方法对采集的雾天舰船图像进行视觉传达设计,验证本文方法视觉传达的可行性。

在采集的雾天舰船图像内,随机选择一幅雾天舰船图像如图1所示。由图1可知,该幅雾天舰船图像清晰度非常差,无法为舰船图像的应用提供有效的细节信息。

图 1 雾天舰船图像 Fig. 1 Ship image in fog

利用本文方法分解该幅雾天舰船图像,获取基础层雾天舰船图像与细节层雾天舰船图像,雾天舰船图像分解结果如图2所示。根据图2可知,本文方法可有效分解雾天舰船图像,获取基础层雾天舰船图像,以及细节层雾天舰船图像,利用本文方法对基础层与细节层雾天舰船图像,分别进行图像增强,可有效提升雾天舰船图像增强效果。

图 2 雾天舰船图像分解结果 Fig. 2 Decomposition results of ship image in fog

以基础层雾天舰船图像为例,利用本文方法确定基础层雾天舰船图像的增强区域,并对其进行图像增强,图像增强结果如图3所示。根据图3可知,本文方法可有效确定雾天舰船图像需要增强的区域,同时可有效对需要增强的区域进行图像增强,经过增强后的雾天舰船图像清晰度明显提升。实验证明,本文方法可有效增强雾天舰船图像,提升图像清晰度。

图 3 雾天舰船图像增强区域确定结果与增强结果 Fig. 3 Determination results and enhancement results of ship image enhancement area in fog

利用本文方法对增强后的雾天舰船图像进行视觉传达设计,雾天舰船图像视觉传达输出结果如图4所示。根据图4可知,本文方法得到的雾天舰船图像视觉传达输出结果,可有效提升雾天舰船图像的清晰度,尽可能还原雾天舰船图像的细节信息,提升雾天舰船图像视觉传达的保真度,为后续舰船图像的应用,提供更为有利的数据支持。

图 4 雾天舰船图像视觉传达输出结果 Fig. 4 Output results of ship image visual communication in fog

分析在不同雾天能见度等级采集的雾天舰船图像时,本文方法的应用效果。利用边缘强度、彩色熵衡量本文方法视觉传达的应用效果。边缘强度越高,代表雾天舰船图像清晰度得越高,视觉传达效果越佳;彩色熵越高,说明雾天舰船图像的增强度越高,视觉传达效果越佳。分析结果如表1所示。根据表1可知,对于不同雾天能见度等级采集的雾天舰船图像,本文方法均可完成雾天舰船图像视觉传达设计。随着能见度等级的增加,边缘强度与彩色熵均不断下降,但最低边缘强度与彩色熵,均高于设置的阈值,说明应用本文方法后的雾天舰船图像边缘强度与彩色熵均较高,即雾天舰船图像清晰度与增强度较高,视觉传达效果较优。

表 1 不同雾天能见度等级时本文方法的应用效果 Tab.1 Application effect of the method in different fog visibility levels
3 结 语

舰船图像是信息载体,用于传递舰船的相关信息,雾天舰船图像质量较低,无法传递有效的舰船信息。为此提出时空域滤波的雾天舰船图像视觉传达方法,在视觉传达上,提升雾天舰船图像质量,增强雾天舰船图像的视觉效果,为后续舰船图像应用提供高质量的信息支持。

参考文献
[1]
崔宗勇, 王晓雅, 施君南, 等. 基于中心点回归的大场景SAR图像舰船检测方法[J]. 电波科学学报, 2022, 37(1): 153-161.
CUI Zongyong, WANG Xiaoya, SHI Junnan, et al. Ship detection in large scene SAR images based on target center point regression[J]. Chinese Journal of Radio Science, 2022, 37(1): 153-161.
[2]
黄攀, 杨小冈, 卢瑞涛, 等. 基于空间联合的红外舰船目标数据增强方法[J]. 红外与激光工程, 2021, 50(12): 545-554.
HUANG Pan, YANG Xiaogang, LU Ruitao, et al. Data augmentation method of infrared ship target based on spatial association[J]. Infrared and Laser Engineering, 2021, 50(12): 545-554.
[3]
张驰, 谭南林, 李响, 等. 基于改进型Retinex算法的雾天图像增强技术[J]. 北京航空航天大学学报, 2019, 45(2): 309-316.
ZHANG Chi, TAN Nanlin, LI Xiang, et al. Foggy image enhancement technology based on improved Retinex algorithm[J]. Journal of Beijing University of Aeronautics and Astronautics, 2019, 45(2): 309-316.
[4]
樊香所, 范锦龙, 文良华, 等. 改进时空滤波的红外弱小目标检测[J]. 红外技术, 2022, 44(5): 475-482.
FAN Xiangsuo, FAN Jinlong, WEN Lianghua, et al. Infrared dim-small target detection based on improved spatio-temporal filtering[J]. Infrared Technology, 2022, 44(5): 475-482. DOI:10.11846/j.issn.1001-8891.2022.5.hwjs202205005