舰船科学技术  2023, Vol. 45 Issue (7): 174-177    DOI: 10.3404/j.issn.1672-7649.2023.07.034   PDF    
船舶三维视觉图像模糊目标清晰处理仿真
李姗1,2     
1. 河南省容错服务器工程技术研究中心,河南 郑州 450046;
2. 河南职业技术学院,河南 郑州 450046
摘要: 为保证船舶目标的识别效果,需提高船舶图像目标的清晰度。因此,研究船舶三维视觉图像模糊目标清晰处理方法。该方法采用立体双目视觉在2个视点下观测同一个目标,依据2个观测面的模糊核路径和三维空间内的船舶运动路径相对应的原理,获取船舶模糊图像的三维信息;采用局部模糊探测方法,依据获取的三维信息分割模糊目标图像,并将分割结果输入残差聚集网络模型中,通过模型的处理获取清晰化高质量目标图像。测试结果显示,该方法清晰处理后的目标图像对比度、边缘强度以及图像方差3个指标的结果均在0.933以上,可有效完成图像模糊目标的清晰处理,获取清晰的目标结果。
关键词: 三维视觉图像     模糊目标     清晰处理仿真     观测面     模糊核路径     三维信息    
Simulation research on blur target clarity processing of ship 3D vision image
LI Shan1,2     
1. Henan Fault-tolerant Server Engineering Technology Research Center, Zhengzhou 450046, China;
2. Henan Polytechnic, Zhengzhou 450046, China
Abstract: In order to ensure the recognition effect of the ship target, it is necessary to ensure the clarity of the ship image target. Therefore, the processing method of the ship 3D visual image fuzzy target clarity is studied. The method uses stereo binocular vision to observe the same object under two viewpoints, and obtains the three-dimensional information of the ship's blurred image according to the principle that the fuzzy core path of the two observation surfaces corresponds to the ship's motion path in three-dimensional space; The local fuzzy detection method is used to segment the fuzzy target image according to the acquired 3D information, and the segmentation result is input into the residual aggregation network model, and the clear high-quality target image is obtained through the processing of the model. The test results show that the contrast, edge intensity and image variance of the target image after clear processing by this method are all above 0.933, which can effectively complete the clear processing of the blurred image target, get clear target results.
Key words: 3D visual image     fuzzy objectives     clear processing simulation     observation surface     fuzzy kernel path     3D information    
0 引 言

海上交通不断发展,船舶的数量和类别不断增加,交通管理部门为了快速、精准完成海上目标船舶的救援、目标船舶的管理等[1-2],会依据采集的海上船舶视觉图像进行目标船舶的检测。但是由于船舶处于移动状态下,并且海上的环境复杂,采集的图像受到环境因素的影响以及船舶自身移动的影响[3],会存在模糊情况,导致目标的识别精准性降低。因此,为保证目标的可靠检测[4],需对采集的船舶视觉图像中的目标进行清晰处理,以此提升目标的检测精度。文献[5]针对船舶目标重叠情况下的图像处理需求,提出相关的图像增强方法,该方法主要通过增强图像的视觉效果,完成图像清晰处理。但是该方法在应用过程中,如果图像中存在虚影现象时,其处理效果相对较差。文献[6]为提升图像的清晰度,以多尺度耦合的密集残差网络为基础,进行图像分辨率的重构处理后,实现图像增强,提升图像清晰度。但是该方法在应用过程中,如果图像目标较小则处理效果不理想。

三维视觉是依据图像中像素点之间的相似性,计算像素之间的位置偏差,并确定船舶视觉图像三维空间在深度点信息。本文结合三维视觉优势,研究船舶三维视觉图像模糊目标清晰处理仿真方法。

1 图像模糊目标清晰处理 1.1 船舶视觉图像特征三维信息获取

为保证图像模糊目标的清晰处理结果,采用立体双目视觉获取船舶模糊图像的三维信息。立体双目视觉是通过2个视点对相同目标进行观测,以此获取同一个场景下的2幅图像。2个观测面的模糊核路径和三维空间内的某种运动路径相对应,同时模糊核之间存在相对关联性。结合船舶的线性运动,设定项集参变量映射矩阵,用 $ P $ 表示,3D齐次坐标系内的位置点用 $ \left( {x,y,z,1} \right) $ 表示,将其进行映射处理后使其位于2D观测面内,该观测面内坐标系的点用 $ \left( {u,v,1} \right) $ 表示,则 $ \left( {x,y,z,1} \right) $ $ \left( {u,v,1} \right) $ 之间的相对关联性表达公式为:

$ d\left[ {\begin{array}{*{20}{c}} u \\ v \\ 1 \end{array}} \right] = P\left[ {\begin{array}{*{20}{c}} x \\ y \\ z \\ 1 \end{array}} \right] 。$ (1)

式中, $ d $ 为相机的景深。

模糊核路径在不同观测面内也呈现不同的变化,因此,定义运动模糊核路径为空间状态,且该状态不会发生变化,以此保证运算效果。如果船舶在该空间内运动,起点和终点分别为 $ P $ $ Q $ $ P $ 为可逆的,则依据式(1)计算得出 $ \left( {x,y,z} \right) $ 。在该基础上,对2个观测面之间的运动映射关联性进行计算,如果2个观测面的投影分别为 $ \left( {u_0^{\left( 1 \right)},v_0^{\left( 1 \right)}} \right) $ $ \left( {u_1^{\left( 1 \right)},v_1^{\left( 1 \right)}} \right) $ $ \left( {u_0^{\left( 2 \right)},v_0^{\left( 2 \right)}} \right) $ $ \left( {u_1^{\left( 2 \right)},v_1^{\left( 2 \right)}} \right) $ ,则模糊图像3D空间内船舶的运动位移计算公式为:

$ \left[ {\begin{array}{*{20}{c}} {\Delta x} \\ {\Delta y} \\ {\Delta z} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {b_{00}^{\left( i \right)}}&{b_{01}^{\left( i \right)}}&{b_{02}^{\left( i \right)}} \\ {b_{10}^{\left( i \right)}}&{b_{11}^{\left( i \right)}}&{b_{12}^{\left( i \right)}} \\ {b_{20}^{\left( i \right)}}&{b_{21}^{\left( i \right)}}&{b_{22}^{\left( i \right)}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {u_1^{\left( i \right)}} \\ {v_1^{\left( i \right)}} \\ 1 \end{array}} \right] \times \left( {d_1^{\left( i \right)} - d_0^{\left( i \right)}} \right) 。$ (2)

模糊图像内,将沿着图像空间路径运动的船舶目标进行投影处理,使其均位于不同的观测面上。各个观测面投影后的路径存在一定区别,随机选择对空间路径上的点进行投影处理,以此可获取一组点对 $ \left( {{u^{\left( 1 \right)}},{v^{\left( 1 \right)}}} \right) $ $ \left( {{u^{\left( 2 \right)}},{v^{\left( 2 \right)}}} \right) $ ,并且两者均位于各自对应的模糊路径上。对模糊核的轨迹进行离散化处理,获取该处理下模糊核路径之间的关联,其公式为:

$ \left\{ \begin{gathered} {u_k} = {u_0} + \Delta {u_k},\\ {v_k} = {v_0} + \Delta {v_k} 。\\ \end{gathered} \right. $ (3)

式中, $ k $ 表示离散编号。

通过上述内容即可获取船舶模糊图像内容特征之间的三维几何信息 $ B $

1.2 模糊目标图像分割

由于船舶处于运行状态下,因此会导致采集的船舶图像中发生多个模糊运动区域,因此,需先确定船舶目标的模糊区域[7],并且进行该区域的模糊分割,本文采用局部模糊探测方法完成。

该方法主要以像素的权重变量为基础,实现船舶模糊图像中模糊层分割,以此获取模糊船舶目标图像。

如果权变量用 $ W $ 表示,依据 $ W $ 的船舶运动场景去模糊广义能量模型表达公式为:

$ E = {E_{data}}\left( {L,W,K,B} \right) + {E_{reg}}\left( {L,W,K} \right) 。$ (4)

式中: $ {E_{data}} $ $ {E_{reg}} $ 分别为数据保真项和正则化项; $ L $ $ B $ 分别为潜在清晰图像和三维信息; $ K $ 为模糊核矩阵集合; $ W $ 为权重变量集合,其和 $ K $ 之间一一对应。

$ {E_{data}}\left( {L,W,K,B} \right) $ 可理解为多个模糊型数据项的加权和,其计算公式为:

$ {E_{data}}\left( {L,W,K,B} \right) = \lambda \sum\limits_{i = 1}^N {\sum\nolimits_{{\partial _ * }} {{{\left\| {{W_i} \odot \left( {{K_i}{\partial _ * }L - {\partial _ * }B} \right)} \right\|}^2}} }。$ (5)

式中: $ N $ 为分割层数; $ {\partial _ * } $ 表原始船舶图像的梯度。 $ \lambda $ 为正则化参数的平衡因子; $ \odot $ 表示乘积运算。

由于船舶运动场景在进行模糊分割时具有显著病态特征,因此在分割过程中,引入正则化项,确保分割后图像的光滑性。对 $ L $ $ W $ $ K $ 分别添加正则化约束,其表达公式为:

$ {E_{reg}}\left( {L,W,K} \right) = {E_{reg}}\left( L \right) + {E_{reg}}\left( W \right) + {E_{reg}}\left( K \right),$ (6)

通过全变分正则化项替代 $ L $ 的先验信息,图像的分割组依据非局部正则化完成,分割公式为:

$ {E_{reg}}\left( W \right) = \sum\limits_{i = 1}^N {\sum\nolimits_x {\sum\nolimits_{y \in \xi \left( x \right)} {g\left( {x,y} \right)} } } \left| {{W_i}\left( x \right) - {W_i}\left( y \right)} \right| 。$ (7)

式中: $ \xi \left( x \right) $ $ x $ 的邻域像素; $ g\left( {x,y} \right) $ 为非局部相似性映射矩阵,用于描述 $ x $ $ y $ 处像素之间的相似程度。

依据上述步骤即可获取权重变量加大的图像分层结果,该结果即为船舶模糊目标图像分割结果 $ {I_{in}} $

1.3 目标图像清晰处理

完成船舶模糊目标图像分割后,采用残差聚集网络模型进行模糊目标清晰处理,获取清晰的船舶目标图像。将分割后的船舶模糊目标图像输入残差聚集网络模型中,采用中值滤波对其进行滤波操作,从分割后的图像中将低频信息 $ {I_l} $ 进行分离处理,将 $ {I_{in}} $ 中的 $ {I_l} $ 去除后即可获取其中的高频信息 $ {I_h} $ ,其计算公式为:

$ {I_h} = {I_{in}} - {I_l},$ (8)

获取 $ {I_h} $ 中的低维特征,其采用低维特征提取器完成,其计算公式为:

$ {F_{sf}} = {T_{sf}}\left( {{I_h}} \right)。$ (9)

式中: $ {T_{sf}} $ 为几乎函数的组合操作; $ {F_{sf}} $ 为输出的特征图。

为了提升模糊目标的清晰处理效果,采用堆叠的方式对多个残差模块进行处理,以此获取图像中目标船舶的高维特征信息。依据该模块的稠密连接性能,完成提取特征的连接,经由残差变换模块的压缩和蒸馏提取处理后,得出高维特征,其计算公式为:

$ {F_{ff}} = {T_{RAB}}\left( {{F_{sf}},M} \right) 。$ (10)

式中: $ {T_{RAB}} $ 为残差模块提取的特征; $ M $ 为堆叠的残差模块数量; $ {F_{ff}} $ 为高维特征的输出结果。

通过残差图生成器对残差图 $ {F_{rm}} $ 进行估算,其计算公式为:

$ {F_{rm}} = {T_{rm}}\left( {{F_{ff}}} \right) ,$ (11)

式中, $ {T_{rm}} $ 为卷积和归一化的组合操作。

$ {F_{rm}} $ $ {I_{in}} $ 中删除,即可获取清晰化处理后的高质量目标图像,其计算公式为:

$ {I_{out}} = {I_{in}} - {I_{rm}}。$ (12)
2 实验结果分析

为验证本文方法的应用效果,在跨平台计算机视觉和机器学习软件库-OpenCV中进行仿真测试,OpenCV库能够提供多种语言接口,支持图像处理和计算机视觉方面的应用。在OpenCV库中进行相关测试过程中,视觉分块区域的大小为256×256×224,特征匹配系数为1.25,测试时的船舶图像数量为200张,该数据是采用双目立体视觉相机采集。

为验证本文方法对于船舶图像模糊目标的清晰化处理性能,文中采用图像对比度 $ \psi $ 、边缘强度 $ \eta $ 以及图像方差 $ \sigma $ 作为衡量标准,进行相关测试,3个指标的计算公式为:

$ \psi = \sqrt {\frac{1}{S}\sum\limits_{i = 1}^m {\sum\limits_{i = 1}^n {\sum\limits_{\left( {k,l} \right)} {{{\left[ {f\left( {i,j} \right) - f\left( {k,l} \right)} \right]}^2}} } } } ,$ (13)
$ \eta = \sqrt {\frac{{\displaystyle\sum\limits_{edge} {\nabla {g_{i,j}}} }}{{{N_{edge}}}}} ,$ (14)
$ \sigma = \sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {\frac{{{{\left[ {f\left( {i,j} \right) - \mu } \right]}^2}}}{{M \times N}}} } 。$ (15)

式中: $ S $ 为相减的平方项; $ f\left( {i,j} \right) $ $ f\left( {k,l} \right) $ 均为灰度值,前者对应像素点 $ \left( {i,j} \right) $ ,后者对应 $ \left( {i,j} \right) $ 的四邻域 $ \left( {k,l} \right) $ $ {g_{i,j}} $ 为边缘点; $ {N_{edge}} $ 为像素点数量,对应边缘区域; $ M \times N $ 为图像大小; $ \mu $ 为平均灰度值。

依据上述3个公式计算本文方法在不同像素点数量下,对图像进行清晰处理后,3个指标的计算结果,如表1所示。3个指标的取值均在0~1之间,越接近1表示应用性能越佳。依据表1测试结果可知:随着像素数量的不断增加,采用本文方法对图像进行清晰处理后,图像的 $ \psi $ $ \eta $ 以及 $ \sigma $ 的测试结果均在0.933以上,因此本文方法的应用性能较好,能够有效完成船舶图像模糊目标清晰处理。

表 1 船舶图像模糊目标的清晰化处理性能 Tab.1 Clear processing performance of blurred targets in ship image

为直观验证本文方法的应用效果,随机抽取一组船舶模糊图像进行模糊目标清晰处理,以图像中标记的客船作为目标,本文方法处理后的结果如图1所示。

图 1 图像模糊目标处理结果 Fig. 1 Image blurred target processing results

依据图1测试结果可知:本文方法具有较好的应用效果,能够有效完成船舶图像中,模糊目标的清晰处理,获取清晰的目标结果。因此,本文方法应用性较好,可清晰呈现目标船舶结果。

3 结 语

在进行海上交通管理或者救援时,需精准掌握目标船舶的信息。但是由于海上环境变化较大,并且复杂程度较高,同时船舶的类别和数量较多,导致采集的船舶图像中会存在模糊现象,直接影响目标船舶的识别效果。为此,本文研究船舶三维视觉图像模糊目标清晰处理仿真方法。对该方法进行相关测试后可知,本文方法具有较好的应用性能,能够有效完成模糊目标的清晰处理,为海上交通管理提供可靠依据。

参考文献
[1]
蒋燕翔. 基于全卷积神经网络的计算机视觉目标检测算法[J]. 沈阳工业大学学报, 2021, 43(5): 557–562.
JIANG Yanxiang. Computer vision target detection algorithm based on full convolution neural network[J]. Journal of Shenyang University of Technology, 2021, 43(5): 557–562.
[2]
沈飞鹏, 朱彤, 张赫男, 等. 基于显著性目标分类的无参考模糊图像质量评价[J]. 激光与光电子学进展, 2021, 58(22): 237-247.
SHEN Feipeng, ZHU Tong, ZHANG Henan, et al. Non-reference Blur Image Quality Evaluation Based on Saliency Object Classification[J]. Laser & Optoelectronics Progress, 2021, 58(22): 237-247.
[3]
徐芳, 刘晶红, 孙辉, 等. 光学遥感图像海面船舶目标检测技术进展[J]. 光学精密工程, 2021, 29(4): 916-931.
XU Fang, LIU Jinghong, SUN Hui, et al. Research progress on vessel detection using optical remote sensing image[J]. Optics and Precision Engineering, 2021, 29(4): 916-931. DOI:10.37188/OPE.2020.0419
[4]
刘哲军. 视觉传达约束下三维图像虚拟重建[J]. 哈尔滨工程大学学报, 2022, 43(4): 536-540.
LIU Zhejun. Virtual reconstruction of 3D images under visual communication constraints[J]. Journal of Harbin Engineering University, 2022, 43(4): 536-540.
[5]
曾广淼, 俞万能, 王荣杰, 等. 船舶目标重叠下马赛克图像数据增强方法研究[J]. 控制理论与应用, 2022, 39(6): 1139-1148.
ZENG Guangmiao, YU Wanneng, WANG Rongjie, et al. Research on mosaic image data enhancement and detection method for overlapping ship targets[J]. Control Theory & Applications, 2022, 39(6): 1139-1148.
[6]
李萍, 刘以安, 徐安林. 基于多尺度耦合的密集残差网络红外图像增强[J]. 电子测量与仪器学报, 2021, 35(7): 148-155.
LI Ping, LIU Yian, XU Anlin. Infrared image enhancement using dense residual network with multi-scale coupling[J]. Journal of Electronic Measurement and Instrumentation, 2021, 35(7): 148-155. DOI:10.13382/j.jemi.B2003451
[7]
张勋晖, 周勇, 赵佳琦, 等. 基于熵增强的无监督域适应遥感图像语义分割[J]. 计算机应用研究, 2021, 38(9): 2852-2856.
ZHANG Xunhui, ZHOU Yong, ZHAO Jiaqi, et al. Entropy enhanced unsupervised domain adaptive remote sensing image semantic segmentation[J]. Application Research of Computers, 2021, 38(9): 2852-2856.