2. 河南职业技术学院,河南 郑州 450046
2. Henan Polytechnic, Zhengzhou 450046, China
海上交通不断发展,船舶的数量和类别不断增加,交通管理部门为了快速、精准完成海上目标船舶的救援、目标船舶的管理等[1-2],会依据采集的海上船舶视觉图像进行目标船舶的检测。但是由于船舶处于移动状态下,并且海上的环境复杂,采集的图像受到环境因素的影响以及船舶自身移动的影响[3],会存在模糊情况,导致目标的识别精准性降低。因此,为保证目标的可靠检测[4],需对采集的船舶视觉图像中的目标进行清晰处理,以此提升目标的检测精度。文献[5]针对船舶目标重叠情况下的图像处理需求,提出相关的图像增强方法,该方法主要通过增强图像的视觉效果,完成图像清晰处理。但是该方法在应用过程中,如果图像中存在虚影现象时,其处理效果相对较差。文献[6]为提升图像的清晰度,以多尺度耦合的密集残差网络为基础,进行图像分辨率的重构处理后,实现图像增强,提升图像清晰度。但是该方法在应用过程中,如果图像目标较小则处理效果不理想。
三维视觉是依据图像中像素点之间的相似性,计算像素之间的位置偏差,并确定船舶视觉图像三维空间在深度点信息。本文结合三维视觉优势,研究船舶三维视觉图像模糊目标清晰处理仿真方法。
1 图像模糊目标清晰处理 1.1 船舶视觉图像特征三维信息获取为保证图像模糊目标的清晰处理结果,采用立体双目视觉获取船舶模糊图像的三维信息。立体双目视觉是通过2个视点对相同目标进行观测,以此获取同一个场景下的2幅图像。2个观测面的模糊核路径和三维空间内的某种运动路径相对应,同时模糊核之间存在相对关联性。结合船舶的线性运动,设定项集参变量映射矩阵,用
$ d\left[ {\begin{array}{*{20}{c}} u \\ v \\ 1 \end{array}} \right] = P\left[ {\begin{array}{*{20}{c}} x \\ y \\ z \\ 1 \end{array}} \right] 。$ | (1) |
式中,
模糊核路径在不同观测面内也呈现不同的变化,因此,定义运动模糊核路径为空间状态,且该状态不会发生变化,以此保证运算效果。如果船舶在该空间内运动,起点和终点分别为
$ \left[ {\begin{array}{*{20}{c}} {\Delta x} \\ {\Delta y} \\ {\Delta z} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {b_{00}^{\left( i \right)}}&{b_{01}^{\left( i \right)}}&{b_{02}^{\left( i \right)}} \\ {b_{10}^{\left( i \right)}}&{b_{11}^{\left( i \right)}}&{b_{12}^{\left( i \right)}} \\ {b_{20}^{\left( i \right)}}&{b_{21}^{\left( i \right)}}&{b_{22}^{\left( i \right)}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {u_1^{\left( i \right)}} \\ {v_1^{\left( i \right)}} \\ 1 \end{array}} \right] \times \left( {d_1^{\left( i \right)} - d_0^{\left( i \right)}} \right) 。$ | (2) |
模糊图像内,将沿着图像空间路径运动的船舶目标进行投影处理,使其均位于不同的观测面上。各个观测面投影后的路径存在一定区别,随机选择对空间路径上的点进行投影处理,以此可获取一组点对
$ \left\{ \begin{gathered} {u_k} = {u_0} + \Delta {u_k},\\ {v_k} = {v_0} + \Delta {v_k} 。\\ \end{gathered} \right. $ | (3) |
式中,
通过上述内容即可获取船舶模糊图像内容特征之间的三维几何信息
由于船舶处于运行状态下,因此会导致采集的船舶图像中发生多个模糊运动区域,因此,需先确定船舶目标的模糊区域[7],并且进行该区域的模糊分割,本文采用局部模糊探测方法完成。
该方法主要以像素的权重变量为基础,实现船舶模糊图像中模糊层分割,以此获取模糊船舶目标图像。
如果权变量用
$ E = {E_{data}}\left( {L,W,K,B} \right) + {E_{reg}}\left( {L,W,K} \right) 。$ | (4) |
式中:
$ {E_{data}}\left( {L,W,K,B} \right) = \lambda \sum\limits_{i = 1}^N {\sum\nolimits_{{\partial _ * }} {{{\left\| {{W_i} \odot \left( {{K_i}{\partial _ * }L - {\partial _ * }B} \right)} \right\|}^2}} }。$ | (5) |
式中:
由于船舶运动场景在进行模糊分割时具有显著病态特征,因此在分割过程中,引入正则化项,确保分割后图像的光滑性。对
$ {E_{reg}}\left( {L,W,K} \right) = {E_{reg}}\left( L \right) + {E_{reg}}\left( W \right) + {E_{reg}}\left( K \right),$ | (6) |
通过全变分正则化项替代
$ {E_{reg}}\left( W \right) = \sum\limits_{i = 1}^N {\sum\nolimits_x {\sum\nolimits_{y \in \xi \left( x \right)} {g\left( {x,y} \right)} } } \left| {{W_i}\left( x \right) - {W_i}\left( y \right)} \right| 。$ | (7) |
式中:
依据上述步骤即可获取权重变量加大的图像分层结果,该结果即为船舶模糊目标图像分割结果
完成船舶模糊目标图像分割后,采用残差聚集网络模型进行模糊目标清晰处理,获取清晰的船舶目标图像。将分割后的船舶模糊目标图像输入残差聚集网络模型中,采用中值滤波对其进行滤波操作,从分割后的图像中将低频信息
$ {I_h} = {I_{in}} - {I_l},$ | (8) |
获取
$ {F_{sf}} = {T_{sf}}\left( {{I_h}} \right)。$ | (9) |
式中:
为了提升模糊目标的清晰处理效果,采用堆叠的方式对多个残差模块进行处理,以此获取图像中目标船舶的高维特征信息。依据该模块的稠密连接性能,完成提取特征的连接,经由残差变换模块的压缩和蒸馏提取处理后,得出高维特征,其计算公式为:
$ {F_{ff}} = {T_{RAB}}\left( {{F_{sf}},M} \right) 。$ | (10) |
式中:
通过残差图生成器对残差图
$ {F_{rm}} = {T_{rm}}\left( {{F_{ff}}} \right) ,$ | (11) |
式中,
将
$ {I_{out}} = {I_{in}} - {I_{rm}}。$ | (12) |
为验证本文方法的应用效果,在跨平台计算机视觉和机器学习软件库-OpenCV中进行仿真测试,OpenCV库能够提供多种语言接口,支持图像处理和计算机视觉方面的应用。在OpenCV库中进行相关测试过程中,视觉分块区域的大小为256×256×224,特征匹配系数为1.25,测试时的船舶图像数量为200张,该数据是采用双目立体视觉相机采集。
为验证本文方法对于船舶图像模糊目标的清晰化处理性能,文中采用图像对比度
$ \psi = \sqrt {\frac{1}{S}\sum\limits_{i = 1}^m {\sum\limits_{i = 1}^n {\sum\limits_{\left( {k,l} \right)} {{{\left[ {f\left( {i,j} \right) - f\left( {k,l} \right)} \right]}^2}} } } } ,$ | (13) |
$ \eta = \sqrt {\frac{{\displaystyle\sum\limits_{edge} {\nabla {g_{i,j}}} }}{{{N_{edge}}}}} ,$ | (14) |
$ \sigma = \sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {\frac{{{{\left[ {f\left( {i,j} \right) - \mu } \right]}^2}}}{{M \times N}}} } 。$ | (15) |
式中:
依据上述3个公式计算本文方法在不同像素点数量下,对图像进行清晰处理后,3个指标的计算结果,如表1所示。3个指标的取值均在0~1之间,越接近1表示应用性能越佳。依据表1测试结果可知:随着像素数量的不断增加,采用本文方法对图像进行清晰处理后,图像的
为直观验证本文方法的应用效果,随机抽取一组船舶模糊图像进行模糊目标清晰处理,以图像中标记的客船作为目标,本文方法处理后的结果如图1所示。
依据图1测试结果可知:本文方法具有较好的应用效果,能够有效完成船舶图像中,模糊目标的清晰处理,获取清晰的目标结果。因此,本文方法应用性较好,可清晰呈现目标船舶结果。
3 结 语在进行海上交通管理或者救援时,需精准掌握目标船舶的信息。但是由于海上环境变化较大,并且复杂程度较高,同时船舶的类别和数量较多,导致采集的船舶图像中会存在模糊现象,直接影响目标船舶的识别效果。为此,本文研究船舶三维视觉图像模糊目标清晰处理仿真方法。对该方法进行相关测试后可知,本文方法具有较好的应用性能,能够有效完成模糊目标的清晰处理,为海上交通管理提供可靠依据。
[1] |
蒋燕翔. 基于全卷积神经网络的计算机视觉目标检测算法[J]. 沈阳工业大学学报, 2021, 43(5): 557–562. JIANG Yanxiang. Computer vision target detection algorithm based on full convolution neural network[J]. Journal of Shenyang University of Technology, 2021, 43(5): 557–562. |
[2] |
沈飞鹏, 朱彤, 张赫男, 等. 基于显著性目标分类的无参考模糊图像质量评价[J]. 激光与光电子学进展, 2021, 58(22): 237-247. SHEN Feipeng, ZHU Tong, ZHANG Henan, et al. Non-reference Blur Image Quality Evaluation Based on Saliency Object Classification[J]. Laser & Optoelectronics Progress, 2021, 58(22): 237-247. |
[3] |
徐芳, 刘晶红, 孙辉, 等. 光学遥感图像海面船舶目标检测技术进展[J]. 光学精密工程, 2021, 29(4): 916-931. XU Fang, LIU Jinghong, SUN Hui, et al. Research progress on vessel detection using optical remote sensing image[J]. Optics and Precision Engineering, 2021, 29(4): 916-931. DOI:10.37188/OPE.2020.0419 |
[4] |
刘哲军. 视觉传达约束下三维图像虚拟重建[J]. 哈尔滨工程大学学报, 2022, 43(4): 536-540. LIU Zhejun. Virtual reconstruction of 3D images under visual communication constraints[J]. Journal of Harbin Engineering University, 2022, 43(4): 536-540. |
[5] |
曾广淼, 俞万能, 王荣杰, 等. 船舶目标重叠下马赛克图像数据增强方法研究[J]. 控制理论与应用, 2022, 39(6): 1139-1148. ZENG Guangmiao, YU Wanneng, WANG Rongjie, et al. Research on mosaic image data enhancement and detection method for overlapping ship targets[J]. Control Theory & Applications, 2022, 39(6): 1139-1148. |
[6] |
李萍, 刘以安, 徐安林. 基于多尺度耦合的密集残差网络红外图像增强[J]. 电子测量与仪器学报, 2021, 35(7): 148-155. LI Ping, LIU Yian, XU Anlin. Infrared image enhancement using dense residual network with multi-scale coupling[J]. Journal of Electronic Measurement and Instrumentation, 2021, 35(7): 148-155. DOI:10.13382/j.jemi.B2003451 |
[7] |
张勋晖, 周勇, 赵佳琦, 等. 基于熵增强的无监督域适应遥感图像语义分割[J]. 计算机应用研究, 2021, 38(9): 2852-2856. ZHANG Xunhui, ZHOU Yong, ZHAO Jiaqi, et al. Entropy enhanced unsupervised domain adaptive remote sensing image semantic segmentation[J]. Application Research of Computers, 2021, 38(9): 2852-2856. |