随着虚拟现实、增强现实和三维可视化技术的不断发展[1],对高质量、高清晰度舰船图像的需求也越来越高[2]。受光照条件、相机设置等因素影响,舰船图像背景容易出现局部缺失[3],从而影响舰船虚拟图像的整体质量和可视化效果。研究虚拟多视点舰船图像背景局部缺失修复方法,提高舰船虚拟图像质量和完整性[4]。通过该方法自动识别并修复虚拟多视点舰船图像背景中的缺失部分,为后续的舰船三维重建、虚拟展示和可视化等应用提供高质量的舰船图像数据。
目前已有众多研究学者针对图像修复技术进行研究。樊瑶等[5]将注意力跨层转移方法应用于图像修复中,该方法在修复大面积不规则缺损图像时具有显著优势,修复过程中保持了图像的局部结构连通性。通过深度学习技术自动修复图像,根据输入的缺损图像生成整体语义合理的内容。但该方法主要修复大面积不规则缺损图像,适用性较差。胡秋生等[6]利用变分自编码器在潜在空间和数据空间之间建立映射关系,捕捉数据的重要特征修复图像。变分自编码器的训练过程较为复杂,需仔细调整超参数,否则可能会陷入局部最优。采用该方法处理非规则缺失图像时,假设数据缺失遵循一定的分布,实际上非规则缺失的分布可能比较复杂,影响图像缺失修复效果。
针对以上方法在图像修复中存在的问题,研究虚拟多视点舰船图像背景局部缺失修复方法。利用快速行进算法修复虚拟多视点舰船图像背景,提高舰船图像的质量和完整性,为相关领域的研究和应用提供支持。
1 舰船图像背景局部缺失修复方法具体设计 1.1 水平与垂直方向的虚拟多视点舰船图像生成采用图像处理和计算机视觉的技术,生成具有不同视点的虚拟舰船图像。利用反向映射的方法生成初始的舰船虚拟视点图像。对舰船虚拟视点图像进行伪影消除处理,合成为最终的虚拟多视点舰船图像。利用快速行进算法,进行虚拟多视点舰船图像背景的局部缺失修复,获取最终的不存在缺失的虚拟多视点舰船图像,具体如图1所示。
依据原始舰船视点图,通过反向映射方法生成舰船虚拟视点图像。设存在大小为
$ {I_{VR}}\left( {i,j} \right) = {I_1}\left( {i,j} \right) + \alpha Depth\left( {p,q} \right) 。$ | (1) |
式中,
将舰船虚拟视点图像的伪影区域空洞扩大一个像素,消除由于混淆像素造成的伪影对虚拟多视点舰船图像质量的影响[8]。利用舰船视点图1与舰船视点图2图像中的视点,分别生成2幅舰船虚拟视点图像,将2幅图像合并为最终的虚拟多视点舰船图像,其表达式如下:
$ {I_V} = \left( {1 - \alpha } \right) \times I_{VR}^1 + \alpha \times I_{VR}^2。$ | (2) |
式中,IV为虚拟多视点舰船图像合并结果。
1.2 基于图切割的虚拟多视点舰船图像分割在生成虚拟多视点舰船图像后,需将其分割为前景和背景2个部分,利用图像的边缘和纹理信息,基于图切割对虚拟多视点舰船图像进行分割。利用图切割方法,进行虚拟多视点舰船图像的自动分割。构建虚拟多视点舰船图像前景与背景标号对应的吉布斯能量方程,确定虚拟多视点舰船图像中各像素点的标号[9]。用
$ E\left( {{c_{{p_1}}},{c_{{p_2}}}, \cdots ,{c_{{p_n}}}} \right) = {E_1}\left( {{c_{{p_i}}}} \right) + \beta {E_2}\left( {{c_{{p_i}}},{c_{{p_j}}}} \right)。$ | (3) |
式中:
$ \left\{ {\begin{array}{*{20}{l}} {{E_1}\left( {{c_{{p_i}}} = 1} \right) = - \log Q\left( {{x_{{p_i}}}} \right)} ,\\ {{E_1}\left( {{c_{{p_i}}} = 0} \right) = - \log \left( {1 - Q\left( {{x_{{p_i}}}} \right)} \right)} 。\end{array}} \right. $ | (4) |
式中,
式(3)中的
$ {E_2}\left( {{c_{{p_i}}},{c_{{p_j}}}} \right) = \left| {{c_{{p_i}}} - {c_{{p_j}}}} \right|\exp \left( { - \gamma {B_{ij}}} \right) 。$ | (5) |
式中,Bij与
将原虚拟多视点舰船图像映射至等价的带权无向图内,利用最大流算法,获取式(3)能量方程的最小值,确定虚拟多视点舰船图像中各像素点的前景与背景标号,完成虚拟多视点舰船图像的自动前景与背景分割。
1.3 基于快速行进算法的背景局部缺失点修复在分割出前景和背景后,需对背景局部缺失部分进行修复。基于快速行进算法对背景局部缺失点展开修复,以提高虚拟多视点舰船图像的整体质量和可视化效果。用
$ {I_y}\left( x \right) = I\left( x \right) + \nabla I\left( y \right)\left( {y - x} \right),$ | (6) |
$ I\left( y \right) = \frac{{\displaystyle\sum {w\left( {x,y} \right)\left[ {I\left( y \right) + \nabla I\left( y \right)} \right]} }}{{\displaystyle\sum {w\left( {x,y} \right)} }}。$ | (7) |
式中,w(x,y)为虚拟多视点舰船图像像素点的权函数,其表达式如下:
$ w\left( {x,y} \right) = r\left( {x,y} \right) \times s\left( {x,y} \right) \times l\left( {x,y} \right)。$ | (8) |
式中:r(x,y)与s(x,y)分别为方向因子与几何距离因子;l(x,y)为虚拟多视点舰船图像像素点水平集的距离因子。
利用以上过程修复虚拟多视点舰船图像背景局部缺失点的边缘。为了实现虚拟多视点舰船图像全部背景局部缺失区域的修复,依据由外至内的次序依次修复缺失点,直至虚拟多视点舰船图像背景局部缺失区域的像素点数量为0。通过求解Eikonal方程,将局部缺失区域大小从小到大排序,逐个像素点修复。Eikonal方程体现了伴随时间变化,虚拟多视点舰船图像缺失区域的像素点曲线进化过程。用
$ f\left( x \right) = \left| {\nabla T} \right|l\left( x \right) 。$ | (9) |
式中,
将式(9)两侧取平方,利用差分方法求解该公式,获取虚拟多视点舰船图像背景局部缺失修复的最终二维图像表达式如下:
$ \begin{split} \max {\left( {{T_{x,y}} - {T_{x - 1,y}},{T_{x + 1,y}} - {T_{x,y}},0} \right)^2} + \\ \max {\left( {{T_{x,y}} - {T_{x,y - 1}},{T_{x,y + 1}} - {T_{x,y}},0} \right)^2} = 1 。\\[-1pt] \end{split} $ | (10) |
利用以上过程,使虚拟多视点舰船图像背景局部缺失区域,从外层至里层依次修复,直至完成全部局部缺失像素点的修复。
2 实例分析采用本文方法对虚拟多视点舰船图像进行自动分割,虚拟多视点舰船图像分割结果如图2所示。分析可知,采用本文方法有效分割虚拟多视点舰船图像。通过虚拟多视点舰船图像分割,确定舰船图像的前景区域与背景区域,为背景区域的局部缺失修复提供依据。
通过图像分割,获取的虚拟多视点舰船图像背景区域,如图4所示。可知,采用本文方法生成的虚拟多视点舰船图像背景区域中,存在明显的局部缺失情况。图像中存在局部缺失情况,影响虚拟多视点舰船图像的生成质量,不利于虚拟多视点舰船图像的三维重建等实际应用。
采用本文方法对虚拟多视点舰船图像背景中存在的局部缺失区域进行修复,修复后的虚拟多视点舰船图像,如图5所示。可知,采用本文方法对虚拟多视点舰船图像背景中存在的局部缺失区域进行修复,填补了图像中的缺失区域。局部缺失修复后,生成的虚拟多视点舰船图像更加逼真,图像中的内容更加丰富,图像修复效果良好。
为了验证本文方法对生成的虚拟多视点舰船图像背景缺失区域的修复性能,统计虚拟多视点舰船图像中,背景区域像素点的峰值信噪比,如表1所示。可知,采用本文方法对虚拟多视点舰船图像背景缺失区域进行修复,水平方向、垂直方向以及斜线方向,图像中虚拟视点的峰值信噪比均高于25 dB。实验结果验证,本文方法具有较高的背景缺失修复能力,修复后的虚拟多视点舰船图像,具有较高质量,满足舰船图像的实际应用需求。
本文提出一种自动识别和修复虚拟多视点舰船图像缺失部分的方法。该方法通过水平与垂直方向的虚拟多视点舰船图像生成,基于图切割的虚拟多视点舰船图像分割,以及基于快速行进算法的背景局部缺失点修复等技术实现。实验结果表明,该方法可有效修复虚拟多视点舰船图像中的缺失部分,对舰船图像背景进行缺失区域识别与修复 ,提高了舰船图像的整体质量和可视化效果 。此外,该方法具有较高的鲁棒性和自适应性,可应对不同的虚拟多视点舰船图像,为军事仿真、船舶制造等领域提供高质量的图像数据和可视化支持。
[1] |
林鑫伟, 徐志京, 黄海. 复杂背景下的SAR图像多尺度舰船检测[J]. 中国航海, 2023, 46(2): 17-24+32. LIN Xinwei, XU Zhijing, HUANG Hai. Multi-scale detection of ship target against complex background out of SAR image[J]. Navigation of China, 2023, 46(2): 17-24+32. DOI:10.3969/j.issn.1000-4653.2023.02.003 |
[2] |
黎经元, 厉小润, 赵辽英. 融合空频域特征的光学遥感图像舰船目标检测[J]. 激光与光电子学进展, 2021, 58(4): 357-365. LI Jingyuan, LI Xiaorun, ZHAO Liaoying. Ship target detection in optical remote sensing images based on spatial and frequency features[J]. Laser & Optoelectronics Progress, 2021, 58(4): 357-365. |
[3] |
崔宗勇, 王晓雅, 施君南, 等. 基于中心点回归的大场景SAR图像舰船检测方法[J]. 电波科学学报, 2022, 37(1): 153-161. CUI Zongyong, WANG Xiaoya, SHI Junnan, et al. Ship detection in large scene SAR images based on target center point regression[J]. Chinese Journal of Radio Science, 2022, 37(1): 153-161. |
[4] |
王慧赢, 王春平, 付强, 等. 面向嵌入式平台的轻量级光学遥感图像舰船检测[J]. 光学学报, 2023, 43(12): 121-134. WANG Huiying, WANG Chunping, FU Qiang, et al. Lightweight ship detection based on optical remote sensing images for embedded platform[J]. Acta Optica Sinica, 2023, 43(12): 121-134. |
[5] |
樊瑶,石英男,柏劲咸. 基于边缘与注意力跨层转移的图像修复模型[J]. 计算机工程, 2023, 49(6): 180-192. FAN Yao, SHI Yingnan, BAI Jinxian. Image Restoration Model Based on Edge and Attention Cross layer Transfer[J]. Computer Engineering, 2023, 49(6): 180-192. |
[6] |
胡秋生,胡璋. 基于变分自编码器的非规则缺失图像修复仿真[J]. 计算机仿真, 2021, 38(12): 155-159. HU Qiusheng, HU Zhang. Simulation of Irregular Missing Image Restoration Based on Variational Autoencoder[J]. Computer Simulation, 2021, 38(12): 155-159. |
[7] |
秦娟英. 应用均值滤波的舰船红外图像规整化复原算法[J]. 舰船科学技术, 2023, 45(13): 182-185. QIN Juanying. The regularization and restoration algorithm of ship infrared image using mean filtering[J]. Ship Science and Technology, 2023, 45(13): 182-185. DOI:10.3404/j.issn.1672-7649.2023.13.038 |
[8] |
刘康, 冼楚华, 李桂清. 多尺度特征融合的透明物体深度图像快速修复方法[J]. 计算机辅助设计与图形学学报, 2023, 35(2): 312-319. LIU Kang, XIAN Chuhua, LI Guiqing. Fast repair method of transparent object depth image based on multi-scale fusion[J]. Journal of Computer-Aided Design & Computer Graphics, 2023, 35(2): 312-319. |
[9] |
李海军, 孔繁程, 魏嘉彧, 等. 基于直觉模糊集和CLAHE红外舰船图像增强算法[J]. 兵器装备工程学报, 2022, 43(11): 88-94. LI Haijun, KONG Fancheng, WEI Jiayu, et al. Based on intuitionistic fuzzy set and CLAHE infrared ship image enhancement algorithm[J]. Journal of Ordnance Equipment Engineering, 2022, 43(11): 88-94. DOI:10.11809/bqzbgcxb2022.11.012 |