舰船科学技术  2023, Vol. 45 Issue (17): 174-177    DOI: 10.3404/j.issn.1672-7649.2023.17.035   PDF    
基于视觉传达的舰船遥感图像复原研究
邓智渊     
郑州科技学院,河南 郑州 450000
摘要: 为可靠完成图像退化处理,提升图像视觉质量,提出基于视觉传达的舰船遥感图像复原方法。该方法采用多项式校正方法获取控制点舰船图像坐标和坐标变换结果,依据变换关系校正舰船遥感图像的几何畸变;通过傅里叶变换方法变换校正后图像,将其变换至频率域内,在该域中分析舰船遥感图像退化过程后,采用超复数频域变换模型实现舰船遥感图像复原,获取复原后图像结果。测试结果表明:能够有效完成图像几何畸变校正,校正后图像对应坐标位置精准性显著提升;空间频率结果均在0.92以上;复原后图像的颜色、目标和背景的对比度等均显著提升,满足人眼视觉标准。
关键词: 视觉传达     遥感图像复原     频率域变换     几何畸变校正     图像退化     多项式校正    
Research on ship remote sensing image restoration based on visual communication
DENG Zhi-yuan     
Zhengzhou University of Science and Technology, Zhengzhou 450000, China
Abstract: In order to reliably complete image degradation processing and improve image visual quality, a ship remote sensing image restoration method based on visual communication is proposed. This method uses polynomial correction method to obtain the coordinates and coordinate transformation results of the control point ship image, and corrects the geometric distortion of the ship remote sensing image based on the transformation relationship; The corrected image is transformed into frequency domain by Fourier transform method. After analyzing the degradation process of ship remote sensing image in this domain, the hypercomplex number frequency domain transform model is used to restore the ship remote sensing image and obtain the restored image results. The test results show that it can effectively correct the geometric distortion of the image, and the accuracy of the corresponding coordinate position of the corrected image is significantly improved. The spatial frequency results are all above 0.92, the color, target, and background contrast of the restored image have significantly improved, meeting human visual standards.
Key words: visual communication     remote sensing image restoration     frequency domain transformation     geometric distortion correction     image degradation     polynomial correction    
0 引 言

遥感图像是用描述目标在宏观上的综合影像,该图像主要通过2种方式获取,分别为航空摄影和卫星拍摄,在土地覆盖监测、城市规划以及目标检测等领域中被大量应用[1]。舰船遥感图像是进行舰船监测的重要依据,但是该类图像的拍摄角度、拍摄时间、拍摄位置等存在显著差异,同时海面环境变化复杂,会存光晕、遮挡等情况[2],并且舰船通常在海域上均处于运动状态,存在一定的海浪波动[3],因此,会导致采集的舰船图像会发生颜色失真、畸变、舰船和海面对比度较低等,导致舰船遥感图像质量下降,降低舰船的监测效果。为提升舰船的航行监测效果,需对质量受损的舰船遥感图像进行处理[4],对图像采集过程中发生的漏失或者错位情况进行处理,实现图像复原。文献[5]为实现遥感图像复原,考虑遥感图像的模糊不匹配现象,构建二维线性组合模型,对图像进行拟合,完成图像复原。但是该方法对于图像存在几何畸变的处理能力较差。文献[6]为实现图像复原,依据获取的图像粗纹理特征为基础,结合二次约束和滤波方法,有效处理图像的雾气分布,完成图像复原。但是该方法在应用过程中,舰船和海面对比度较低时,其复原后目标的显著性较差。

视觉传达主要是以人眼的感官为主要标准,通过视觉显著性方法对图像进行处理[7],以此对质量较低图像进行还原,使其满足视觉感受。即使图像中目标和背景之间对比度较低时,也能够实现图像中目标的显著性提升。因此,本文为实现舰船遥感图像复原,提出基于视觉传达的舰船遥感图像复原方法。

1 舰船遥感图像复原 1.1 舰船遥感图像几何校正

舰船遥感图像在采集过程中,受到大气扰动等多种因素的影响,导致采集的图像发生几何畸变,因此,在进行图像复原前,先对图像几何畸变进行校正。为保证校正精度,采用多项式校正方法,该方法计算简单、处理效率较高,能够有效解决图像发生畸变现象,获取满足真实目标几何形态的新图像。舰船遥感图像校正前后,图像中相对应的坐标点之间存在几何关系,采用多项式描述该关系,仅对发生畸变的遥感图像进行数学关系模拟即可。该方法在应用过程中,将舰船遥感图像成像过程中产生的所有畸变总体以及全部的几何形变误差作为来源,对其进行旋转、平移等处理,完成畸变校正。多项式的计算公式为:

$ \left\{ \begin{gathered} u = {a_0} + \left( {{a_1}X + {a_2}Y} \right) + \left( {{a_3}{X^2} + {a_4}{Y^2} + {a_5}XY} \right) + ... ,\\ v = {b_0} + \left( {{b_1}X + {b_2}Y} \right) + \left( {{b_3}{X^2} + {b_4}{Y^2} + {b_5}XY} \right) + ...。\\ \end{gathered} \right. $ (1)

式中:(x,y)对应的控制点大地坐标用(X,Y)表示;(a,b)为多项式系数,依据该系数确定最少控制点数量,如果是 $ n $ 次多项式,该控制点数量最少为 $ \dfrac{{\left( {n + 1} \right)\left( {n + 2} \right)}}{2} $ 个,可采用最小二乘法进行曲面拟合后获取该系数结果。

通过多项式即可获取控制点舰船图像坐标和坐标变换结果,依据变换关系进行坐标校正,获取图像几何校正结果f(x,y)。

1.2 基于视觉显著性的遥感图像复原 1.2.1 舰船遥感图像质量退化模型

舰船遥感图像在采集过程中,受到大气扰动、拍摄振动、目标辐射、环境变化等因素的影响,导致图像质量发生退化,图像复原的主要目的是将退化的舰船遥感图像恢复至原始状态。因此,在进行舰船遥感图像复原前,需先构建舰船遥感图像的退化模型,依据该模型分析图像退化的详细原因,为图像复原提供可靠依据。如果舰船遥感图像质量发生退化后,该退化函数具有线性空间不变特性,定义原始遥感图像为f(x,y),退化函数用h(x,y)表示,图像的退化过程中即为两者在空间域的卷积结果,该过程中的计算公式为:

$ g\left( {x,y} \right) = f\left( {x,y} \right) * h\left( {x,y} \right) + e\left( {x,y} \right) ,$ (2)

式中,e(x,y)表示高斯噪声函数。

通过傅里叶变换,计算式(1)的傅里叶函数,其计算公式为:

$ G\left( {x,y} \right) = F\left( {x,y} \right)H\left( {x,y} \right) + E\left( {x,y} \right),$ (3)

式中,F(x,y)、H(x,y)、E(x,y)均为二维傅里叶变换结果。

依据式(2)获取f(u,v)的傅里叶计算结果:

$ F\left( {u,v} \right) = \frac{{G\left( {u,v} \right) - E\left( {u,v} \right)}}{{H\left( {u,v} \right)}}。$ (4)

式中,(u,v)为频率域内像素坐标。可知,舰船遥感图像退化过程可以采用h(x,y)描述,因此,在频域内对F(u,v)进行相关处理,即可完成舰船遥感图像复原。

1.2.2 遥感图像复原模型

完成图像几何畸变校正后,对其进行图像复原。采用超复数频域变换模型实现舰船遥感图像复原,获取复原后的显著图。超复数频域变换模型在应用过程中通过傅里叶变换后,获取F(u,v)变换后的超复数形式结果Q(u,v),并将获取的结果进行转换,形成极坐标形式,其公式为:

$ Q\left( {u,v} \right) = \left\| {Q\left( {u,v} \right)} \right\|{e^{u\varphi \left( {u,v} \right)}} 。$ (5)

式中: $ \varphi \left( {u,v} \right) $ 为极坐标射影矢量,此时QF(u,v)是位于频率域中的图像,其幅度谱用A(u,v)表示,相位谱用P(u,v)表示,本征谱用X(u,v)表示。

超复数频域变换模型在处理A(u,v)时,主要采用不同尺度的高斯卷积函数g(u,v,k)完成,通过该函数进行A(u,v)信息的平滑处理,以此获取幅度谱尺度空间 $ \Lambda \left( {u,v,k} \right) $ ,其中 $ k $ 表示尺度参数。计算A(u,v)、 $ g\left( u, v,k \right) $ 以及 $ \Lambda \left( {u,v,k} \right) $ 的结果,其计算公式为:

$ A\left( {u,v} \right) = \left\| {Q\left( {u,v} \right)} \right\| ,$ (6)
$ g\left( {u,v,k} \right) = \frac{1}{{\sqrt {2 \text{π} } {2^{k - 2}}}}{e^{ - \tfrac{{{u^2} + {v^2}}}{{{2^{2k - 3}}}}}} ,$ (7)
$ \Lambda \left( {u,v,k} \right) = g\left( {...,...,k} \right) * A\left( {u,v} \right)。$ (8)

在上述公式的基础上,利用离散余弦变换的反变换进行处理,生成空间域一系列显著图{Sk},结合熵最小原则获取显著图终端最佳图像结果So,并对其进行高斯平滑处理后,获取复原后的舰船遥感显著图像,其公式为:

$ S\left( {x,y} \right) = g{\left[ {{S_o}\left( {x,y} \right)} \right]^2}。$ (9)
2 测试结果与分析

为验证本文方法的应用效果,随机抽取某图像库中200张海上舰船遥感图像进行相关测试,该图像主要是通过卫星获取。

为验证本文方法的几何畸变矫正效果,随机抽取一张存在畸变的舰船图像,采用本文方法对其进行校正处理,获取校正前、后图像结果,如图1所示。可知,采用本文方法对舰船遥感图像进行几何校正后,能够有效完成图像几何畸变校正,校正后图像对应坐标位置精准性显著提升。

图 1 遥感图像畸变矫正结果 Fig. 1 Remote sensing image distortion correction results

为验证本文方法的图像复原性能,采用空间频率 $ SF $ 作为评价指标,判断图像复原效果,其取值范围在0~1之间,指标值越大,表示图像复原性能越好,其计算公式为:

$ SF = \sqrt {R{F^2} + C{F^2}},$ (10)
$ RF = \sqrt {\frac{1}{{MN}}\sum\limits_{i = 1}^{M - 1} {\sum\limits_{j = 1}^{N - 1} {{{\left[ {f\left( {i,j + 1} \right) - f\left( {i,j} \right)} \right]}^2}} } } ,$ (11)
$ CF = \sqrt {\frac{1}{{MN}}\sum\limits_{i = 1}^{M - 1} {\sum\limits_{j = 1}^{N - 1} {{{\left[ {f\left( {i + 1,j} \right) - f\left( {i,j} \right)} \right]}^2}} } } 。$ (12)

式中: $ RF $ $ CF $ 分别为行频率和列频率; $ M \times N $ 为图像大小;f(i,j)为像素点位置。

依据上述公式计算本文方法在不同图像大小下 $ SF $ 的测试结果,以此分析图像的复原性能,测试结果如表1所示。可知,采用本文进行不同大小舰船遥感图像复原后,复原性能较好, $ SF $ 的结果均在0.92以上,能够极大程度保证复原后图像和原始图像的空间吻合性,确保图像复原后质量。

表 1 图像复原性能测试结果 Tab.1 Image restoration performance test results

为直观验证本文方法的图像复原效果,随机选择一张舰船遥感图像,采用本文方法对其进行复原处理,获取复原前后的图像对比结果,如图2所示。可知,本文方法应用后,能够有效完成舰船遥感图像的复原,并且复原后图像的颜色、目标和背景的对比度等均显著提升,满足人眼视觉标准。因此,本文方法应用性良好,满足舰船遥感图像复原需求。

图 2 舰船遥感图像复原结果 Fig. 2 Restoration results of ship remote sensing images
3 结 语

舰船监测是海上交通管理部门掌握舰船航行情况和海上交通状态的重要依据,但是舰船遥感图像在采集过程中,受到大气干扰等因素影响后,图像质量会发生退化。因此,本文提出基于视觉传达的舰船遥感图像复原方法。对该方法的应用效果展开相关测试后可知,该方法具有较好的应用效果,能够完成退化图像的复原,提升舰船遥感图像质量。

参考文献
[1]
冯蕊涛, 杜清运, 罗恒, 等. 基于光流校正的复杂地形区多时相遥感影像配准[J]. 遥感学报, 2021, 25(2): 630-640.
FENG Ruitao, DU Qingyun, LUO Heng, et al. A registration algorithm based on optical flow modification for multi-temporal remote sensing images covering the complex-terrain region[J]. Journal of Remote Sensing, 2021, 25(2): 630-640.
[2]
刘纪伟, 王晓东, 李云辉. 基于矩阵复原和暗通道理论的单色遥感图像去雾算法[J]. 液晶与显示, 2023, 38(2): 225-235.
LIU Jiwei, WANG Xiaodong, LI Yun-hui. Dehazing algorithm of monochromatic remote sensing image based on matrix restoration and dark channel theory[J]. Chinese Journal of Liquid Crystals and Displays, 2023, 38(2): 225-235. DOI:10.37188/CJLCD.2022-0192
[3]
王琪瑶, 胡琸悦, 李潇雁, 等. 基于局部最大和最小强度先验的遥感图像盲去模糊[J]. 激光与光电子学进展, 2023, 60(4): 429-436.
WANG Qiyao, HU Zhuoyue, LI Xiaoyan, et al. Blind deblurring of remote sensing images based on local maximum and minimum intensity priors[J]. Laser & Optoelectronics Progress, 2023, 60(4): 429-436.
[4]
岳荣刚, 王世涛, 王虎妹, 等. 基于惯性参考基准的像移测量与图像复原[J]. 航天返回与遥感, 2021, 42(1): 125-134.
YUE Ronggang, WANG Shitao, WANG Humei, et al. Image motion measurement and image restoration based on the inertial reference[J]. Spacecraft Recovery & Remote Sensing, 2021, 42(1): 125-134. DOI:10.3969/j.issn.1009-8518.2021.01.015
[5]
黄国兴, 刘艺鹏, 彭宏, 等. 洛伦兹拟合点扩展函数的遥感图像复原方法[J]. 光学学报, 2021, 41(16): 224-236.
HUANG Guoxing, LIU Yipeng, PENG Hong, et al. Remote sensing image restoration method based on lorentz fitting point spread function[J]. Acta Optica Sinica, 2021, 41(16): 224-236.
[6]
张华卫, 贾文娟, 张金龙, 等. 基于二次约束与雾气分布的图像复原算法[J]. 激光与光电子学进展, 2021, 58(22): 450-459.
ZHANG Huawei, JIA Wenjuan, ZHANG Jinlong, et al. Image restoration algorithm based on quadratic constraint and haze distribution[J]. Laser & Optoelectronics Progress, 2021, 58(22): 450-459.
[7]
顾勇翔, 蓝鑫, 伏博毅, 等. 基于几何适应与全局感知的遥感图像目标检测算法[J]. 计算机应用, 2023, 43(3): 916-922.
Gu Yongxiang, Lan Xin, Fu Boyi, et al. Object detection algorithm for remote sensing images based on geometric adaptation and global perception[J]. Journal of Computer Applications, 2023, 43(3): 916-922.