遥感技术是通过各类型传感仪器完成不同地面目标辐射电磁波的采集,并通过处理获得遥感图像信息的先进探测技术[1]。早期,遥感技术只应用于军事作战中,侦察敌方舰船类型、位置等信息等。数据通信、图像处理等技术的高速发展,对遥感技术的广泛应用起到了极大的促进作用,使其不断向民用领域扩展,为其带来极其广阔的发展空间[2-3]。另外,无人机技术的成熟与应用,为遥感技术带来了新的发展机遇。无人机遥感监测平台在对舰船遥感图像进行采集时,会因光学镜头的固有缺陷以及传感器姿态的不规则性而产生非线性畸变,使得舰船遥感图像发生扭曲、失真等问题[4-5],不仅严重影响图像的视觉效果,也会对后期的图像目标识别等带来诸多不利。因此,舰船遥感图像的非线性畸变校正对提升遥感图像视觉效果以及舰船目标识别具有极其重大的现实意义[6]。
王士伟等[7]针对航天遥感相机成像存在的光响应非均匀度过高等非线性畸变问题,提出基于自适应移动窗口的畸变校正方法。陈一超等为解决红外遥感图像的畸变问题,根据红外遥感相机模型的投影变换原理构建等距投影校正模型,以确定待校正像点与原始像点间的映射关系,通过三次卷积差值法获取全成像信息,利用畸变校正模型确定插值后红外遥感图像的像点坐标,并将最近邻像点像素值赋予给该像点,实现红外遥感图像的畸变校正。该方法所用校正模型具有计算简便、参数量少的特点,但对切向畸变未能起到较好的校正效果。因此,本文研究舰船遥感图像非线性畸变自适应校正,以期获得更高的畸变校正精度,提高舰船遥感图像质量。
1 舰船遥感图像非线性畸变自适应校正 1.1 遥感摄像机成像模型舰船遥感摄像机成像模型中共含有4个坐标系,分别为图像物理、像素坐标系、世界坐标系以及摄像机坐标系。
摄像机坐标系中的每个点都位于空间之内,可通过世界坐标系对其进行表示,对于点
$ \left[ \begin{array}{c} {x_c} \\ {y_c} \\ {z_c} \\ 1 \end{array} \right] = \left[ \begin{array}{cc} Q & t \\ {0^{\rm{T}}} & 1 \end{array} \right]\left[ \begin{array}{c} {X_w} \\ {Y_w} \\ {Z_w} \\ 1 \end{array} \right] 。$ | (1) |
式中:
$ \left[ \begin{array}{c} u \\ v \\ 1 \end{array} \right] = \left[ \begin{array}{ccc} \dfrac{1}{{{\rm{d}}x}} & 0 & {u_0} \\ 0 & \dfrac{1}{{{\rm{d}}y}} & {v_0} \\ 0 & 0 & 1 \end{array} \right]\left[ \begin{array}{c} x \\ y \\ 1 \end{array} \right] 。$ | (2) |
由相似三角形关系,可完成图像物理坐标系下点
$ \left\{ \begin{gathered} x = \frac{{f{x_c}}}{{{z_c}}},\\ y = \frac{{f{y_c}}}{{{z_c}}}。\\ \end{gathered} \right. $ | (3) |
将其转换为矩阵形式可有:
$ s\left[ \begin{array}{c} x \\ y \\ 1 \end{array} \right] = \left[ \begin{array}{*{20}{c}} f & 0 & 0 & 0 \\ f & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{array} \right]\left[ \begin{array}{c} {x_c} \\ {y_c} \\ {z_c} \\ 1 \end{array} \right]。$ | (4) |
式中:
遥感摄像机成像模型描述世界坐标系下每个点与其理想成像点的映射关系。遥感摄像平台在采集舰船遥感图像时,其镜头根本无法达到理想线性透视成像技术要求,因此会产生非线性畸变误差,致使舰船遥感图像失真。对于点
$ \left\{ \begin{gathered} x = {x_d} + {\delta _x}\left( {{x_d},{y_d}} \right) + {\alpha _x}\left( {{x_d},{y_d}} \right) + {\eta _x}\left( {{x_d},{y_d}} \right) \\ y = {y_d} + {\delta _y}\left( {{x_d},{y_d}} \right) + {\alpha _y}\left( {{x_d},{y_d}} \right) + {\eta _y}\left( {{x_d},{y_d}} \right) \\ \end{gathered} \right. $ | (5) |
Tsai畸变模型与Brown畸变模型是摄像机非线性畸变校正中常应用的模型。前者通过下式进行畸变模型的描述:
$ \left\{ \begin{gathered} x = {x_d}\left( {{k_1}{r^2} + {k_2}{r^4} + 1} \right) \\ y = {y_d}\left( {{k_1}{r^2} + {k_2}{r^4} + 1} \right) \\ \end{gathered} \right. $ | (6) |
其中:
Tsai具有模型简化、计算难度低的特点,但因其只能对径向畸变进行校正,故难以取得突出校正效果。后者的畸变模型通过下式进行描述:
$ \left\{ \begin{gathered} x - {x_d} = {a_1}{x_d} + {a_2}{y_d} + {a_5}{y_d}^2 + {a_6}x_d^2{y_d} + {a_7}{x_d}{y_d}^2 + \\ \qquad \quad\;\; {x_d}\left( {1 + {k_1}{r^2} + {k_2}{r^4} + {k_3}{r^6}} \right) + {p_1}\left( {{r^2} + 2x_d^2} \right)+ \\ \qquad \quad\;\; 2{p_2}{x_d}{y_d} + {\delta _{x0}} \\ y - {y_d} = {b_1}{x_d} + {b_2}{y_d} + {b_5}{y_d}^2 + {b_6}x_d^2{y_d} + {b_7}{x_d}{y_d}^2 + \\ \qquad \quad\;\; {y_d}\left( {1 + {k_1}{r^2} + {k_2}{r^4} + {k_3}{r^6}} \right) + {p_2}\left( {{r^2} + 2y_d^2} \right)+ \\ \qquad \quad\;\; 2{p_1}{x_d}{y_d} + {\delta _{y0}} \\ \end{gathered} \right. $ | (7) |
其中:
对于理想成像点
$ \left[ \begin{array}{c} x \\ y \\ 1 \end{array} \right] = \left[ \begin{array}{ccc} {f_v} & {r_0} & {v_0}\\ f & {f_u} & {u_0} \\ 0 & 0 & 1 \end{array} \right]\left[ \begin{array}{c} {x_d} \\ {y_d} \\ 1 \end{array} \right]。$ | (8) |
其中:
$ \left\{ \begin{gathered} {\alpha _x} = 3\left( {{p_1}{r^2} + {p_2}{r^4}} \right)\sin \left( {\varphi - {\varphi _0}} \right) ,\\ {\alpha _y} = 3\left( {{p_1}{r^2} + {p_2}{r^4}} \right)\cos \left( {\varphi - {\varphi _0}} \right)。\\ \end{gathered} \right. $ | (9) |
其中:
$ \left\{ \begin{gathered} x - {x_d} = {x_d}\left( {1 + {k_1}{r^2} + {k_2}{r^4}} \right) + {p_1}\left( {{r^2} + 2x_d^2} \right) + \\ \qquad\quad\;\; 2{p_2}{x_d}{y_d} + {\delta _{x0}},\\ y - {y_d} = {y_d}\left( {1 + {k_1}{r^2} + {k_2}{r^4}} \right) + {p_2}\left( {{r^2} + 2y_d^2} \right) + \\ \qquad\quad\;\; 2{p_1}{x_d}{y_d} + {\delta _{y0}} 。\\ \end{gathered} \right. $ | (10) |
为提高舰船遥感图像的非线性畸变校正效果,本文通过实验场校验法实现遥感摄像机光学畸变系数、内外方位元素变量的校正处理。实验场检校方法的原理是根据舰船遥感图像所在实验场内各给定控制点坐标以及与其对应的成像点实际坐标,根据式(4)、式(10)实现传感器内外方位元素变量与畸变系数的解算,由此获取误差方程的矩阵表示为:
$ v = A \cdot {x_e} + B \cdot {x_i} + C{x_c} - L 。$ | (11) |
式中:
给定
$ x = {\left[ {{x_e},{x_i},{x_c}} \right]^T} = \frac{{\displaystyle\sum\limits_{i = 1}^n {\left( {\left[ {A,B,C} \right]_i^{\rm{T}} \cdot L} \right)} }}{{\left[ {\displaystyle\sum\limits_{i = 1}^n {\left( {\left[ {A,B,C} \right]_i^{\rm{T}} \cdot \left[ {A,B,C} \right]_i^{}} \right)} } \right]}}。$ | (12) |
由于未知数
完成成像点坐标校验后,采用双线性内插值法对原始舰船遥感图像作重采样处理,获取某像素2 pixel×2 pixel领域采样点均值,以其周围4个像素灰度值分别沿横、纵方向作差值处理,获得校正后的舰船遥感图像。
2 实验结果与分析以某无人机摄影平台采集的舰船遥感图像为研究对象,构建数据集,数据集中共有50张舰船遥感图像,设定无人机飞行航高为1000 m左右,地面分辨率为4 m,采集的舰船遥感图像尺寸为800 pixel×800 pixel。
随机选取的一张原始舰船遥感图像,因传感器姿态的无规则性改变,获取的舰船遥感图像存在非线性畸变,使得舰船遥感图像效果失真严重。采用本文方法对采集的舰船遥感图像进行非线性畸变校正,并与基于Tsai畸变模型与基于Brown畸变模型的校正结果进行对比,3种方法的校正效果如图2所示。通过畸变误差均值Emean指标、畸变百分比(各像素至光轴间距与误差均值之比)指标对各方法的非畸变校正效果进行评价,分析各指标的变化验证本文方法的畸变校正效果,实验结果如表1所示。结合图2和表1结果可知,采用3种方法对原始舰船遥感图像的非线性畸变进行校正处理,均取得一定的校正效果,本文方法处理后的舰船遥感图像,基本不存在图像扭曲、失真问题,舰船遥感图像视觉效果突出,同时本文方法校正后舰船遥感图像的误差均值及畸变百分比指标为三者中最低。采用Tsai畸变模型的校正方法对舰船遥感图像进行非线性畸变校正的视觉效果最差,畸变情况并未得到有效处理,且畸变误差均值、畸变百分比最大;基于Brown畸变模型的校正方法的校正效果高于Tsai模型方法,但低于本文方法。原因是:基于Tsai畸变模型的校正方法只对原始舰船遥感图像中的径向畸变进行了校正处理,而未衡量切向畸变对其校正效果的影响;基于Brown畸变模型的校正方法对底片弯曲、内外方位元素变量以及切向、径向畸变等进行综合考量,需计算的未知参数量过大,计算难度大幅增加,降低了非线性畸变校正精度;本文方法通过对Tsai模型、Brown畸变模型进行改进处理,使得构建的非线性畸变模型维持了畸变参数与阶数间的平衡,更有利于舰船遥感图像畸变校正效果的提升。因此,本文方法的畸变校正效果突出。
将本文方法应用于舰船遥感图像的非线性畸变校正中,并与基于Tsai畸变模型与基于Brown畸变模型的校正方法进行对比,通过分析不同方法的舰船遥感图像畸变校正结果验证本文方法的畸变校正性能。实验结果表明:本文方法校正后的舰船遥感图像,基本无扭曲、失真问题,畸变校正效果突出。
[1] |
鲍一丹, 李艺健, 何勇, 等. 基于波段权重的多尺度Retinex遥感图像渐晕校正方法[J]. 农业工程学报, 2019, 35(17): 186-193. DOI:10.11975/j.issn.1002-6819.2019.17.023 |
[2] |
余俊鹏, 吴伟东, 孙佳明, 等. 附加傅里叶补偿项的卫星遥感影像RFM平差方法[J]. 测绘学报, 2022, 51(1): 127-134. |
[3] |
陈一超, 邓超, 张瑜, 等. 基于精确模型和逆投影的超大视场红外图像畸变校正[J]. 半导体光电, 2021, 42(4): 546-550. DOI:10.16818/j.issn1001-5868.2021.04.019 |
[4] |
姚钦舟, 庄苏锋, 屠大维, 等. 水下透视投影图像非线性畸变校正方法[J]. 仪器仪表学报, 2020, 41(2): 176-183. DOI:10.19650/j.cnki.cjsi.J2005968 |
[5] |
王静仪, 王兴东, 刘钊, 等. 二维PSD的非线性畸变校正算法[J]. 武汉科技大学学报, 2019, 42(1): 56-60. |
[6] |
陈忠辉, 唐晓颖, 林志权, 等. 畸变图像自适应校正及质量增强算法研究与实现[J]. 计算机应用, 2020, 40(S1): 180-184. |
[7] |
王士伟, 张贵祥, 徐伟, 等. 基于自适应移动窗口的CMOS图像非均匀性校正[J]. 激光与光电子学进展, 2021, 58(14): 95-103. |