2. 河北科技大学,河北 石家庄 050018
2. Hebei University of Science and Technology, Shijiazhuang 050018, China
在航海领域,船载电子稳像系统为导航辅助、船员瞭望及船舶操纵靠泊提供关键支持,其能稳定导航图像,助于精准识别航道标志物,增强瞭望效果,使船员及时察觉异常,还可在船舶操纵靠泊时精确判断相对位置,提升作业安全性与效率。在海洋监测方面,该系统在生态观测、环境监测及地质地形探测上作用显著。可稳定拍摄海洋生物与植被状况,助力生态研究;精确监测油污、海冰等环境要素,为环保决策提供依据;配合探测设备稳定图像显示,利于海洋地质与地形的精准测绘与资源开发研究。在军事领域,船载电子稳像系统对海上作战侦察、通信信号识别及特种两栖作战支援不可或缺,能提升武器射击精度、保障情报获取准确性、增强通信可靠性并辅助作战行动规划,提高军事任务成功率与安全性。
平台稳定性控制是船载电子稳像系统的核心,对提升性能和保障任务准确性意义重大,可减少外界干扰对平台影响,使成像设备平稳工作,获取清晰稳定图像,如在高分辨率采集时确保像素精准定位以提升图像质量,在航海、海洋监测、军事等任务中,其能避免图像抖动产生的视觉误差,提升整体任务执行的成功率与可靠性。
国内外对电子稳像系统的研究集中在电子稳像算法以及减小船体运动干扰上。郝铎等[1]针对山地车载光电系统大平移随机抖动致视频质量差问题,提出基于变分模态分解和长短期记忆网络的算法,再结合其时空域信息用LSTM网络分类筛选重构,实现稳像。但是算法性能依赖大量训练数据支撑,在数据稀缺场景下模型泛化能力受限,适应性欠佳。徐鑫伟等[2]鉴于 PWStableNet稳像网络存在局部失真缺点,提出改进的 PWStableNet电子稳像网络,设计翘曲场频域分析和稳定帧局部运动分析2种约束方案,抑制输出视频过量运动与局部失真。赵赛等[3]针对电子稳像运动估计中特征匹配有误差及3D运动估计复杂问题,提出用 MEMS陀螺仪测相机旋转抖动,SIFT法测平移抖动,经滤波、补偿及图像拼接处理,这2种方法对算法计算资源需求较高,在资源受限的船载设备上实时性优化存在难题。卢晓东等[4]对船载成像系统受船体晃动干扰问题,提出引入惯性量测信息的复合稳像方法,但是该方法对惯性测量器件精度要求严苛,高精度惯性器件成本高昂,增加系统成本与复杂性。
本文提出一种船载电子稳像系统的平台稳定性技术,深入研究视觉、惯性、激光雷达等传感器特性与协同工作原理,构建统一时空基准下的融合架构,解决传感器间数据校准、同步与融合难题,提出基于MPC模型的高精度复合运动感知的运动补偿和控制,提升平台稳定性。
1 平台稳定系统结构设计为了实现船载电子稳像系统的可靠工作,需要构建一个高精度、高实时性的平台稳定系统。平台稳定系统依靠多传感器融合反馈+运动预测控制来实现,在结构上主要由传感器层、数据预处理模块、时空基准统一模块、特征提取与匹配模块、数据融合模块以及平台稳定控制模块构成[5]。
1)传感器层
传感器层为电子稳像系统提供各类监测数据,包括视觉传感器、惯性传感器、激光雷达传感器以及处理电路等。视觉传感器提供高分辨率图像信息,构建环境视觉场景;惯性传感器凭借高频响应捕捉平台瞬间运动变化,在短时间内精确跟踪运动轨迹;激光雷达快速扫描获取周围环境三维结构信息,补充视觉深度感知不足。各传感器从不同维度感知环境与平台状态,其数据在时空基准统一框架下融合,形成对船载平台及周围环境全面、准确感知,为稳像控制提供充足信息源,提升稳像系统在复杂动态环境下的适应性与可靠性。
2)数据预处理模块
传感器层在完成基础数据采集后,需要对这些数据进行预处理,包括视觉数据预处理、惯性数据预处理以及激光雷达数据预处理等。视觉传感器图像数据富含环境纹理与目标外观特征,但在光照变化、低纹理区域或快速运动场景下存在局限性;惯性传感器对运动变化敏感,可实时提供平台运动状态信息,但存在积分漂移误差与低频噪声;激光雷达能精确测量目标距离与三维结构,不受光照与纹理影响,但分辨率与数据密度相对较低。融合架构通过挖掘各传感器数据互补特性,在不同场景下相互补充、校正,利用激光雷达深度信息弥补视觉深度估计误差、惯性运动数据辅助视觉特征跟踪,提升系统整体感知精度与稳定性。
3)时空基准统一模块
为实现有效融合,需确保多传感器数据在时空上一致性。时空基准统一模块通过精确标定传感器安装外参数与时间同步技术,将各传感器数据转换到统一时空坐标系统。构建多层级坐标系统,以地球坐标系为绝对参考系,确定船载平台坐标系原点,依右手定则定义三轴方向;建立各传感器坐标系,依据传感器安装位置与姿态确定其相对平台坐标系转换关系,通过精确标定与测量获取传感器安装外参数(旋转和平移矩阵),实现多传感器数据从自身坐标系到统一平台坐标系转换,为数据融合奠定坐标基础。
在时间同步机制上,采用硬件与软件结合的时间同步方案,硬件层面,利用高精度时钟源为各传感器提供统一外部时钟信号,软件方面,基于时间戳技术为采集数据添加精确时间标记,设计数据缓冲与对齐算法,依据时间戳对各传感器数据按时间序列重新排序与插值处理,补偿传输延迟与采样时间差异,实现数据时间同步,保证融合数据时空一致性。
4)特征提取与匹配模块
图像特征提取依靠改进SIFT或SURF算法获取含位置、尺度、方向信息的稳定特征点,经FLANN算法匹配相邻帧特征点,再由RANSAC算法筛除误匹配点,以此精确算得图像帧间平移、旋转、缩放参数。对惯性数据的特征提取是融合卡尔曼滤波和粒子滤波等算法,以高频运动信息实现视觉特征匹配跟踪,提升数据识别的精度与稳定性。激光雷达数据特征提取是以区域生长、聚类分析算法分割识别目标,关联其与视觉特征经特定匹配方法实现多模态融合,利用其深度信息校正视觉深度误差,提升复杂环境下目标定位及运动估计精度,协同保障稳像系统精准感知与稳定运行[6]。
5)数据融合模块
在数据预处理后,直接将视觉、惯性、激光雷达传感器数据在原始数据层面融合。将惯性传感器的加速度、角速度数据与视觉图像像素值、激光雷达点云坐标按一定规则组合编码,形成新融合数据向量;通过设计加权平均、数据归一化等融合规则,充分发挥各传感器数据优势互补特性,在数据源头整合信息,为后续高层处理提供全面数据基础[7]。
6)平台稳定控制模块
依据数据融合模块输出的平台运动参数与目标状态信息,设计基于比例—积分—微分(PID)控制器、模型预测控制(Model Predictive Control,MPC)算法以及模糊逻辑控制器的稳像控制策略。PID控制器依据设定值与实际测量值偏差、偏差积分与微分调整控制信号,实现图像稳定,MPC算法基于系统动态模型预测平台的运动趋势,模糊逻辑控制器依据模糊规则与隶属函数处理不确定性因素,实现智能稳像控制。通过控制相机云台或调整图像采集参数,实时补偿图像抖动与偏差,确保输出稳定图像序列,满足船载平台不同任务需求。
2 船载电子稳像系统的平台稳定控制技术研究 2.1 基于MPC模型的平台运动预测1)对船载平台的运动进行建模。用状态空间方程来描述平台的动态特性:
设系统的状态变量为x(k);控制变量为u(k);输出变量为y(k),其中k表示离散时间步。
状态方程:
x(k + 1)=A x(k)+B u(k)+w(k), | (1) |
输出方程:
y(k)=C x(k)+D u(k)+v(k)。 | (2) |
式中:A为系统状态矩阵;B为输入矩阵;C为输出矩阵;D为前馈矩阵;w(k)和v(k)分别为系统的过程噪声和测量噪声。
2)状态和输出预测
基于上述状态空间方程,对未来N步的系统状态和输出进行预测。
状态预测:从初始状态(x(k))开始,根据状态方程进行迭代预测。预测第(k + p)步的状态为x(k + p),(p = 1,2,……,N):
x(k+1|k)=Ax(k)+Bu(k), | (3) |
x(k+2|k)=Ax(k+1|k)+Bu(k+1)=A2x(k)+ABu(k)+Bu(k+1)。 | (4) |
一般地,
x(k+p|k)=Apx(k)+p−1∑i=0AiBu(k+p−1−i)。 | (5) |
输出预测:根据输出方程,第k + p步的输出y(k + p|k)为:
y(k+p|k)=Cx(k+p|k)+Du(k +p)+v(k+p)。 | (6) |
代入x(k + p|k)的表达式可得:
y(k+p|k)=C(Apx(k)+p−1∑i=0AiBu(k+p−1−i))+Du(k+p)+v(k+p)。 | (7) |
MPC通过最小化一个目标函数来确定最优控制序列。在船载电子稳像系统中,目标函数通常包括对平台姿态误差和控制能量的惩罚。目标函数J可以表示为:
J=N−1∑p=0(yref(k+p)−y(k+p|k))TQ(yref(k+p)−y(k+p|k))+N−1∑p=0u(k+p)TRu(k+p)。 | (8) |
式中:
3)约束条件
船载平台的控制通常存在一些物理约束,包括三维平台电机的最大转速、最大扭矩等,这些约束需要在MPC优化问题中考虑。G为转速,H为扭矩,本文设置的约束条件包括:
Gmin⩽G(k+p)⩽Gmax,p=0,1,⋯,N, | (9) |
Hmin⩽H(k+p)⩽Hmax,p=1,2,⋯,N。 | (10) |
通过MPC不断地预测和优化控制量,最终输出控制序列,从而有效地补偿船载平台的抖动,提高成像的稳定性。
2.2 平台稳定性控制仿真图1为根据运动预测和反馈的稳像平台理想运动曲线和实际运动曲线对比,为了表达方便,仅采用X轴和Y轴运动曲线进行对比。可以发现,为了应对船舶的不同行驶状态,稳像平台本身需要不断作出补偿,其理想运动曲线非常复杂,难以用具体的函数来表达,在实际进行控制时,实际运动曲线往往和理想运动曲线之间存在一定的延时和误差,且在很多时候往往存在部分超调的现象,但是仍然在可接受范围内。
![]() |
图 1 平台理想运动曲线和实际运动曲线对比 Fig. 1 Comparison of platform ideal motion curve and actual motion curve |
图2为使用基于MPC的平台稳定控制技术前后的图像抖动误差对比效果,可以发现在原始未控制状态,图像抖动误差最大可以达到接近3个像素,因而在很大程度上影响了成像效果,在使用基于MPC的平台稳定控制技术后,通过对船舶运动状态进行预测和补偿,图像抖动误差下降到1个像素以下,在很大程度上提升了成像质量。
![]() |
图 2 图像抖动误差控制前后对比 Fig. 2 Image jitter error control before and after comparison |
图3为使用基于MPC的平台稳定控制技术前后的图像角度偏差对比,在未控制前原始角度偏差较大,最大偏差可达±10°,控制后角度偏差可以控制在±1°,控制效果明显。
![]() |
图 3 图像角度偏差控制前后对比 Fig. 3 Image angle deviation control before and after comparison |
1)设计了平台稳定系统的基本结构,并详细分析了各模块的功能及工作原理;
2)提出基于MPC模型的船载电子稳像系统的平台稳定控制技术,根据系统当前状态和预测模型,计算出合适的控制量,使平台的抖动最小化,从而保证成像的稳定性;
3)对平台稳定性控制进行仿真,从运动曲线控制、图像抖动误差以及角度误差等3个方面对控制效果进行分析,结果表明本文提出的基于MPC模型的平台稳定控制技术能够实现平台的高精度、实时控制,满足船载电子稳像系统的平台稳定性要求。
[1] |
郝铎, 曾令飞, 李成伟. 基于变分模态分解和长短期记忆网络的大平移抖动电子稳像算法[J]. 计算机应用, 2023, 43(S2): 168−175.
|
[2] |
徐鑫伟, 兰太吉, 薛旭成, 等. 基于局部运动约束的改进 PWStableNet 电子稳像网络[J]. 无线电工程, 2022, 52(11): 1944−1952.
|
[3] |
卢晓东, 吴天泽, 周军, 等. 耦合扰动下船载成像系统的复合稳像[J]. 光学精密工程, 2017, 25(5): 1291-1299. DOI:10.3788/OPE.20172505.1291 |
[4] |
赵赛, 康宝生, 王力. 基于 MEMS 陀螺仪的电子稳像算法[J]. 西北大学学报 (自然科学版), 2018, 48(3): 355−362.
|
[5] |
单雄飞, 赵德鹏, 潘明阳, 等. 基于海天线检测的船载摄像机电子稳像技术[J]. 大连海事大学学报, 2020, 46(3): 76−86.
|
[6] |
秦洪. 电子稳像技术在舰载陀螺仪中的应用研究[J]. 舰船科学技术, 2018, 40(12): 181-183. QIN H. Research on the application of electronic image stabilization technology in shipborne gyroscopes[J]. Ship Science and Technology, 2018, 40(12): 181-183. |
[7] |
张宁, 张浩彬, 吴建华, 等. 一种面向智能车辆视觉系统的电子稳像算法[J]. 同济大学学报 (自然科学版), 2022, 50(4): 497−503.
|