舰船科学技术  2024, Vol. 46 Issue (13): 158-161    DOI: 10.3404/j.issn.1672-7649.2024.13.028   PDF    
图像处理技术在船舶智能控制器中的应用
田景娜1,2     
1. 河南省容错服务器工程技术研究中心,河南 郑州 450046;
2. 河南职业技术学院,河南 郑州 450046
摘要: 为了提高船舶的自主控制能力和运行效率,研究图像处理技术在船舶智能控制器中的应用。利用摄像机采集船舶图像,获取持续更新的船舶序列图像。采用大津法确定船舶目标提取阈值,利用背景差分法提取船舶图像目标。从船舶图像目标中,提取船舶位置、船舶尺寸、船舶航向角、船舶航行速度,作为船舶智能控制的运动态势参数。利用船舶运动态势参数中的位置矢量与速度矢量,构建船舶的动力学模型、船舶的积分滑模控制面,设计船舶智能控制器,实现船舶航行的智能控制。实验结果表明,采用该方法控制船舶,船舶的实际舵角与期望舵角相差较小,可有效提升船舶的自主控制能力。
关键词: 图像处理技术     智能控制器     背景差分法     积分滑模控制    
Application of image processing technology in ship intelligent controller
TIAN Jingna1,2     
1. Henan Engineering Research Centerof Fault-tolerant Server, Zhengzhou 450046, China;
2. Henan Polytechnic, Zhengzhou 450046, China
Abstract: In order to improve the autonomous control capability and operational efficiency of ships, the application of image processing technology in ship intelligent controllers is studied. Use a camera to capture ship images and obtain continuously updated ship sequence images. The Otsu method is used to determine the threshold for extracting ship targets, and the background difference method is used to extract ship image targets. Extract ship position, ship size, ship heading angle, and ship sailing speed from ship image targets as motion state parameters for intelligent ship control. By utilizing the position vector and velocity vector in the ship motion situation parameters, a dynamic model of the ship is constructed, and an integral sliding mode control surface of the ship is designed. An intelligent controller for the ship is designed to achieve intelligent control of ship navigation. The experimental results show that using this method to control the ship, the actual rudder angle of the ship is relatively small compared to the expected rudder angle, effectively improving the ship's autonomous control ability.
Key words: image processing technology     intelligent controller     background difference method     integral sliding mode control    
0 引 言

船舶作为重要的海上交通工具,其安全性、高效性和智能化水平需求日益提升[1]。在船舶智能控制器中,图像处理技术不仅能够提高船舶对周围环境的感知能力,还能够优化船舶的航行策略,增强船舶的自主决策能力,从而显著提升船舶的安全性和航行效率[2]

近年来众多学者针对船舶控制开展研究。刘佳仑等[3]设计了变稳船控制系统,但受限于模拟条件和参数设置,模拟结果与实际航行状态存在一定的差异。Schller等[4]将递归神经网络应用于船舶自主导航浮标光模式分类中,但是递归神经网络难以直接解释其分类结果,导致导航出现问题时,难以进行故障排查和修复。余文曌等[5]研究智能船舶路径跟踪控制方法,由于其控制性能受扩张观测器参数的影响,如果参数调整不当,将导致控制性能下降甚至系统失稳。

针对以上方法在船舶控制中存在的问题,研究图像处理技术在船舶智能控制器中的应用,以期为船舶行业的智能化发展提供新的思路。

1 基于图像处理技术的船舶智能控制器 1.1 船舶图像目标提取

船舶智能控制器利用智能摄像机采集船舶图像,从采集的船舶图像中提取船舶目标。依据摄像机拍摄角度的变化,采集的船舶图像主要为侧面船舶图像以及正面船舶图像。利用侧面船舶图像,检测船舶目标的运动速度;利用正面船舶图像,确定船舶类型以及船舶的航向角度。首先需要对采集的船舶图像进行均衡化处理。再结合大津法以及背景差分法,从船舶图像均衡化处理结果中,提取船舶目标[6]。利用0.5帧/s的速度,对所获取的船舶视频图像解码处理,获取多帧船舶图像。对船舶图像实施背景差分处理,提取船舶目标。$ {I_k}\left( {x,y} \right) $为船舶视频序列图像,$ k = 1,2, \cdots ,N $,其中$ N $$ k $分别表示船舶视频序列图像总帧数以及图像序号,$ \left( {x,y} \right) $为船舶图像的像素点坐标。将第$ k $帧船舶视频序列图像$ {B_k}\left( {x,y} \right) $设置为初始背景。差分处理$ {B_k}\left( {x,y} \right) $$ {I_{k + n}}\left( {x,y} \right) $,二值化处理差分运算结果,计算图像的变化面积$ Z $。将变化面积计算结果与阈值$ \xi $对比,$ Z $的变化面积小于所设置阈值时,表示船舶图像背景无变化,否则需要重建船舶背景图像。船舶图像的背景重建表达式如下:

$ \begin{gathered} {B_{k + n}}\left( {x,y} \right) = \\ \left\{ {\begin{array}{*{20}{l}} {{I_{k + n}}\left( {x,y} \right),Z < \xi } ,\\ {{B_k}\left( {x,y} \right) + \displaystyle\frac{1}{{k + 1}}\left[ {{I_{k + n}}\left( {x,y} \right) - {B_k}\left( {x,y} \right)} \right],Z \geqslant \xi } 。\end{array}} \right. \\ \end{gathered} $ (1)

获取持续更新的船舶背景图像,利用背景差分法提取船舶图像中的目标。背景差分法的计算公式如下:

$ {D_k}\left( {x,y} \right) = \left| {{f_k}\left( {x,y} \right) - {f_b}\left( {x,y} \right)} \right| 。$ (2)

式中:$ {f_k}\left( {x,y} \right) $$ {f_b}\left( {x,y} \right) $分别为当前帧船舶图像以及背景图像;$ {D_k}\left( {x,y} \right) $为船舶图像差分结果。当$ {D_k}\left( {x,y} \right) $>$ \xi $时,该图像为前景图像,否则为背景图像。

采用大津法选择阈值$ \xi $的表达式如下:

$ {\sigma ^2} = {w_A}{\left( {{\eta _A} - \eta } \right)^2} + {w_B}{\left( {{\eta _B} - \eta } \right)^2} 。$ (3)

式中:$ {w_A} $$ {w_B} $分别为前景图像与背景图像的概率;$ {\eta _A} $$ {\eta _B} $分别为前景图像与背景图像的灰度平均值;$ \eta $为船舶图像的灰度平均值。

利用以上过程,计算船舶图像各部分的类间方差,遍历整幅船舶图像,利用式(3)获取的方差最大时,对应的值即阈值ξ。利用阈值ξ,将船舶图像划分为两部分,完成船舶图像的目标提取。

1.2 确定船舶的运动态势参数

依据所提取的船舶图像目标,确定船舶的运动态势参数。依据船舶航行时的操控控制理论,选取船舶位置、船舶尺寸、船舶航向角、船舶航行速度,作为船舶智能控制的运动态势参数。船舶运动态势参数的提取过程如下:

1)船舶位置。设置所提取船舶图像目标的中心点坐标,作为船舶的实际位置。

2) 船舶尺寸。将船舶图像目标区域的像素坐标转换为空间坐标,设置船舶目标区域为全部空间坐标的外截距形,矩形的长与宽,即船舶目标大小。$ {x_1}, {x_2}, \cdots , {x_N} $表示船舶目标对应的空间点,利用主成分分析方法分析$ {x_i} $,计算其方差解释率$ S $的表达式如下:

$ S = \frac{1}{N}\sum\limits_{i = 1}^N {\left( {{x_i} - \bar x} \right){{\left( {{x_i} - \bar x} \right)}^{\rm T}}} 。$ (4)

式中:$ \bar x $为均值向量。

$ S $进行特征值分解,设置较大、较小的特征值与主轴向量$ u $、垂直向量$ v $分别对应。计算船舶空间点xi$ u $方向与$ v $方向的投影坐标为:

$ {m_i} = \frac{{{x_i} \cdot u}}{{\left\| u \right\|}} ,$ (5)
$ {n_i} = \frac{{{x_i} \cdot v}}{{\left\| v \right\|}}。$ (6)

搜寻mini中的最大值与最小值,获取船舶目标长度与宽度的表达式如下:

$ h = {m_{\max }} - {m_{\min }} ,$ (7)
$ w = {n_{\max }} - {n_{\min }} 。$ (8)

3)船舶航向角。设置坐标轴$ {u_x} $与主轴$ {u_y} $的夹角$ \alpha $作为船舶航向角,其表达式如下:

$ \alpha = \arctan \left( {{u_y}/{u_x}} \right) 。$ (9)

4)船舶航行速度。依据船舶视频序列图像中的目标轨迹,计算船舶航行速度。采用多次计算取平均的方法,获取船舶速度的表达式如下:

$ d = \frac{1}{{15}}\sum\limits_{i = 1}^{15} {\frac{{\left\| {{x_{t - i}} - {x_{t - i - 15}}} \right\|}}{{15/f}}} 。$ (10)

式中:f为帧速度。

利用以上过程获取船舶的运动态势参数,作为船舶智能控制器的输入数据。

1.3 基于积分滑模控制的船舶智能控制器

依据船舶的运动态势参数,利用船舶的位置矢量与速度矢量,构建船舶的动力学模型表达式为:

$ \dot \mu = h\left( x \right) + T\left( \psi \right)M_{}^{ - 1}r。$ (11)

式中:$ \mu = {\left[ {\begin{array}{*{20}{c}} x&y&\alpha \end{array}} \right]^{\text T}} $$ x = {\left[ {\begin{array}{*{20}{c}} u&v&d \end{array}} \right]^{\text T}} $分别为船舶的位置矢量以及速度矢量;$ T $为船舶航行时间;$ \psi $为水流方向角;$ h $为船舶吃水高度;$ M $$ r $分别为船舶的惯性矩与首摇角速度。

船舶实际航行位置与期望航行位置误差为:

$ {\mu _e} = {\mu _1} - {\mu _0} 。$ (12)

设置稳态平面,使船舶的运动误差在短时间内,收敛至稳态。为了消除船舶的抖振现象,设计船舶积分滑模控制面的表达式为:

$ {S_0}\left( t \right) = {\mu _e} + \int_0^t {{u_n}} \left( \gamma \right){\rm d}\gamma 。$ (13)

式中:$ {S_0}\left( t \right) $$ \gamma $分别为积分滑模向量以及控制参数;$ {u_n} $为积分滑模项。

利用积分滑模控制面,设计船舶智能控制器的表达式为:

$ \tau = - MT{\left( \psi \right)^{\text T}}\left( {u_n^{}\left( {\mu ,x} \right) + \gamma {S_0}\left( t \right)} \right) 。$ (14)

采集船舶图像,利用图像处理技术获取船舶的运动态势参数,作为船舶智能控制器的输入。利用所设计的船舶智能控制器,实现船舶航行的智能控制。

2 实例分析

为了验证船舶智能控制器对船舶的控制性能,将该方法应用于船舶的智能控制中。利用YTH-QJ8C/A船用全景摄像机采集船舶图像。

采用本文方法对所采集的船舶图像进行处理,处理前后船舶的灰度直方图变化如图1所示。可知,本文采用图像处理技术处理所采集的船舶图像,处理后的灰度直方图更加均衡。

图 1 灰度直方图变化 Fig. 1 Changes in grayscale histogram

采用本文方法提取船舶目标,船舶目标提取结果如图2所示。可知,采用本文方法能够有效提取船舶图像中的船舶目标。依据船舶目标提取结果,确定船舶的运动态势参数。

图 2 船舶目标提取结果 Fig. 2 Ship target extraction results

利用Matlab软件模拟某海域船舶的通行状况。船舶智能控制器依据船舶图像处理结果,获取船舶位置以及航向角等运动态势参数如表1所示。可知,本文方法能够利用所提取的船舶图像处理结果,获取船舶航行时的运动参数。船舶的运动参数为其智能控制提供了可靠的数据基础。

表 1 船舶运动态势参数 Tab.1 Parameters of ship motion situation

将本文方法获取的船舶运动参数作为船舶智能控制的基础。采用本文方法设计的船舶智能控制器控制船舶航行,船舶航行智能控制的舵角控制结果如图3所示。可知,本文方法设计的船舶智能控制器,伴随船舶航行工况的持续变化,能够有效纠正船舶的航向偏差。本文方法能够提升船舶航行时舵机控制的稳定性。

图 3 船舶智能控制结果 Fig. 3 Intelligent control results of ships
3 结 语

图像处理技术在船舶智能控制器设计中具有显著的优势。集成高性能的摄像头和先进的图像处理技术,使得船舶智能控制器能够实时捕捉并处理船舶的航行信息。通过图像处理技术,船舶智能控制器能够实现船舶航行信息的准确感知和快速响应,提高船舶的智能化控制水平。通过实验验证,基于图像处理技术的船舶智能控制器,在提高船舶航行效率方面取得了显著成效,是提高船舶智能化水平的有效途径。

参考文献
[1]
周慧, 李迎秋, 陈澎, 等. 基于改进FPN的复杂场景下SAR图像船舶目标检测[J]. 大连海事大学学报, 2022, 48(4): 76-83.
ZHOU Hui, LI Yingqiu, CHEN Peng, et al. Ship target detection with SAR images in complex scenes based on improved feature pyramid network[J]. Journal of Dalian Maritime University, 2022, 48(4): 76-83.
[2]
李凯, 于洪亮, 徐轶群, 等. 基于光学遥感影像的船舶目标识别[J]. 中国航海, 2022, 45(1): 95-100.
LI Kai, YU Hongliang, XU Yiqun, et al. Ship target recognition from optical remote sensing image[J]. Navigation of China, 2022, 45(1): 95-100. DOI:10.3969/j.issn.1000-4653.2022.01.016
[3]
刘佳仑, 谢玲利, 李诗杰, 等. 面向船舶智能航行测试的变稳船控制系统设计[J]. 中国舰船研究, 2023, 18(3): 38-47+74.
LIU Jialun, XIE Lingli, LI Shijie, et al. Design of variable stability ship control system for ship intelligent navigation test[J]. Chinese Journal of Ship Research, 2023, 18(3): 38-47+74.
[4]
SCHLLER F E T, NALPANTIDIS L, BLANKE M. Buoy light pattern classification for autonomous ship navigation using recurrent neural networks[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(7): 9455-9465. DOI:10.1109/TITS.2021.3122275
[5]
余文曌, 韩素敏, 徐海祥, 等. 智能船舶路径跟踪自抗扰模型预测控制[J]. 华中科技大学学报(自然科学版), 2023, 51(4): 55-61.
YU Wenzhao, HAN Sumin, XU Haixiang, et al. Auto disturbance rejection model predictive control for intelligent ship′ path following[J]. Journal of Huazhong University of Science and Technology(Nature Science Edition), 2023, 51(4): 55-61.
[6]
李男, 叶晓东, 王昊, 等. 基于改进YOLOv5的复杂场景下SAR图像船舶检测方法[J]. 信号处理, 2022, 38(5): 1009-1018.
LI Nan, YE Xiaodong, WANG Hao, et al. A ship detection method for sar images in complex scene based on improved YOLOv5[J]. Journal of Signal Processing, 2022, 38(5): 1009-1018.