2. 南宁职业技术学院,广西 南宁 530008
2. Nanning College for Vocational Technology, Nanning 530008, China
海运可实现大宗商品的高载运量运输,且具有费用少等优势,逐步成为当下进出口贸易中普遍采用的运输方式之一[1]。船舶航行环境具有复杂性特点,航线密度的增大、航行船舶数量的增多以及海上气候条件的多变性等,给船舶航行带来了很多不稳定因素,航行风险大幅提升,这是船舶碰撞事故屡有发生的重要原因[2-3]。因此,采取有效措施规避船舶航行风险,降低碰撞事故发生率成为当下亟待解决的问题。
张照亿等[4]针对船舶航行途中存在的碰撞风险,建立了适合危险识别的动态船舶领域模型,以此实现船舶安全会遇区域的划定,但该模型的识别效果受危险识别参数影响很大,难以实现不同危险区域的高精度识别。周林宏等[5]为解决船舶航行危险检测问题,在获取船舶航行图像的基础上,分别采用伽马、对数变换对采集图像进行处理,以改变图像亮度,通过自动色彩均衡算法实现图像噪声的消除,再利用高斯滤波、中值滤波等方法使得图像细节信息更丰富,采用Sobel算法获取危险目标轮廓后,通过HOG算法实现危险区域的最终识别。但该方法提取的危险区域轮廓存在偏差,使得危险区域识别精度大打折扣。
机器视觉技术通过借助计算机强大的计算性能以及高稳定性,可有效完成船舶航行环境图像信息进行采集与处理,从而实现危险区域的自动识别,与人眼视觉相比,机器视觉技术的识别效果更加突出。因此本文提出基于机器视觉技术的船舶航行危险区域自动识别方法,规避船舶航行风险,降低航行途中碰撞发生率。
1 船舶航行危险区域自动识别 1.1 基于机器视觉的船舶航行图像采集采用机器视觉技术获取船舶航行环境信息,通过对其进行去噪等处理,提高船舶航行图像的视觉效果,图像采集基本结构如图1所示。图像采集模块的职责是对CCD摄像头的视频流数据进行实时获取,完成船舶航行环境视频流数据的有效拼接,并将其传输至图像处理模块,实现船舶航行环境图像的去噪等。处理后的船舶航行环境视频流数据,由存储模块通过SDRAM存储器进行保存,以防止时钟域差异引起的船舶航行视频流数据难以交互问题。最后通过显示模块实现船舶航行环境图像的实时输出。全局时钟管理模块的作用是将时钟信号传送至船舶航行环境图像采集的各个模块中。
![]() |
图 1 基于机器视觉技术的图像采集基本结构 Fig. 1 Basic structure of image acquisition based on machine vision technology |
对船舶航行环境图像进行采集过程中,会因环境因素扰动而使获取的图像中含有噪声,这将对船舶航行危险区域识别效果产生不利影响,因此通过像素平滑滤波与帧间差分相结合的方法实现船舶航行原始图像的滤波、去噪处理。船舶航行环境图像模型可通过下式进行描述:
F(x,y,z)=A(x,y,z)+B(x,y,z)+Q(x,y,z)。 | (1) |
式中:A(x,y,z)为船舶航行图像的目标像素函数;B(x,y,z)为图像中的海天背景信息;Q(x,y,z)为扰动像素模型,反映环境扰动等噪声对图像视觉效果的影响。
船舶航行图像的处理过程为:
对于船舶航行图像,(x,y)表示任意一个像素,f(x,y)为其灰度,通过下式描述其平滑滤波函数:
φ(x,y)=c∑i=0j=0f(x,y)c2−1, | (2) |
其中,c2为噪声方差。对于获取的船舶航行图像,其视觉效果会因相邻帧图像的差分间隔而受到一定程度限制,帧间差分可通过下式进行描述:
Cn(i,j)=|Fn(i,j)−Fn−1(i,j)|。 | (3) |
其中:Cn(i,j)为获取的船舶航行差分图像;Fn(i,j)为第
1) 确定船舶航行图像中各节点在RGB空间的颜色分量,获得其颜色特征值。
2) 对于任意已标定节点xi,其与邻域未标定节点间的增量可通过di进行描述,计算公式表示为:
di=yi−∑j∈Niwijyj。 | (4) |
式中:yj为xi邻域空间中的点,通过
3) 创建xi节点的权值函数,用以判断其与邻域节点yj间的关联,计算公式描述为:
EW=∑i∈VEi=∑i∈V‖ | (5) |
{E_i} = {\left\| {{x_i} - \sum\limits_{j \in {N_i}} {{w_{ij}}{y_j}} } \right\|^2} = \sum\limits_{j \in {N_i}} {{w_{ij}}{w_{ik}}{{\left( {{x_i} - {y_j}} \right)}^T}} \left( {{x_i} - {y_k}} \right) 。 | (6) |
式中:
4) 通过有效集算法实现标定节点权值函数的计算。
5) 确定的标定节点权值通过f表示,fi为其内元素,与xi的排列顺序具有一一对应关系。由fi确定xi的相邻节点,通过对其信息弥散实现其显著性候选种子节点的标定,确定船舶航行图像显著性区域种子节点阈值,将其与bi值进行比较,选取满足bi>τ条件的节点,视其为已标定初始节点。基于信息弥散的船舶航行图像显著性区域检测过程为:
1) 获取船舶航行图像中的高频节点,并对其作凸包运算,以此确定显著性候选区域。
2) 对划分范围内的高频节点进行标定,并对颜色特征值进行求解。
3) 根据已标定节点,计算其与邻域未标定节点间的增量,通过信息弥散实现船舶航行图像的显著性区域。经过归一化处理,使其分布在[0,255]区间内,以此确定船舶航行图像显著图。
1.4 基于均值偏移算法的船舶航行图像分割采用均值偏移算法对提取到的显著性区域进行分割,将其划分成若干个小区域,为船舶航行图像危险区域识别提供基础。船舶航行图像的特征空间用Rd表示,其维度表示为
{M_h}\left( x \right) = {K^{ - 1}}\sum\limits_{{x_i} \in {S_k}} {\left( {{x_i} - x} \right)}。 | (7) |
式中:以h为半径;x为中心点的圆形数据空间表示为Sk,其内数据总量为
{x^{t + 1}} = M_h^t + {x^t}。 | (8) |
式中:当状态为
{M_h}\left( x \right) = \frac{{\sum\nolimits_{i = 1}^n {{x_i}g\left( {{{\left\| {\dfrac{{x - {x_i}}}{{{h^2}}}} \right\|}^2}} \right)} }}{{\sum\nolimits_{i = 1}^n {g\left( {{{\left\| {\dfrac{{x - {x_i}}}{{{h^2}}}} \right\|}^2}} \right)} }} - x。 | (10) |
式中:在以
基于均值偏移的显著性图像分割过程为:
1) 在处理后船舶航行图像的Lab特征空间内,完成图像像素平均值m(x)的确定。
2) 对m(x)至像素点
3) 当Mh(x)低于预设误差
由此即可实现预处理后的船舶航行图像的分割处理,获得数个船舶航行图像分割区域。
1.5 船舶航行图像危险区域识别在完成船舶航行图像感兴趣区域提取的基础上,在感兴趣区域图像内,各像素值均反映了其显著性大小。通过均值偏移获得船舶航行图像的不同分割区域后,在其感兴趣图像中对各区域的显著性均值进行计算,当其值高于阈值
将某航行船舶作为研究对象,采用本文方法对其航行环境图像进行采集,构建样本数据集,数据集中含有2000张船舶航行图像,设定船舶航行环境中的暗礁、岛屿、浅滩、帆船等障碍物目标所在位置为危险区域,采用本文方法对船舶航行危险区域进行识别,并在Matlab工具上进行仿真模拟,验证本文方法的识别性能。从数据集中随机选取一张船舶航行图像,将之作为实验目标,采用本文方法对该图像进行处理,将船舶航行原始图像作为对比,通过分析该图像的处理结果验证本文方法的图像处理能力,实验结果如图2所示。分析可知,采用本文方法对原始船舶航行图像进行处理,可去除图像所含大量噪声,处理后的图像更加清晰,图像质量得到显著增强。由此可见,本文方法具有较强的图像处理能力。
![]() |
图 2 处理前后的船舶航行图像 Fig. 2 Ship navigation image before and after processing |
在船舶航行图像处理的基础上,应用本文方法对航行图像的显著性区域进行提取,并与文献[4-5]方法进行对比,验证本文方法的优越性,实验结果如图3所示。分析可知,文献[4]方法提取结果中包含部分背景信息的同时,也有部分显著性区域内存在细节缺失问题,降低了显著性区域提取精度,这将对后续船舶航行危险区域识别产生不利影响;文献[5]方法能够获得船舶航行图像的显著性区域,但提取结果中包含部分背景信息;本文方法能够准确检测船舶航行图像的显著性区域,提取精度较高,提取效果明显优于文献方法。实验结果表明,采用本文方法可实现船舶航行图像显著性区域的提取,且具有突出效果。
![]() |
图 3 各方法的图像显著性区域提取结果分析 Fig. 3 Analysis of image salient region extraction results of each method |
本文方法对该船舶航行环境中的危险区域进行识别,实验结果如图4所示。分析可知,将本文方法应用到船舶航行危险区域识别中,图中白色区域为识别的船舶航行图像中的危险区域,船舶航行过程中可通过轨迹规划避让上述危险区域,以免发生碰撞危险。本文方法识别结果基本与处理后的船舶航行图像中的危险目标相吻合,危险区域识别效果突出。
![]() |
图 4 危险区域识别结果分析 Fig. 4 Analysis of Hazardous Area Identification Results |
采用本文方法对数据集中所有船舶航行图像进行危险区域识别,通过分析危险区域识别结果验证本文方法的应用性能,实验结果如表1所示。分析可知,将本文方法应用于船舶航行危险区域识别中,能够对船舶航行图像中的浅滩、暗礁等不同危险区域进行准确识别,错误识别的危险区域数量较低。实验结果表明,本文方法具有船舶航行危险区域识别能力,识别效果显著。
![]() |
表 1 船舶航行危险区域识别结果分析 Tab.1 Analysis on Identification Results of Ship Navigation Dangerous Areas |
以获取的船舶航行图像为实验对象,通过对图像处理效果、显著性区域提取结果以及船舶航行危险区域的识别结果验证本文方法的实用性。实验结果表明:本文方法可改善船舶航行图像质量,能够获得其显著性区域,显著性区域提取结果优于文献方法;可识别船舶航行图像中的危险区域,识别效果突出。
[1] |
汤国瑞, 谢新连, 潘伟. 复杂水域船舶智能避碰专家系统设计[J]. 船海工程, 2019, 48(3): 160-165. TANG Guorui, XIE Xinlian, PAN Wei. Design of intelligent collision avoidance expert system for ships in complex waters[J]. Marine engineering, 2019, 48(3): 160-165. |
[2] |
范存龙, 张笛, 姚厚杰, 等. 海上自主水面船舶航行风险识别[J]. 中国航海, 2019, 42(02): 75-82. |
[3] |
胡春生, 闫小鹏, 魏红星, 等. 基于立体视觉的目标检测与轨迹预测研究综述[J]. 计算机工程与应用, 2022, 58(03): 50-65. |
[4] |
张照亿, 李颖, 董双, 等. 基于船舶领域模型的船舶碰撞危险识别方法[J]. 中国航海, 2021, 44(2): 1-7+14. |
[5] |
周林宏, 杨戈, 李娜, 等. 基于自适应图像增强和图像去噪的水面航行船舶识别方法[J]. 船舶工程, 2021, 43(S2): 101-105. ZHOU Linhong, YANG Ge, LI Na, et al. Recognition method of surface navigation ship based on adaptive image enhancement and image denoising[J]. Ship engineering, 2021, 43(S2): 101-105. |