舰船科学技术  2023, Vol. 45 Issue (3): 157-160    DOI: 10.3404/j.issn.1672-7649.2023.03.030   PDF    
基于机器视觉技术的船舶航行危险区域自动识别方法
段仕浩1,2     
1. 南宁市物联网信息安全工程技术研究中心,广西 南宁 530008;
2. 南宁职业技术学院,广西 南宁 530008
摘要: 提出基于机器视觉技术的船舶航行危险区域自动识别方法,最大程度规避船舶航行风险。利用机器视觉技术获取船舶航行图像数据,并结合像素平滑滤波和帧间差分法去除原始船舶航行图像所含噪声。采用二阶高斯-马尔科夫机场算法对去噪后船舶航行图像的显著性区域候选节点作信息弥散处理,获取船舶航行图像显著图,通过均值偏移算法处理船舶航行显著图像的特征空间,获得多个分割区域后,在显著图中求解各区域的显著性均值,通过与阈值作比较,实现船舶航行危险区域识别。实验结果表明:该方法可有效提升船舶航行图像的视觉效果;生成的显著图细节完整;可实现不同危险区域的识别,识别效果突出。
关键词: 机器视觉技术     危险区域识别     平滑滤波     帧间差分     均值偏移    
Automatic identification method of ship navigation danger area based on machine vision technology
DUAN Shi-hao1,2     
1. Nanning Internet of Things Information Security Engineering Technology Research Center, Nanning 530008, China;
2. Nanning College for Vocational Technology, Nanning 530008, China
Abstract: An automatic identification method of ship navigation danger area based on machine vision technology is proposed to avoid the ship navigation risk to the greatest extent. Use machine vision technology to obtain ship navigation image data, combine pixel smoothing filtering with inter frame difference method to remove the noise contained in the original ship navigation image, use second-order Gauss Markov airport algorithm to diffuse the information of candidate nodes in the significant area of the denoised ship navigation image, obtain the prominent image of the ship navigation image, and use the mean shift algorithm to process the feature space of the prominent image of the ship navigation, After multiple segmented regions are obtained, the significance mean value of each region is calculated in the saliency map. By comparing with the threshold value, the ship navigation danger area is recognized. The experimental results show that this method can effectively improve the visual effect of ship navigation images, the details of the saliency map generated are complete, it can realize the identification of different hazardous areas with outstanding recognition effect.
Key words: machine vision technology     hazardous area identification     smooth filtering     interframe difference     mean shift    
0 引 言

海运可实现大宗商品的高载运量运输,且具有费用少等优势,逐步成为当下进出口贸易中普遍采用的运输方式之一[1]。船舶航行环境具有复杂性特点,航线密度的增大、航行船舶数量的增多以及海上气候条件的多变性等,给船舶航行带来了很多不稳定因素,航行风险大幅提升,这是船舶碰撞事故屡有发生的重要原因[2-3]。因此,采取有效措施规避船舶航行风险,降低碰撞事故发生率成为当下亟待解决的问题。

张照亿等[4]针对船舶航行途中存在的碰撞风险,建立了适合危险识别的动态船舶领域模型,以此实现船舶安全会遇区域的划定,但该模型的识别效果受危险识别参数影响很大,难以实现不同危险区域的高精度识别。周林宏等[5]为解决船舶航行危险检测问题,在获取船舶航行图像的基础上,分别采用伽马、对数变换对采集图像进行处理,以改变图像亮度,通过自动色彩均衡算法实现图像噪声的消除,再利用高斯滤波、中值滤波等方法使得图像细节信息更丰富,采用Sobel算法获取危险目标轮廓后,通过HOG算法实现危险区域的最终识别。但该方法提取的危险区域轮廓存在偏差,使得危险区域识别精度大打折扣。

机器视觉技术通过借助计算机强大的计算性能以及高稳定性,可有效完成船舶航行环境图像信息进行采集与处理,从而实现危险区域的自动识别,与人眼视觉相比,机器视觉技术的识别效果更加突出。因此本文提出基于机器视觉技术的船舶航行危险区域自动识别方法,规避船舶航行风险,降低航行途中碰撞发生率。

1 船舶航行危险区域自动识别 1.1 基于机器视觉的船舶航行图像采集

采用机器视觉技术获取船舶航行环境信息,通过对其进行去噪等处理,提高船舶航行图像的视觉效果,图像采集基本结构如图1所示。图像采集模块的职责是对CCD摄像头的视频流数据进行实时获取,完成船舶航行环境视频流数据的有效拼接,并将其传输至图像处理模块,实现船舶航行环境图像的去噪等。处理后的船舶航行环境视频流数据,由存储模块通过SDRAM存储器进行保存,以防止时钟域差异引起的船舶航行视频流数据难以交互问题。最后通过显示模块实现船舶航行环境图像的实时输出。全局时钟管理模块的作用是将时钟信号传送至船舶航行环境图像采集的各个模块中。

图 1 基于机器视觉技术的图像采集基本结构 Fig. 1 Basic structure of image acquisition based on machine vision technology
1.2 基于平滑滤波及帧间差分的船舶航行图像处理

对船舶航行环境图像进行采集过程中,会因环境因素扰动而使获取的图像中含有噪声,这将对船舶航行危险区域识别效果产生不利影响,因此通过像素平滑滤波与帧间差分相结合的方法实现船舶航行原始图像的滤波、去噪处理。船舶航行环境图像模型可通过下式进行描述:

$ F\left( {x,y,z} \right) = A\left( {x,y,z} \right) + B\left( {x,y,z} \right) + Q\left( {x,y,z} \right)。$ (1)

式中:A(x,y,z)为船舶航行图像的目标像素函数;B(x,y,z)为图像中的海天背景信息;Q(x,y,z)为扰动像素模型,反映环境扰动等噪声对图像视觉效果的影响。

船舶航行图像的处理过程为:

对于船舶航行图像,(x,y)表示任意一个像素,f(x,y)为其灰度,通过下式描述其平滑滤波函数:

$ \varphi \left( {x,y} \right) = \dfrac{{\displaystyle\sum\limits_{\mathop {i = 0}\limits_{j = 0} }^c {f\left( {x,y} \right)} }}{{{c^2} - 1}},$ (2)

其中,c2为噪声方差。对于获取的船舶航行图像,其视觉效果会因相邻帧图像的差分间隔而受到一定程度限制,帧间差分可通过下式进行描述:

$ {C_n}\left( {i,j} \right) = \left| {{F_n}\left( {i,j} \right) - {F_{n - 1}}\left( {i,j} \right)} \right|。$ (3)

其中:Cn(i,j)为获取的船舶航行差分图像;Fn(i,j)为第 $ n $ 帧船舶航行图像;Fn-1(i,j)为第n-1帧船舶航行图像。

1.3 基于信息弥散的船舶航行图像显著性区域提取

$ x $ 表示船舶航行图像中被标定为显著性区域的节点集合,通过求解其内各节点与其邻域的相关性来完成信息弥散处理,从而实现其邻域是否为显著性区域的判定。信息弥散过程为:

1) 确定船舶航行图像中各节点在RGB空间的颜色分量,获得其颜色特征值。

2) 对于任意已标定节点xi,其与邻域未标定节点间的增量可通过di进行描述,计算公式表示为:

$ {d_i} = {y_i} - \sum\limits_{j \in {N_i}} {{w_{ij}}{y_j}}。$ (4)

式中:yjxi邻域空间中的点,通过 $ j \in {N_i} $ 描述,根据马尔科夫随机场概率准则,两节点间的权值为wij

3) 创建xi节点的权值函数,用以判断其与邻域节点yj间的关联,计算公式描述为:

$ {E_W} = \sum\limits_{i \in V} {{E_i} = \sum\limits_{i \in V} {{{\left\| {{x_i} - \sum\limits_{j \in {N_i}} {{w_{ij}}{y_j}} } \right\|}^2}_{}} },$ (5)
$ {E_i} = {\left\| {{x_i} - \sum\limits_{j \in {N_i}} {{w_{ij}}{y_j}} } \right\|^2} = \sum\limits_{j \in {N_i}} {{w_{ij}}{w_{ik}}{{\left( {{x_i} - {y_j}} \right)}^T}} \left( {{x_i} - {y_k}} \right) 。$ (6)

式中: $ V $ $ x $ 集合中的节点总数;xi邻域中的第 $ k $ 个节点表示为yk;与xi的权值为wik

4) 通过有效集算法实现标定节点权值函数的计算。

5) 确定的标定节点权值通过f表示,fi为其内元素,与xi的排列顺序具有一一对应关系。由fi确定xi的相邻节点,通过对其信息弥散实现其显著性候选种子节点的标定,确定船舶航行图像显著性区域种子节点阈值,将其与bi值进行比较,选取满足bi>τ条件的节点,视其为已标定初始节点。基于信息弥散的船舶航行图像显著性区域检测过程为:

1) 获取船舶航行图像中的高频节点,并对其作凸包运算,以此确定显著性候选区域。

2) 对划分范围内的高频节点进行标定,并对颜色特征值进行求解。

3) 根据已标定节点,计算其与邻域未标定节点间的增量,通过信息弥散实现船舶航行图像的显著性区域。经过归一化处理,使其分布在[0,255]区间内,以此确定船舶航行图像显著图。

1.4 基于均值偏移算法的船舶航行图像分割

采用均值偏移算法对提取到的显著性区域进行分割,将其划分成若干个小区域,为船舶航行图像危险区域识别提供基础。船舶航行图像的特征空间用Rd表示,其维度表示为 $ d $ ,该空间内的数据点集 $ X $ 内共有数据总量为 $ n $ ,对于随机点 $ x $ ,其均值偏移向量可通过下式进行描述:

$ {M_h}\left( x \right) = {K^{ - 1}}\sum\limits_{{x_i} \in {S_k}} {\left( {{x_i} - x} \right)}。$ (7)

式中:以h为半径;x为中心点的圆形数据空间表示为Sk,其内数据总量为 $ K $ ,任意数据点通过xi描述。根据均值偏移向量实现中心点 $ x $ 的修正,以使其不断逼近最大密度数据集,中心点 $ x $ 可通过下式进行修正:

$ {x^{t + 1}} = M_h^t + {x^t}。$ (8)

式中:当状态为 $ t $ 时,均值偏移向量通过 $ M_h^t $ 表示,此时的中心点为xt,本文引入核函数以使其周围的点具有更高的权值。此时的均值偏移向量通过下式描述:

$ {M_h}\left( x \right) = \frac{{\sum\nolimits_{i = 1}^n {{x_i}g\left( {{{\left\| {\dfrac{{x - {x_i}}}{{{h^2}}}} \right\|}^2}} \right)} }}{{\sum\nolimits_{i = 1}^n {g\left( {{{\left\| {\dfrac{{x - {x_i}}}{{{h^2}}}} \right\|}^2}} \right)} }} - x。$ (10)

式中:在以 $ h $ 为半径的数据空间内,数据点总量为n,高斯核函数通过g()描述。

基于均值偏移的显著性图像分割过程为:

1) 在处理后船舶航行图像的Lab特征空间内,完成图像像素平均值m(x)的确定。

2) 对m(x)至像素点 $ x $ 的偏移量Mh(x)进行运算。

3) 当Mh(x)低于预设误差 $ \varepsilon $ 时,则算法结束;反之,对中心点坐标的修正,返回步骤1继续迭代。

由此即可实现预处理后的船舶航行图像的分割处理,获得数个船舶航行图像分割区域。

1.5 船舶航行图像危险区域识别

在完成船舶航行图像感兴趣区域提取的基础上,在感兴趣区域图像内,各像素值均反映了其显著性大小。通过均值偏移获得船舶航行图像的不同分割区域后,在其感兴趣图像中对各区域的显著性均值进行计算,当其值高于阈值 $ T $ ,判断该区域为危险区域,反之为非危险区域。

2 结果与分析

将某航行船舶作为研究对象,采用本文方法对其航行环境图像进行采集,构建样本数据集,数据集中含有2000张船舶航行图像,设定船舶航行环境中的暗礁、岛屿、浅滩、帆船等障碍物目标所在位置为危险区域,采用本文方法对船舶航行危险区域进行识别,并在Matlab工具上进行仿真模拟,验证本文方法的识别性能。从数据集中随机选取一张船舶航行图像,将之作为实验目标,采用本文方法对该图像进行处理,将船舶航行原始图像作为对比,通过分析该图像的处理结果验证本文方法的图像处理能力,实验结果如图2所示。分析可知,采用本文方法对原始船舶航行图像进行处理,可去除图像所含大量噪声,处理后的图像更加清晰,图像质量得到显著增强。由此可见,本文方法具有较强的图像处理能力。

图 2 处理前后的船舶航行图像 Fig. 2 Ship navigation image before and after processing

在船舶航行图像处理的基础上,应用本文方法对航行图像的显著性区域进行提取,并与文献[4-5]方法进行对比,验证本文方法的优越性,实验结果如图3所示。分析可知,文献[4]方法提取结果中包含部分背景信息的同时,也有部分显著性区域内存在细节缺失问题,降低了显著性区域提取精度,这将对后续船舶航行危险区域识别产生不利影响;文献[5]方法能够获得船舶航行图像的显著性区域,但提取结果中包含部分背景信息;本文方法能够准确检测船舶航行图像的显著性区域,提取精度较高,提取效果明显优于文献方法。实验结果表明,采用本文方法可实现船舶航行图像显著性区域的提取,且具有突出效果。

图 3 各方法的图像显著性区域提取结果分析 Fig. 3 Analysis of image salient region extraction results of each method

本文方法对该船舶航行环境中的危险区域进行识别,实验结果如图4所示。分析可知,将本文方法应用到船舶航行危险区域识别中,图中白色区域为识别的船舶航行图像中的危险区域,船舶航行过程中可通过轨迹规划避让上述危险区域,以免发生碰撞危险。本文方法识别结果基本与处理后的船舶航行图像中的危险目标相吻合,危险区域识别效果突出。

图 4 危险区域识别结果分析 Fig. 4 Analysis of Hazardous Area Identification Results

采用本文方法对数据集中所有船舶航行图像进行危险区域识别,通过分析危险区域识别结果验证本文方法的应用性能,实验结果如表1所示。分析可知,将本文方法应用于船舶航行危险区域识别中,能够对船舶航行图像中的浅滩、暗礁等不同危险区域进行准确识别,错误识别的危险区域数量较低。实验结果表明,本文方法具有船舶航行危险区域识别能力,识别效果显著。

表 1 船舶航行危险区域识别结果分析 Tab.1 Analysis on Identification Results of Ship Navigation Dangerous Areas
3 结 语

以获取的船舶航行图像为实验对象,通过对图像处理效果、显著性区域提取结果以及船舶航行危险区域的识别结果验证本文方法的实用性。实验结果表明:本文方法可改善船舶航行图像质量,能够获得其显著性区域,显著性区域提取结果优于文献方法;可识别船舶航行图像中的危险区域,识别效果突出。

参考文献
[1]
汤国瑞, 谢新连, 潘伟. 复杂水域船舶智能避碰专家系统设计[J]. 船海工程, 2019, 48(3): 160-165.
TANG Guorui, XIE Xinlian, PAN Wei. Design of intelligent collision avoidance expert system for ships in complex waters[J]. Marine engineering, 2019, 48(3): 160-165.
[2]
范存龙, 张笛, 姚厚杰, 等. 海上自主水面船舶航行风险识别[J]. 中国航海, 2019, 42(02): 75-82.
[3]
胡春生, 闫小鹏, 魏红星, 等. 基于立体视觉的目标检测与轨迹预测研究综述[J]. 计算机工程与应用, 2022, 58(03): 50-65.
[4]
张照亿, 李颖, 董双, 等. 基于船舶领域模型的船舶碰撞危险识别方法[J]. 中国航海, 2021, 44(2): 1-7+14.
[5]
周林宏, 杨戈, 李娜, 等. 基于自适应图像增强和图像去噪的水面航行船舶识别方法[J]. 船舶工程, 2021, 43(S2): 101-105.
ZHOU Linhong, YANG Ge, LI Na, et al. Recognition method of surface navigation ship based on adaptive image enhancement and image denoising[J]. Ship engineering, 2021, 43(S2): 101-105.