舰船科学技术  2023, Vol. 45 Issue (10): 160-163    DOI: 10.3404/j.issn.1672-7649.2023.10.032   PDF    
图像处理技术在船舶航行障碍物识别中的应用
苏立平     
聊城大学东昌学院,山东 聊城 252000
摘要: 为了提高船舶航行避障能力,提出基于图像分块特征匹配和视觉跟踪识别的船舶航行障碍物识别技术。采用点跟踪匹配和动态帧点检测的方法进行船舶航行障碍物识别的红外图像信息采集,对采集的船舶航行障碍物红外视觉图像进行区域组合检测和融合处理,提取图像的差异性和突变性特征点,根据特征点的分布情况采用视觉跟踪识别方法实现对船舶航行障碍物识别。测试表明,该方法对船舶航行障碍物识别的动态跟踪能力较好,识别可靠性和精度较高。
关键词: 图像处理技术     船舶航行     障碍物识别     分块检测跟踪    
Application of image processing technology in ship navigation obstacle identification
SU Li-ping     
Liaocheng University Dongchang College, Liaocheng 252000, China
Abstract: In order to improve the obstacle avoidance ability of ship navigation, a ship navigation obstacle recognition technology based on image block feature matching and visual tracking recognition is proposed. Using point tracking matching and dynamic frame point detection methods to collect infrared image information for ship navigation obstacle recognition, region combination detection and fusion processing are carried out on the collected infrared visual images of ship navigation obstacles, extracting differential and abrupt feature points of the image. Based on the distribution of feature points, visual tracking recognition method is used to recognize ship navigation obstacles. Tests have shown that this method has good dynamic tracking ability for identifying obstacles in ship navigation, and has high recognition reliability and accuracy.
Key words: image processing technology     ship sail     obstacle distinguish     block detection track    
0 引 言

在船舶航行过程中,受到海洋环境和天气等因素的影响,需要对航行过程中的障碍物进行有效识别,通过航行路径规划和避障设计,结合图像动态视觉跟踪识别方法,实现对船舶航行过程中的动态分析,提高船舶航行过程的稳定性和可靠性。研究船舶航行障碍物识别方法建立在对红外图像特征分析基础上,通过采集船舶航行障碍物动态参数[1],结合海洋环境特征分析和红外视觉跟踪识别的方法,提取船舶航行障碍物的分布特征点,采用分块和分组区域映射的方法实现对船舶航行障碍物识别。

目前,对船舶航行障碍物识别的方法主要有基于红外光谱特征分析的船舶航行障碍物识别方法、基于灰度不变矩特征分析的障碍物识别和路径规划方法以及不规则三角网分割的船舶航行障碍物识别方法等[2-3]。Marino A等[4]中提出基于可见光与红外图像并行控制的船舶航行障碍物识别方法,结合物体辐射的红外特征点差异性进行航行避障控制,但该方法的计算实时性不好。Pelich R等[5]提出基于层次对象模型化视觉帧匹配的船舶航行障碍物识别和避障路径规划技术,通过不同的场景参数融合,结合障碍物的空间分布规划性进行障碍物识别,但该方法的收敛性不好。

针对以上方法存在的不足,本文提出基于图像分块特征匹配和视觉跟踪识别的船舶航行障碍物识别技术,通过仿真测试验证了本文方法在提高船舶航行障碍物识别能力方面的优越性能。

1 船舶航行红外图像采集和特征提取 1.1 船舶航行红外图像采集

采用红外传感成像技术进行图像采集,对采集的船舶航行障碍物红外图像进行体元数据融合,通过多尺度变换和图像区域划分的方法,进行船舶航行障碍物的视觉特征分析,提取图像的显著性区域或目标,进行航行障碍物跟踪识别,船舶航行红外图像采集的结构图如图1所示。

图 1 船舶航行红外图像采集的结构图 Fig. 1 Structure diagram of infrared image acquisition for ship navigation

假设显著性分析的图像融分布域为 $\varOmega $ ,对船舶航行红外图像 $I(x,y)$ ,采用分块轮廓曲线 $ C $ 进行目标障碍物的定位匹配和跟踪识别,在特定场景下障碍物动态融合区域为 ${R_1}$ ${R_2}$ ,其中一个为目标,一个为背景障碍物。将高维图像投影到低维子空间中,得到图像分布模型:

$ \begin{split} {E^{cv}}({c_1},{c_2}) =& \mu \cdot Length(C) + \nu \cdot Area(inside(C)) +\\ &{\lambda _1}{\int_{inside(C)} {\left| {I - {c_1}} \right|} ^2}{\rm{d}}x{\rm{d}}y +\\ & {\lambda _2}{\int_{outside(C)} {\left| {I - {c_2}} \right|} ^2}{\rm{d}}x{\rm{d}}y 。\end{split} $ (1)

式中: ${c_1}$ ${c_2}$ 分别表示可见光与近红外的多模态特征参数; $Length(C)$ 表示目标障碍物的边界轮廓的长度; $Area(inside(C))$ 表示特征点、线段、轮廓的包围面积; $ \mu ,\nu ,{\lambda }_{1} $ ${\lambda _2}$ 分别表示特征点、线段、轮廓的边缘特征分量,均为大于0的常数。

选择合适的特征,在闭合曲线 $C$ 用水平集函数表示为 $C = \left\{ {(x,y) \in \varOmega :\phi (x,y) = 0} \right\}$ ,由此得到2个模态的图像外观分布模型参数为:

$ \begin{split} {E^{cv}}({c_1},{c_2}) =& \mu \int_\varOmega {\delta (\phi (x,y))\left| {\nabla \phi (x,y)} \right|} {\rm{d}}x{\rm{d}}y +\\ &{\lambda _1}{\int_\varOmega {\left| {I - {c_1}} \right|} ^2}H(\phi (x,y)){\rm{d}}x{\rm{d}}y +\\ &{\lambda _2}{\int_\varOmega {\left| {I - {c_2}} \right|} ^2}(1 - H(\phi (x,y))){\rm{d}}x{\rm{d}}y ,\end{split} $ (2)

式中, $H(z)$ $\delta (z)$ 分别为Heaviside函数和Dirac函数。

由此,构建了图像采集模型,采用点跟踪匹配和动态帧点检测的方法进行船舶航行障碍物识别的红外图像信息采集,根据图像采集结果,结合图像配准和边缘信息分布式融合的方法进行船舶航行障碍物识别。

1.2 图像特征提取

采用光和近红外图像联合识别的方法进行障碍物识别和特征提取,构建深度学习模型,在提取到的特征之间建立对应关系,得到船舶航行障碍物特征分布点集中的点之间映射关系,表示如下:

$ \begin{split} {E^{LBF}}&(\phi ,{f_1},{f_2}) = \mu \int {\frac{1}{2}{{\left( {\left| {\nabla \phi } \right| - 1} \right)}^2}} {\rm{d}}x + v \cdot Length(C) +\\ &{\lambda _1}\int {\left[ {\int {{K_\sigma }(x - y){{\left| {I - {f_1}(x)} \right|}^2}H(\phi ){\rm{d}}y} } \right]{\rm{d}}x} +\\ &{\lambda _2}\int {\left[ {\int {{K_\sigma }(x - y){{\left| {I - {f_2}(x)} \right|}^2}\left( {1 - H(\phi ){\rm{d}}y} \right)} } \right]{\rm{d}}x} 。\end{split} $ (3)

式中: ${\lambda _1},{\lambda _2},\nu ,\mu $ 均为局部特征子空间分布系数,为一组非负常数; ${K_\sigma }$ 为标准差 $\sigma $ 为高斯函数,通过选择 $\sigma $ 的大小来调整船舶航行红外图像分布邻域的大小。

对有可能的对应点障碍物集合水平集构建水平约束特征项,其中第一项是用来保持船舶航行红外图像水平集在演化特征量,第二项是船舶航行红外图像中障碍物的长度约束项,第三项和第四项为局部二值拟合项,基于几何约束的估计算得到障碍物的动态分配函数f1(x)和f2(x),在轮廓区域外,得到模型函数f1(x)和f2(x)随空域变化,采用重采样获取无异常值来确定障碍物分布,障碍物动态检测的能量函数为:

$ E = \theta {E^{LBF}} + (1 - \theta ){E^{LGF}} + vL\left( \phi \right) + \mu P\left( \phi \right) 。$ (4)

式中: $\theta $ 为图像中包含的信息量, $L\left( \phi \right)$ 为曲线长度约束项,从红外以及从可见光图像进行平滑特征分析,定义如下:

$ L\left( \phi \right){\text{ = }}\int_\Omega {\delta (\phi )\left| {\nabla \phi } \right|} {\rm{d}}x ,$ (5)

式中, $P\left( \phi \right)$ 为障碍物的距离正则项。

根据传递的信息熵分布,采用融合图F的边缘直方图作为特征分配点,得到结构相似性指标分布集为:

$ P\left( \phi \right){\text{ = }}\int {\frac{1}{2}{{\left( {\left| {\nabla \phi } \right| - 1} \right)}^2}} {\rm{d}}x。$ (6)

式中: $ {E^{LBF}} $ 为相关性、亮度、对比度的关联项, $ {E^{LGF}} $ 是局部梯度能量项。

根据变分法和Euler-Lagrange方程,得到原图及融合图的像素分配函数。

根据上述分析,对采集的船舶航行障碍物红外视觉图像进行区域组合检测和融合处理。

2 船舶航行障碍物识别 2.1 图像分块特征匹配

在对采集的船舶航行障碍物红外视觉图像进行区域组合检测和融合处理的基础上,采用边缘信息保留的方法,得到航行障碍物分布的Heaviside函数和规则化的Dirac函数,具体如下:

$ {H_\varepsilon }(z) = \frac{1}{2}\left[ {1 + \frac{2}{\pi }\arctan \left( {\frac{z}{\varepsilon }} \right)} \right] ,$ (7)
$ {\delta _\varepsilon }\left( z \right) = \frac{1}{\pi } \cdot \frac{\varepsilon }{{{\varepsilon ^2} + {z^2}}},z \in R 。$ (8)

固定式(3)能量泛函中的 $\phi $ ,分析边缘信息保留在融合图中的残差信息,对 ${f_1},{f_2},\left| {\nabla {f_1}} \right|,\left| {\nabla {f_2}} \right|$ 极小化处理,得到相应的表达式如下:

$ \left\{ \begin{gathered} {f_1}\left( x \right) = \frac{{{K_\sigma }\left( x \right)\cdot\left[ {{H_\varepsilon }\left( {\phi \left( x \right)} \right)I\left( x \right)} \right]}}{{{K_\sigma }\left( x \right)\cdot{H_\varepsilon }\left( {\phi \left( x \right)} \right)}} ,\\ {f_2}\left( x \right) = \frac{{{K_\sigma }\left( x \right)\cdot\left[ {\left( {1 - {H_\varepsilon }\left( {\phi \left( x \right)} \right)} \right)I\left( x \right)} \right]}}{{{K_\sigma }\left( x \right)\cdot\left( {1 - {H_\varepsilon }\left( {\phi \left( x \right)} \right)} \right)}} 。\\ \end{gathered} \right. $ (9)
$ \left\{ \begin{gathered} f_1^G = \frac{{{K_\sigma }\left( x \right)\cdot\left[ {{H_\varepsilon }\left( {\phi \left( x \right)} \right){I^G}(x)} \right]}}{{{K_\sigma }\left( x \right)\cdot{H_\varepsilon }\left( {\phi \left( x \right)} \right)}} ,\\ f_2^G = \frac{{{K_\sigma }\left( x \right)\cdot\left[ {\left( {1 - {H_\varepsilon }\left( {\phi \left( x \right)} \right)} \right){I^G}(x)} \right]}}{{{K_\sigma }\left( x \right)\cdot\left( {1 - {H_\varepsilon }\left( {\phi \left( x \right)} \right)} \right)}} 。\\ \end{gathered} \right. $ (10)

基于图像梯度的评价指标分析方法,在轮廓曲线演化分析障碍物的真实边界点,实现纹理细节信息匹配,采用图2所示的多模型拼接方法。

图 2 障碍物的多模型拼接 Fig. 2 Multiple model splicing of obstacles
2.2 障碍物的动态跟踪识别

构建融合图像中的峰值匹配模型,通过对目标障碍物特定波长的红、绿、蓝三原色分析,得到障碍物检测的中心距:

$ \Pi (\alpha ,\beta ) = \frac{{{\mu _{pq}}}}{{{{\left( {{\mu _{00}}} \right)}^\gamma }}} 。$ (11)

式中: $ {\mu _{pq}} $ 为物体对不同波长光线检测的像素透射强度, $ {\mu _{00}} $ 为颜色恢复的多尺度信息分量, $ \gamma $ 为不同波长光学的反射参数。

采用HSV色彩空间匹配,得到船舶航行障碍物特征点分布的直方图表示为:

$J(x,y) = \left\{ {\begin{array}{*{20}{l}} {\displaystyle \frac{{\displaystyle\sum\nolimits_{k = - s}^{ + s} {\left| {\theta _m^{ij}(x + k,y + k) - \theta _n^{ij}(x + k,y + k)} \right|} }}{{{{(2s + 1)}^2}}}} , &{m \ne n}, \\ 0 , &{m = n} 。\end{array}} \right.$ (12)

式中:mn为融入物体表面信息的反特征点编号,ij为反射分量为物体行列编号, $ s $ 为频域的高斯滤波系数, $ k $ 为平滑滤波系数, $ \theta _m^{ij} $ 为太气散射系数, $ \theta _n^{ij} $ 为海洋环境散射系数。

综上,提取图像的差异性和突变性特征点,根据特征点的分布情况采用视觉跟踪识别方法实现对船舶航行障碍物识别。

3 测试结果与分析

对船舶航行障碍物检测仿真采用VC软件设计,设定障碍物分布的局部窗口大小为12×12,对船舶红外图像采集的透射率为0.13,高斯核 $\sigma $ 为9,障碍物的分布坐标及动态匹配参数分布见表1

表 1 船舶航行障碍物分布参数 Tab.1 Distribution parameters of ship navigation obstacles

在仿真参数设定的基础上,进行航行障碍物识别仿真,得到原始的船舶航行红外图像如图3所示。

图 3 障碍物识别的原始图像 Fig. 3 Original image of obstacle recognition

采用本文方法进行障碍物识别,得到识别结果如图4所示。分析可知,本文方法能有效实现对船舶航行障碍物识别,识别过程的动态跟踪能力较好。

图 4 障碍物识别结果 Fig. 4 Obstacle identification results

障碍物识别精度对比如表2所示。分析可知,本文方法识别可靠性和精度较高。

表 2 船舶航行障碍物识别精度对比 Tab.2 Comparison of identification accuracy of navigation obstacles on ships
4 结 语

通过采集船舶航行障碍物动态参数,结合海洋环境特征分析和红外视觉跟踪识别的方法,提取船舶航行障碍物的分布特征点,本文提出基于图像分块特征匹配和视觉跟踪识别的船舶航行障碍物识别技术。提取图像的差异性和突变性特征点,根据特征点的分布情况采用视觉跟踪识别方法实现对船舶航行障碍物识别。分析可知,本文方法对障碍物的检测识别能力较好。

参考文献
[1]
李蒙蒙, 邵良志, 崔文超, 等. Fisher-Tippet分布拟合的超声图像联合双边滤波方法[J]. 计算机工程与应用, 2020, 56(9): 221–227.
LI Mengmeng, SHAO Liangzhi, CUI Wenchao, et al. Ultrasonic image joint Bilateral filter method based on Fisher tippet distribution fitting [J]. Computer Engineering and Applications, 2020, 56 (9): 221–227.
[2]
史文旭, 鲍佳慧, 姚宇. 基于深度学习的遥感图像目标检测与识别[J]. 计算机应用, 2020, 40(12): 3558–3562.
SHI Wenxu, BAO Jiahui, YAO Yu. Remote sensing image object detection and recognition based on deep learning [J]. Computer Applications, 2020, 40 (12): 3558–3562
[3]
田峰, 李虎. 联合星载光学与SAR图像的城市大面积建筑物高度快速提取[J]. 测绘学报, 2017, 46(7): 891–899.
TIAN Feng, LI Hu. Rapid extraction of urban large area building height based on the combination of spaceborne optics and sar images [J]. Journal of Surveying and Mapping, 2017, 46 (7): 891–899.
[4]
MARINO A, SUGIMOTO M, OUCHI K. et al. Validating a notch filter for detection of targets at sea with ALOS-PALSAR data: Tokyo Bay[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(12): 74907-74918.
[5]
PELICH R, LONGÉPÉ N, MERCIER G, et al. AIS-based evaluation of target detectors and SAR sensors characteristics for maritime surveillance[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(8): 3892-3901. DOI:10.1109/JSTARS.2014.2319195