在船舶航行过程中,受到海洋环境和天气等因素的影响,需要对航行过程中的障碍物进行有效识别,通过航行路径规划和避障设计,结合图像动态视觉跟踪识别方法,实现对船舶航行过程中的动态分析,提高船舶航行过程的稳定性和可靠性。研究船舶航行障碍物识别方法建立在对红外图像特征分析基础上,通过采集船舶航行障碍物动态参数[1],结合海洋环境特征分析和红外视觉跟踪识别的方法,提取船舶航行障碍物的分布特征点,采用分块和分组区域映射的方法实现对船舶航行障碍物识别。
目前,对船舶航行障碍物识别的方法主要有基于红外光谱特征分析的船舶航行障碍物识别方法、基于灰度不变矩特征分析的障碍物识别和路径规划方法以及不规则三角网分割的船舶航行障碍物识别方法等[2-3]。Marino A等[4]中提出基于可见光与红外图像并行控制的船舶航行障碍物识别方法,结合物体辐射的红外特征点差异性进行航行避障控制,但该方法的计算实时性不好。Pelich R等[5]提出基于层次对象模型化视觉帧匹配的船舶航行障碍物识别和避障路径规划技术,通过不同的场景参数融合,结合障碍物的空间分布规划性进行障碍物识别,但该方法的收敛性不好。
针对以上方法存在的不足,本文提出基于图像分块特征匹配和视觉跟踪识别的船舶航行障碍物识别技术,通过仿真测试验证了本文方法在提高船舶航行障碍物识别能力方面的优越性能。
1 船舶航行红外图像采集和特征提取 1.1 船舶航行红外图像采集采用红外传感成像技术进行图像采集,对采集的船舶航行障碍物红外图像进行体元数据融合,通过多尺度变换和图像区域划分的方法,进行船舶航行障碍物的视觉特征分析,提取图像的显著性区域或目标,进行航行障碍物跟踪识别,船舶航行红外图像采集的结构图如图1所示。
假设显著性分析的图像融分布域为
$ \begin{split} {E^{cv}}({c_1},{c_2}) =& \mu \cdot Length(C) + \nu \cdot Area(inside(C)) +\\ &{\lambda _1}{\int_{inside(C)} {\left| {I - {c_1}} \right|} ^2}{\rm{d}}x{\rm{d}}y +\\ & {\lambda _2}{\int_{outside(C)} {\left| {I - {c_2}} \right|} ^2}{\rm{d}}x{\rm{d}}y 。\end{split} $ | (1) |
式中:
选择合适的特征,在闭合曲线
$ \begin{split} {E^{cv}}({c_1},{c_2}) =& \mu \int_\varOmega {\delta (\phi (x,y))\left| {\nabla \phi (x,y)} \right|} {\rm{d}}x{\rm{d}}y +\\ &{\lambda _1}{\int_\varOmega {\left| {I - {c_1}} \right|} ^2}H(\phi (x,y)){\rm{d}}x{\rm{d}}y +\\ &{\lambda _2}{\int_\varOmega {\left| {I - {c_2}} \right|} ^2}(1 - H(\phi (x,y))){\rm{d}}x{\rm{d}}y ,\end{split} $ | (2) |
式中,
由此,构建了图像采集模型,采用点跟踪匹配和动态帧点检测的方法进行船舶航行障碍物识别的红外图像信息采集,根据图像采集结果,结合图像配准和边缘信息分布式融合的方法进行船舶航行障碍物识别。
1.2 图像特征提取采用光和近红外图像联合识别的方法进行障碍物识别和特征提取,构建深度学习模型,在提取到的特征之间建立对应关系,得到船舶航行障碍物特征分布点集中的点之间映射关系,表示如下:
$ \begin{split} {E^{LBF}}&(\phi ,{f_1},{f_2}) = \mu \int {\frac{1}{2}{{\left( {\left| {\nabla \phi } \right| - 1} \right)}^2}} {\rm{d}}x + v \cdot Length(C) +\\ &{\lambda _1}\int {\left[ {\int {{K_\sigma }(x - y){{\left| {I - {f_1}(x)} \right|}^2}H(\phi ){\rm{d}}y} } \right]{\rm{d}}x} +\\ &{\lambda _2}\int {\left[ {\int {{K_\sigma }(x - y){{\left| {I - {f_2}(x)} \right|}^2}\left( {1 - H(\phi ){\rm{d}}y} \right)} } \right]{\rm{d}}x} 。\end{split} $ | (3) |
式中:
对有可能的对应点障碍物集合水平集构建水平约束特征项,其中第一项是用来保持船舶航行红外图像水平集在演化特征量,第二项是船舶航行红外图像中障碍物的长度约束项,第三项和第四项为局部二值拟合项,基于几何约束的估计算得到障碍物的动态分配函数f1(x)和f2(x),在轮廓区域外,得到模型函数f1(x)和f2(x)随空域变化,采用重采样获取无异常值来确定障碍物分布,障碍物动态检测的能量函数为:
$ E = \theta {E^{LBF}} + (1 - \theta ){E^{LGF}} + vL\left( \phi \right) + \mu P\left( \phi \right) 。$ | (4) |
式中:
$ L\left( \phi \right){\text{ = }}\int_\Omega {\delta (\phi )\left| {\nabla \phi } \right|} {\rm{d}}x ,$ | (5) |
式中,
根据传递的信息熵分布,采用融合图F的边缘直方图作为特征分配点,得到结构相似性指标分布集为:
$ P\left( \phi \right){\text{ = }}\int {\frac{1}{2}{{\left( {\left| {\nabla \phi } \right| - 1} \right)}^2}} {\rm{d}}x。$ | (6) |
式中:
根据变分法和Euler-Lagrange方程,得到原图及融合图的像素分配函数。
根据上述分析,对采集的船舶航行障碍物红外视觉图像进行区域组合检测和融合处理。
2 船舶航行障碍物识别 2.1 图像分块特征匹配在对采集的船舶航行障碍物红外视觉图像进行区域组合检测和融合处理的基础上,采用边缘信息保留的方法,得到航行障碍物分布的Heaviside函数和规则化的Dirac函数,具体如下:
$ {H_\varepsilon }(z) = \frac{1}{2}\left[ {1 + \frac{2}{\pi }\arctan \left( {\frac{z}{\varepsilon }} \right)} \right] ,$ | (7) |
$ {\delta _\varepsilon }\left( z \right) = \frac{1}{\pi } \cdot \frac{\varepsilon }{{{\varepsilon ^2} + {z^2}}},z \in R 。$ | (8) |
固定式(3)能量泛函中的
$ \left\{ \begin{gathered} {f_1}\left( x \right) = \frac{{{K_\sigma }\left( x \right)\cdot\left[ {{H_\varepsilon }\left( {\phi \left( x \right)} \right)I\left( x \right)} \right]}}{{{K_\sigma }\left( x \right)\cdot{H_\varepsilon }\left( {\phi \left( x \right)} \right)}} ,\\ {f_2}\left( x \right) = \frac{{{K_\sigma }\left( x \right)\cdot\left[ {\left( {1 - {H_\varepsilon }\left( {\phi \left( x \right)} \right)} \right)I\left( x \right)} \right]}}{{{K_\sigma }\left( x \right)\cdot\left( {1 - {H_\varepsilon }\left( {\phi \left( x \right)} \right)} \right)}} 。\\ \end{gathered} \right. $ | (9) |
$ \left\{ \begin{gathered} f_1^G = \frac{{{K_\sigma }\left( x \right)\cdot\left[ {{H_\varepsilon }\left( {\phi \left( x \right)} \right){I^G}(x)} \right]}}{{{K_\sigma }\left( x \right)\cdot{H_\varepsilon }\left( {\phi \left( x \right)} \right)}} ,\\ f_2^G = \frac{{{K_\sigma }\left( x \right)\cdot\left[ {\left( {1 - {H_\varepsilon }\left( {\phi \left( x \right)} \right)} \right){I^G}(x)} \right]}}{{{K_\sigma }\left( x \right)\cdot\left( {1 - {H_\varepsilon }\left( {\phi \left( x \right)} \right)} \right)}} 。\\ \end{gathered} \right. $ | (10) |
基于图像梯度的评价指标分析方法,在轮廓曲线演化分析障碍物的真实边界点,实现纹理细节信息匹配,采用图2所示的多模型拼接方法。
构建融合图像中的峰值匹配模型,通过对目标障碍物特定波长的红、绿、蓝三原色分析,得到障碍物检测的中心距:
$ \Pi (\alpha ,\beta ) = \frac{{{\mu _{pq}}}}{{{{\left( {{\mu _{00}}} \right)}^\gamma }}} 。$ | (11) |
式中:
采用HSV色彩空间匹配,得到船舶航行障碍物特征点分布的直方图表示为:
$J(x,y) = \left\{ {\begin{array}{*{20}{l}} {\displaystyle \frac{{\displaystyle\sum\nolimits_{k = - s}^{ + s} {\left| {\theta _m^{ij}(x + k,y + k) - \theta _n^{ij}(x + k,y + k)} \right|} }}{{{{(2s + 1)}^2}}}} , &{m \ne n}, \\ 0 , &{m = n} 。\end{array}} \right.$ | (12) |
式中:m和n为融入物体表面信息的反特征点编号,i和j为反射分量为物体行列编号,
综上,提取图像的差异性和突变性特征点,根据特征点的分布情况采用视觉跟踪识别方法实现对船舶航行障碍物识别。
3 测试结果与分析对船舶航行障碍物检测仿真采用VC软件设计,设定障碍物分布的局部窗口大小为12×12,对船舶红外图像采集的透射率为0.13,高斯核
在仿真参数设定的基础上,进行航行障碍物识别仿真,得到原始的船舶航行红外图像如图3所示。
采用本文方法进行障碍物识别,得到识别结果如图4所示。分析可知,本文方法能有效实现对船舶航行障碍物识别,识别过程的动态跟踪能力较好。
障碍物识别精度对比如表2所示。分析可知,本文方法识别可靠性和精度较高。
通过采集船舶航行障碍物动态参数,结合海洋环境特征分析和红外视觉跟踪识别的方法,提取船舶航行障碍物的分布特征点,本文提出基于图像分块特征匹配和视觉跟踪识别的船舶航行障碍物识别技术。提取图像的差异性和突变性特征点,根据特征点的分布情况采用视觉跟踪识别方法实现对船舶航行障碍物识别。分析可知,本文方法对障碍物的检测识别能力较好。
[1] |
李蒙蒙, 邵良志, 崔文超, 等. Fisher-Tippet分布拟合的超声图像联合双边滤波方法[J]. 计算机工程与应用, 2020, 56(9): 221–227. LI Mengmeng, SHAO Liangzhi, CUI Wenchao, et al. Ultrasonic image joint Bilateral filter method based on Fisher tippet distribution fitting [J]. Computer Engineering and Applications, 2020, 56 (9): 221–227. |
[2] |
史文旭, 鲍佳慧, 姚宇. 基于深度学习的遥感图像目标检测与识别[J]. 计算机应用, 2020, 40(12): 3558–3562. SHI Wenxu, BAO Jiahui, YAO Yu. Remote sensing image object detection and recognition based on deep learning [J]. Computer Applications, 2020, 40 (12): 3558–3562 |
[3] |
田峰, 李虎. 联合星载光学与SAR图像的城市大面积建筑物高度快速提取[J]. 测绘学报, 2017, 46(7): 891–899. TIAN Feng, LI Hu. Rapid extraction of urban large area building height based on the combination of spaceborne optics and sar images [J]. Journal of Surveying and Mapping, 2017, 46 (7): 891–899. |
[4] |
MARINO A, SUGIMOTO M, OUCHI K. et al. Validating a notch filter for detection of targets at sea with ALOS-PALSAR data: Tokyo Bay[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(12): 74907-74918. |
[5] |
PELICH R, LONGÉPÉ N, MERCIER G, et al. AIS-based evaluation of target detectors and SAR sensors characteristics for maritime surveillance[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(8): 3892-3901. DOI:10.1109/JSTARS.2014.2319195 |