0 引　言

复杂开放水域具有独特且多变的自然环境特征，船舶航行在复杂开放水域中时，受海洋自然环境和暗礁、其他船舶等因素干扰，发生海上安全事故概率显著增加^{[1 - 2]}。为保证航行安全，众多学者针对船舶避障航迹规划展开研究。

谭智坤等^[3]提出改进动态窗口法的船舶路径规划方法，该方法考虑无人船运动学约束生成可行速度矢量窗口，速度障碍法构建区域筛选安全速度，通过综合评价函数评估安全矢量，选最优指令调整航向与速度，依环境更新窗口与区域，实现自适应避障航迹规划。但该方法综合评价函数权重依赖人工经验设定，在不同水域环境（如狭水道、桥区）下泛化能力弱，易导致避障保守或效率失衡，导致其船舶航迹规划效果不佳。

周寅飞等^[4]提出无人船自主航行航线规划方法，该方法先依据无人船状态、约束及障碍物信息动态确定最大可航窗口序列，限定安全运动范围；再以窗口为约束构建贝塞尔曲线生成平滑航线；航行中实时更新窗口、调整曲线参数优化航线，实现复杂水域自适应避障航迹规划。但该方法实时更新最大可航窗口需高频处理环境数据，复杂场景下计算量激增，会导致实时性下降。

刘文博等^[5]提出船舶航线的混合规划方法，该方法结合海图、气象及船舶能力生成参考航线，然后对每条参考航向适应性进行评估，选择适应性数值最高的航行作为最终规划后的航线。但该方法仅基于静态海图、气象数据生成参考航线，未考虑实时变化的海况易导致规划航线与实际环境脱节。

本文为实时感知船舶周围环境信息，结合强大的计算能力和智能算法，实现船舶航行的自动化、智能化决策和控制。提出复杂开放水域中船舶避障航迹自适应规划方法通过研究复杂开放水域中船舶避障航迹自适应规划方法，使船舶根据实时获取的环境信息和自身状态，自动规划出最优或次优的避障航迹，并实时调整航向和航速，以适应不断变化的环境条件，保证海上航行安全。

1 船舶避障航迹自适应规划 1.1 复杂开放水域中动态障碍物跟踪

复杂开放水域的环境复杂多变，包括气象、海况、交通流量等因素的影响。其他船舶的运动受到这些环境因素的干扰，其航行轨迹也具有不确定性。将其作为动态障碍物考虑^[6]，能够使船舶的避障航迹规划更好地适应这种复杂多变的环境，提高规划的灵活性和适应性。

假设船舶在二维平面内的运动状态为匀速运动，则其状态向量表达式如下：

$ x=\left[\begin{array}{*{20}{c}}x & y & v_x & v_y & c_x & c_y\end{array}\right]^{\mathrm{T}}。$

(1)

式中：$ (x,y) $为全局坐标系下动态障碍物的位置；$ {v_x} $、$ {v_y} $为动态障碍物沿着对应方向运动速度；$ {c_x} $、$ {c_y} $为动态障碍物沿着对应方向运动加速度。

依据式(1)，构建动态障碍物状态转移方程，表达式如下：

$ {x_{k + 1}} = F{x_k} + {w_k} 。$

(2)

式中：$ {w_k} $为动态障碍物状态转移的过程噪声；$ F $为状态转移矩阵，其表达式如下：

$ F = \left[ {\begin{array}{*{20}{c}} 1&0&{\Delta t}&0&{0.5\Delta {t^2}}&0 \\ 0&1&0&{\Delta t}&0&{0.5\Delta {t^2}} \\ 0&0&1&0&{\Delta t}&0 \\ 0&0&0&1&0&{\Delta t} \\ 0&0&0&0&1&0 \\ 0&0&0&0&0&1 \end{array}} \right]。$

(3)

式中：$ \Delta t $为时间变量。

依据船舶雷达提供的动态障碍物坐标，获得动态障碍物级坐标下第$ k $个观测值$ {\Phi _k} $，计算式如下：

$ {z_k} = {\left[ {\begin{array}{*{20}{c}} {{\mathchar'26\mkern-10mu\lambda _k}}&{{\theta _k}} \end{array}} \right]^\mathrm{T} }。$

(4)

式中：$ {\mathchar'26\mkern-10mu\lambda _k} $为动态障碍物与本船舶的距离；$ {\theta _k} $为动态障碍与本船舶的相对方位角。

以$ \psi $船舶航向角作为基础数据，在式(4)基础上构建动态障碍物观测方程$ z $，表达式如下：

$ \Phi = \left[ {\begin{array}{*{20}{c}} {\sqrt {{{(y - {y_s})}^2}} + \sqrt {{{(y - {y_s})}^2}} } \\ {\arctan 2(y - {y_s},x - {x_s}) - \dot \psi } \end{array}} \right]。$

(5)

式中：$ ({x_s},{y_s}) $为本船舶在极坐标系内的坐标。

通过式(2)的动态障碍物状态转移方程不断更新式(5)即可实现复杂开放水域中动态障碍物的自适应跟踪，依据该跟踪结果，对复杂开放水域中的船舶避障航迹进行自适应规划。

1.2 基于强化学习的船舶避障航迹自适应规划

在复杂开放水域中，可能存在多个动态障碍物，它们之间的运动可能会相互影响，导致新的碰撞风险。强化学习算法可以根据实时的环境信息和船舶状态，自动调整避障航迹规划策略，以适应不断变化的环境，实现船舶的自主避障和航迹规划。因此，经过在获得复杂开放水域内动态障碍物跟踪结果后，使用强化学习算法实现船舶避障航迹自适应规划，其详细实现过程如下：

1）复杂开放水域环境模型构建

使用python软件，按照当前船舶位置和1.2小节跟踪的动态障碍物跟踪结果，以及船舶GPS提供的岛礁障碍物位置，将其映射到一个二维坐标系内^[7]，得到复杂开放水域中船舶与障碍物的环境模型。

2）船舶动作空间表示

考虑船舶横荡、纵荡和艏摇三自由度，船舶的非线性运动函数可以表示为：

$ \left\{ {\begin{aligned} &{\dot u = \dfrac{{{W_{{\rm{prop}}}} + {W_{{\rm{drag}}}}}}{m}}，\\ &{\dot v = \dfrac{{{I_{{\rm{lift}}}} + {I_{{\rm{drag}}}}}}{m}}，\\ &{\dot \psi = \dfrac{{{\Gamma _{{\rm{rudder}}}} + {\Gamma _{{\rm{drag}}}}}}{{{I_z}}}}。\end{aligned}} \right. $

(6)

式中：$ u $、$ v $分别为船舶纵向、横向航行速度；$ {I_z} $为船舶绕$ z $轴（垂直轴）的转动惯量；$ m $为船舶质量；$ {W_{{\rm{prop}}}} $为推进器产生的纵向推力；$ {W_{{\rm{drag}}}} $为船舶航行纵向阻力；$ {I_{{\rm{lift}}}} $、$ {I_{{\rm{drag}}}} $为横向升力和阻力；$ {{{\Gamma}} _{{\rm{rudder}}}} $、$ {{{\Gamma}} _{{\rm{drag}}}} $为舵产生的控制力矩和阻力产生的干扰力矩。

船舶航行运动的约束条件如下：

舵角限制为$ \iota \in [ - {\iota _{\max }},{\iota _{\max }}] $，航速限制为$ v \in [{v_{\min }}, {v_{\max }}] $，转向半径约束为$ R \geqslant {R_{\min }} = \dfrac{v}{{|r{|_{\max }}}} $，其中，$ r $为船舶艏摇角速度；$ R $为转向半径；$ {R_{\min }} $为最小转向半径。

此时以船舶质点作为中心，将船舶动作空间分为上、下、左、右、上左45°、下左45°、上右45°和下右45°一共8个离散动作，则船舶动作空间模型表达式如下：

$ A = \left[ {\begin{array}{*{20}{c}} { - 1,1}&{0,1}&{1,1}&{ - 1,0}&{1,0} \\ { - 1, - 1}&{0, - 1}&{1, - 1}&{}&{} \end{array}} \right]。$

(7)

式中：$ A $为船舶动作空间。

3）构建强化学习激励函数

使用强化学习对船舶避障航迹进行自适应规划时，激励函数起到评价船舶航行行为有效性和避障安全性的作用。船舶在复杂开放水域中船舶更接近航行目标点时，其激励函数选择奖赏，而更接近障碍物时，则选择惩罚，此时强化学习的目标激励函数表达式如下：

$ {\zeta _d} = - {\lambda _d}\left[ {\sqrt {{{(x - {x_g})}^2}} + \sqrt {{{(y - {y_g})}^2}} } \right]。$

(8)

式中：$ {\zeta _d} $为与接近目标点相关的激励值；$ {\lambda _d} $为考虑船舶航行目标的航迹自适应规划权重系数，用于调节激励的强度；$ ({x_g},{y_g}) $为目标点在平面坐标系中的横、纵坐标。

为实现复杂开放水域中船舶避障，考虑其航行安全性，将复杂开放水域环境模型区域内划分$ N $个状态空间，其中包括安全区和障碍物区，当船舶接近安全区时，选择对其进行奖励，当船舶接近障碍物区时，选择对其进行惩罚，则考虑船舶航行安全性的激励函数表达式如下：

$ {\zeta _c} = - {\lambda _c}\sum\limits_{i = 1}^{{N_0}} {\left( {\sqrt {{{(x - {x_{{o_i}}})}^2}} + \sqrt {{{(y - {y_{{o_i}}})}^2}} < {Z_0}} \right)}。$

(9)

式中：$ {\lambda _c} $为考虑障碍物航迹自适应规划权重；$ {\zeta _c} $为与接近障碍物相关的激励值；$ {N_0} $为当前复杂开放水域中船舶航行障碍物数量；$ ({x_{{o_i}}},{y_{{o_i}}}) $为第$ i $个障碍物坐标；$ {Z_0} $为安全距离阈值，用于判断船舶与障碍物的接近程度。

在强化学习过程中，复杂开放水域环境状态和当前船舶状态均不断变化^[8]，但船舶航行的动作是一个连续的动作，因此，对式(8)、式(9)的激励函数进行泛化处理，得到自适应非线性分段函数，其表达式如下：

$ \zeta=\left\{\begin{aligned} & 10，\delta_g(t)=0，\\ & 2，\; \; \chi=1\text{ }\mathrm{and\text{ }}(\delta_g(t)-\delta_g(t-1)) < 0，\\ & -1，\chi=0，\\ & -1，\chi=1\text{ }\mathrm{and}\text{ }(\delta_o(t)-\delta_o(t-1)) < 0，\\ & 0，\; \; \mathrm{other}。\end{aligned}\right. $

(10)

式中：$ R $为自适应非线性分段函数；$ t $为时刻；$ \chi $为当前船舶状态，该数值为0时表示船舶发生碰撞，该数值为1时，表示船舶安全航行；$ {\delta _o}(t) $为时刻是$ t $时船舶距离障碍物距离；$ {\delta _g}(t) $为时刻是$ t $时船舶距离目标位置距离。

4）动作选择策略

强化学习算法对船舶臂长航迹自适应规划时，在复杂开放水域环境模型内展开搜索，当搜索行为使船舶动作得到奖赏期望最大时，则选择该动作，该动作被选择的概率由$ 1 - \phi + \phi \times \dfrac{1}{{\left| {A(\chi )} \right|}} $表示，船舶选择其他动作的概率由$ \phi \times \dfrac{1}{{\left| {A(\chi )} \right|}} $表示，其中$ \phi $表示1个介于0～1的参数，用于平衡“探索”与“利用”，$ A(\chi ) $表示船舶动作空间状态$ \chi $下可用动作的数量，则复杂开放水域中船舶避障航迹自适应规划的动作选择策略表达式如下：

$ {\text{π}} (a|\chi ) \leftarrow \left\{ \begin{gathered} 1 - \phi + \phi \times \frac{1}{{\left| {A(\chi )} \right|}}a = \arg {{\max }_a}Q(\chi ,a)，\\ \phi \times \frac{1}{{\left| {A(\chi )} \right|}}，\mathop {}\limits^{} \mathop {}\limits^{} \mathop {}\limits^{} \mathop {}\limits^{} \mathop {}\limits^{} \mathop {}\limits^{} \mathrm{other}。\\ \end{gathered} \right. $

(11)

式中：$ {\text{π}} (a|\chi ) $为船舶状态$ \chi $下选择动作$ a $的条件概率；$ \arg {\max _a}Q(\chi ,a) $为在状态$ \chi $下，使动作值函数$ Q(\chi ,a) $取得最大值的动作$ a $，即当前认为的最优动作。

在式(11)基础上，复杂开放水域中船舶避障航迹自适应规划表达式如下：

$ {Q^{\text{π}} }(\chi ,a) = {O_{{p^{\text{π}} }(t)}}[\beta (t)\mid {\chi _1} = \chi ,{a_1} = a]。$

(12)

式中：$ {Q^{\text{π}} }(\chi ,a) $为在策略$ {\text{π}} $下，船舶处于状态$ \chi $并执行动作$ a $时的值函数；$ \chi $为初始时刻的状态$ {\chi _1} $取当前状态；$ a $为初始时刻，在状态$ {\chi _1} $下执行的动作$ {a_1} $；$ {O_{{p^{\text{π}} }(t)}} $为数学期望；$ \beta (t) $为累积回报。

利用式(12)在复杂开放水域环境模型内进行动作搜索，以其最高值作为动作选择点，进而获得从船舶当前位置到目标位置的避障航迹，由此实现复杂开放水域中船舶避障航迹自适应规划。

2 实验分析

以西南海域内航行船舶作为实验对象。该海域是国际航运要道，承担全球海上贸易运输量的1/3，航行船舶较多，每条航线均较为繁忙，同时该海域内暗礁分布范围广泛，暗礁密集区域洋流方向混乱且海浪较急，部分地区在卫星导航内未标记自然障碍物，因此该海域发生碰撞、触角安全事故较多。在此应用本文方法对该海域内航行船舶进行避障航迹自适应规划，以降低该海域船舶航行安全风险。

构建船舶运动状态模型能够获取船舶基础航行状态数据，其是后续该船舶在复杂开放水域中避障航迹自适应规划的基础，以航行中的船舶作为实验对象，使用本文构建的船舶运动状态模型获得该船舶在一段时间内的航向角数据，分析本文方法构建船舶运动状态模型能力，测试结果如表1所示。

分析表1可知，本文方法通过构建船舶运动状态模型获取的船舶航向角数据，与船舶GPS设备提供的航向角数值高度吻合，在第50 min时，本文获取的船舶航向角为79.8°，该数值仅与GPS设备提供的航向角数值相差0.1°，在上述实验过程中，本文方法获得的船舶航向角数据最大偏差仅为0.2°，该偏差数值较小，说明本文方法构建的船舶运动状态模型较为精准，其获得的船舶运动数据能够为后续复杂开放水域中船舶避障航迹自适应规划提供基础。

船舶在复杂开放水域中航行时，需要及时躲避动态障碍物，在此将该水域内船舶A作为跟踪对象。使用本文方法对其进行自适应跟踪，跟踪结果如图1所示。

分析图1可知，本文方法对动态障碍物进行跟踪时，从其初始位置开始，能够在间隔一定时间内获得该动态障碍物在二维水域平面内的坐标，通过该坐标变化，实现动态障碍物的自适应跟踪，从该跟踪结果中能获得当前动态障碍物的位置，为当前船舶避障航迹自适应规划提供障碍物状态。

以某船舶作为实验对象，使用本文方法对其进行避障航迹自适应规划，规划后的航迹结果如图2所示。

可知，该船舶航行的水域内存在岛礁、暗礁静态障碍物区域，和其他船舶航行动态障碍物区域，利用本文方法对该船舶进行避障航迹自适应规划后，得到的船舶航行航迹精准避开了静态障碍物区域和动态障碍物区域，该结果表明本文方法具备对复杂环境中静态与动态障碍的跟踪与分析能力，可根据环境变化自适应调整航迹，避免碰撞风险，同时规划航线从起始点至目标地的连贯延伸，体现了方法在动态变化水域中持续优化路径的特性，保障船舶安全、高效地抵达目标地。

以8艘船舶作为实验对象，使用本文方法对其避障航迹进行自适应规划，以规划后船舶航线的路径平滑度作为衡量指标，分析本文方法对船舶避障航迹自适应规划能力，测试结果如图3所示。

可知，本文方法对不同船舶进行避障航迹自适应规划后，其航线的路径平滑度在0.8～0.9，路径平滑度数值较高说明自适应规划的航线转折自然，无剧烈转向，既保障航行安全，又提升操作效率。上述结果表明：本文方法在复杂水域中，既能有效规避障碍，又能通过实时自适应调整，确保航线流畅连贯，避免频繁大幅转向，能够切实保障船舶在避障过程中安全、高效地驶向目标，充分验证了本文方法在船舶避障航迹自适应规划中的卓越能力。

3 结　语

本文提出复杂开放水域船舶避障航迹自适应规划方法，在该方法内使用强化学习算法实现船舶避障航迹自适应规划。对本文方法进行实际验证后，从验证结果中得到本文方法对动态障碍物跟踪能力较强，规划航迹能避开动静障碍且平滑度高，提升了复杂水域船舶航行安全性与效率。但方法在极端海况等复杂场景的适应性或可进一步优化。该研究为航运智能化转型提供支撑，未来可探索与更多先进技术融合，以适应更复杂的航行环境。