近些年来，智能网联汽车(intelligent connected vehicles，ICVs)的快速发展很大程度上影响着智能交通系统的发展。这种高度自动化的车辆，通过集成先进的传感器、控制系统及通信技术，能够实现与其他车辆(vehicle-to-vehicle, V2V)、基础设施(vehicle-to-infrastructure, V2I)以及行人等道路使用者之间的信息交换和协同操作^[1]。通过获取交通信息、环境信息，可以保障车辆于城市中的高效通行，减少交通堵塞与交通事故的发生。而复杂的城市道路环境中快速变化的环境与交通信息，将对智能车辆路径规划提出更高要求。针对车辆的路径规划问题，已有不少学者展开了探索^[1-5]，传统的路径规划算法主要有A*算法^[6-10]、RRT(rapidly exploring random tree)算法^[11-13]、蚁群算法^[14-17]、粒子群优化算法(particle swarm optimization, PSO)^[18-20]等。而针对交通信息的特点，这类算法难以适用于变量较多的非结构化环境。因此，针对多变的交通环境，设计符合实际约束的智能网联汽车路径规划方法亟待探究。

随着机器学习算法的发展，强化学习逐渐被用于解决智能车辆路径规划问题。但现实生活中车辆处于一个连续空间，并且利用传感器采集的数据往往是高维信息，难以用简单的表格形式表示。沿着这个思路，Sutton等^[21]采用参数化函数作为Q值函数的逼近器，有效缓解了传统表格法面临的状态空间爆炸问题。但需针对特定环境类型定制化设计函数架构参数，普适性较弱。Mnih等^[22-23]提出了结合深度神经网络与强化学习的深度Q网络算法(deep Q-network，DQN)，能够直接从高维感知输入(如屏幕图像)中学习策略，通过随机采样和存储过去的交互经验来提高学习的稳定性；夏雨奇等^[24]采用经验分类的方法，提出了基于经验分类的 DQN(sorted replay memory DQN, SRMDQN)，将探索获得的经验分类储存，通过使用现有的有限存储空间和计算量提升神经网络训练效率；李宗刚等^[25]提出一种角度搜索(angle searching)和DQN相结合的算法(AS-DQN)，通过规划搜索域，控制搜索方向，减少栅格节点的遍历，提高路径规划的效率。

尽管基于深度强化学习的路径规划算法在智能网联汽车领域展现出显著优势，但在实际非结构化场景部署中仍面临多重挑战，在复杂动态交通环境下的应用常存在以下几个问题：

1)智能网联汽车在复杂多变的交通环境中，需通过多模态传感器阵列实时捕获多源异构数据流，同时受限于毫秒级实时响应窗口，对路径规划算法的计算效率与决策可靠性提出严苛要求。

2)现有算法的学习速度仍有提升空间，且因地图的差异导致需要重新进行训练，其迁移性和普适性较差。

3)避障极限距离会随着车辆种类与环境的不同而发生改变，现有的研究工作大多只针对某一类型环境进行相应约束，泛化能力不强。

综上，为解决现有算法学习速度慢且泛化性不足的问题，本文提出了一种结合注意力机制的改进深度Q网络的智能网联车路径规划方法。该方法可在非结构化场景中，进行探索和学习，最终根据不同的需求规划出从任意起点到目标点的有效路径，同时所获得的数据能够应用于不同地图环境。

1.   智能网联汽车模型及算法设计

1.1   车辆运动模型

在实际情况中，车辆的运动学模型可以通过单车模型进行有效模拟^[26]。单车模型能够简化车辆的动力学特性，将车辆的运动视为一个整体，从而在路径规划和控制策略中提供足够的精度和效率。其模型构建基于以下假设：

1)忽略车辆垂直方向的运动，视为一个二维平面上的运动物体，不考虑车辆在z轴的位移；

2)车辆的前轮作为转向轮并作为直接输入；

3)车辆的转向轮有相同的转向角与转速，从动轮具有相同转速，在运动中，其状态保持一致；

4)不考虑空气动力对车辆行驶的影响。

根据上述假设，车辆的转向轮和从动轮在单独时刻内具有相同的状态，从而可以将车辆视为单车模型进行分析。单车模型如图1所示。

图  1  单车模型图

Fig.  1  Single vehicle model

下载: 全尺寸图片

在图1中C点为车辆重心，坐标为$ ({x}_{\mathrm{rb}},{y}_{\mathrm{rb}}) $；$ {l}_{\mathrm{r}}、{l}_{\mathrm{f}} $为后轮/前轮到车重心点的距离；$ {\delta }_{\mathrm{f}}、{\delta }_{\mathrm{r}} $为前后轮的转向角；A、B为单个轮子中心点；点O为车辆的瞬时旋转中心，AO、BO与转轮方向垂直，$ \beta $为车辆速度矢量与车辆纵轴夹角，滑移角；$ \psi $为车辆航向角；航迹角$ \gamma =\psi +\beta $；$ V $为车辆的线速度。

车辆模型的相关信息可表示为

式中：$ x_{\mathrm{rb}}(t)、x_{\mathrm{rb}}(t+1) $表示车辆在$ t $和$ t $+1时刻x轴方向位置，$ y_{\mathrm{rb}}(t)、y_{\mathrm{rb}}(t+1) $表示车辆在$ t $和$ t $+1时刻的y轴方向位置，$ {v}_{\mathrm{rb}}(t) $表示车辆在$ t $时刻的线速度，$ \psi (t) $表示车辆在$ t $时刻的偏航角。

1.2   车辆信息感知

智能网联汽车环境感知示意图如图2所示。

图  2  智能网联汽车环境感知示意

Fig.  2  Schematic of environmental perception of intelligent connected vehicles

下载: 全尺寸图片

图2中的障碍物包括规则和不规则障碍物，汽车能够获取目标与自身距离、方位等数据信息。汽车可以对周围的障碍物进行感知并对距离信息$ {d}_{\max } $进行反馈，感知范围内时反馈相应距离，超出感知距离时反馈$ {d}_{\max } $。在汽车与障碍物之间的距离小于安全距离$ {d}_{\mathrm{rb}} $时，表示汽车与障碍物发生碰撞，回合结束(任务失败)；在汽车与目标距离小于安全距离时，表示达到目标位置，回合结束(任务完成)。

1.3   DQN算法设计

自主智能体的学习范式可建模为马尔可夫决策过程(Markov decision processes, MDP)。本文采用五元组对马尔可夫决策过程进行表示：

其中：$ S $表示有限状态集，$ A $表示有限动作集，$ P $表示状态转移概率矩阵，$ R $表示奖励函数，$ \gamma \in \left[0,1\right] $表示折扣因子。在MDP中，任意时刻智能体的状态为$ {s}_{t}({s}_{t}\in S) $，根据所选策略$ \mathit{\Psi} $决定的动作为$ {a}_{t}({a}_{t}\in A) $，智能体的状态$ {s}_{t} $在动作执行之后根据状态转移概率矩阵$ \boldsymbol{P} $转移到$ S $，从而得到回报$ {r}_{t}({r}_{t}\in R) $。在路径规划过程中，车辆不断进行MDP直到到达目标位置。根据此决策过程可以对DQN算法结构进行搭建，其网络结构如图3所示。

图  3  DQN算法结构

Fig.  3  DQN algorithm structure

下载: 全尺寸图片

DQN算法通过定义评估网络$ Q({s}_{t},{a}_{t};{\theta }_{t}) $和目标网络$ Q({s}^{\prime},{a}^{\prime};{\theta }^{-}) $来进行智能体的决策、固定参数及更新评估网络与状态，这种方式使DQN算法更加稳定，且便于优化。

DQN算法通过训练网络来近似最优Q值函数$ {Q}^{*}(s,a) $，即对每个状态$ s $和动作$ a $，预测在当前状态下执行该动作后能够获得的期望积累奖励：

若下一个状态$ {s}_{t+1} $的所有可能动作$ {a}_{t+1} $均已知，则当前策略的优化目标为使目标函数为其选择最优的动作下取得的值：

此后使用Bellman方程，对评估网络进行迭代更新：

最终迭代收敛于最优动作价值函数。Q网络的训练通过评估网络中定义的损失函数来实现：

式中：${\mathop {{{\rm E}}}\limits_{s,a,r,s'\sim D}}$为期望值，为经验回放缓冲区D中采样的状态、动作、奖励和下一状态的期望；${y_i} = {r_i} + \gamma {\max\limits _{a'}}Q({s'_t},a';{\theta ^ - })$，为第i次迭代目标。最终得到损失函数的梯度下降公式：

更新参数$ \theta $的公式为

其中$ \alpha $是学习率，控制每次参数更新的步长。

DQN算法将智能体与环境交互获得的信息存储在经验池中

式中：$ {s}_{t} $表示智能体在$ t $时刻的状态，$ {a}_{t} $表示智能体在$ t $时刻状态下将采用的动作，$ {r}_{t} $表示智能体在$ t $时刻状态下采用动作$ {a}_{t} $后获得的回报，$ {s}_{t+1} $表示智能体在$ t+1 $时刻的状态。此后需要判断智能体在$ t $时刻之后回合是否结束。

智能体主要学习过程为从经验池D中随机抽取$ n $个样本进行学习，主网络对经验值Q进行预测，在目标网络中进行计算，获得损失，并对主网络和目标网络的权重进行更新。经验池的存在能够提高算法的稳定性，并且不限制学习方式，提高了样本的复用率。

2.   基于改进DQN的路径规划算法

针对智能车辆在非结构化动态交通场景中存在的决策响应时效性不足、策略收敛稳定性差及场景迁移鲁棒性不足等核心问题，构建了融合多模态交通特征的状态表征空间，并基于深度强化学习框架设计混合奖励机制，提出优化后的DQN算法。

2.1   状态空间和动作空间的优化

智能网联汽车从环境信息中获得车辆与目标地点的相对位置$ [{d}_{{x}},{d}_{{y}}] $、车辆的速度$ {v}_{\mathrm{rb}} $、偏航角$ \psi $。针对仿真环境中车辆模型与算法模型的泛化性与简化性，将汽车的移动速度$ {v}_{\mathrm{rb}} $设定为固定值。针对路径规划的问题，信息的输入一般为车辆当前的位置信息或车辆的网格信息，在不同的地图中可以通过相应坐标来确定位置。在优化的算法之中，前2个维度表示车辆与重点之间的位置关系用来描述车辆当前位置与目标地点的位置关系，从而规划车辆的前进方向；后6个维度表示车辆行进方向所代表的值与奖励损失值，对环境进行描述的同时，让车辆进行障碍躲避。获得的状态空间表示为

式中：$ d{{_{{x}}}}、d{{{_{{y}}}}} $表示车辆与目标地点之间x、y轴的相对距离；$ M(\cdot) $表示环境的状态函数，用于输出当前位置的状态值；$ {a}_{i} $表示车辆动作空间的动作值；$ {{p}}_{\Lambda }^{\prime} $表示采取相应动作之后车辆的位置。

智能网联汽车作为智能体，通常更倾向于在接近目标地点时选择斜向动作，而非直线运动。然而，在实际交通环境中，车辆需要遵循相应的交通规则，且变道行为的选择会影响相应路段的交通安全性，斜向动作并不适合实际情况，因此，本文对斜向动作进行限制，使车辆通过增加转弯次数不断调整位姿以接近目标地点。动作的选择使用$ \varepsilon - $贪心策略，用公式表示为

式中：Q(·)表示Q值网络，$ \theta $表示网络参数，$ s $、$ a $表示网络的输入状态与动作，$ c $为(0,1)的随机数。$ \varepsilon $常随着训练的进行逐渐减少，本文采用指数衰减，计算公式为

其中：$ \lambda $为衰减速率，控制$ \varepsilon $减少的快慢；$ f $为$ \varepsilon $的非0最小值，保证模型具有脱离局部最优的随机性；$ g $为$ \varepsilon $的最大值，常为1；$ t $为训练步数。

2.2   奖励函数的优化设计

奖励函数的设计直接影响智能体在环境中的行为选择，合理的奖励设计能够有效提升学习效率，并做出更优的决策。任务最终能否成功与奖励函数的设计密切相关。当强化学习任务难度较低时，基于任务完成情况来设计奖励函数的思路虽能完成设定的学习任务，但缺乏泛化能力。在面对复杂任务时，这种奖励设计方法通常导致学习速度缓慢，且策略空间探索易陷入局部最优陷阱的情形。

为了提升学习效率与决策的优越性，本文中提出了一种非稀疏的奖励设定，总奖励由方向奖励$ {r}_{\mathrm{vehicle}} $、避障奖励$ {r}_{\mathrm{avoidance}} $、目标奖励$ {r}_{\mathrm{target}} $、约束奖励$ {r}_{\mathrm{constraint}} $共同组成。

方向奖励$ {r}_{\mathrm{vehicle}} $的设计公式表示为

式中：$ {\lambda }_{1} $表示车辆行进方向和上一动作夹角在$ \left[0,\dfrac{\text{π} }{2}\right] $内时的系数，$ {\lambda }_{2} $表示车辆行进方向和上一动作夹角在$ \left(\dfrac{\text{π} }{2},\text{π} \right] $内时的系数，$ {\theta }_{n} $表示车辆当前行进方向与上一动作方向的夹角。该奖励表示当小车前进方向与上一动作的方向不冲突，即夹角小于90°时，获得最大奖励；当小车前进方向与上一动作的方向产生冲突时，夹角大于90°，获得负值奖励。常规情况下$ 0 \lt {\lambda }_{1} \lt {\lambda }_{2} \lt 1 $，这样的设计避免了车辆在行进过程中不能稳定避障和突然掉头产生交通隐患的情况。

避障奖励$ {r}_{\mathrm{avoidance}} $计算公式为

式中：$ {c}_{\mathrm{collision}} $表示车辆碰撞到障碍物获得的奖励，$ {R}_{\mathrm{vehicle}} $表示车辆的碰撞半径，$ {\chi }_{\mathrm{obstacle}} $表示车辆与最近障碍物之间的距离。当车辆碰撞半径小于最近障碍物之间的距离时，表示车辆发生碰撞，其他情况下获得的奖励值为$ {c}_{\mathrm{convention}} $。

目标奖励$ {r}_{\mathrm{target}} $计算公式为

式中：$ {c}_{\mathrm{target}} $表示车辆到达目标地点时获得的常数奖励，$ {R}_{\mathrm{target}} $表示目标地点半径。车辆与目标的距离$ {\chi }_{\mathrm{target}} $小于车辆碰撞半径的时候表示车辆到达目标地点，获得奖励$ {c}_{\mathrm{target}} $，其他情况下获得的奖励值为0。

约束奖励$ {r}_{\mathrm{constraint}} $计算公式为

式中：$ {\beta }_{1}、{c}_{1} $分别为车辆正向无转向情况下的相应系数与常数奖励，$ {\beta }_{2}、{c}_{2} $分别为车辆正向转向情况下的相应系数与常数奖励，$ {\beta }_{3}、{c}_{3} $分别为车辆反转行进方向情况下的相应系数与常数奖励。车辆更改转向方向时会影响自身速度，在相同距离下，更少的转弯次数使得车辆平均车速更稳定，能够更快的到达目的地。常规情况下$ 0 \lt {c}_{3} \lt {c}_{2} \lt {c}_{1} \lt 1 $，$ 0 \lt {\beta }_{1} \lt {\beta }_{2} \lt {\beta }_{3} \lt 10 $，这样的奖励设计能够减少车辆转向次数，使得车辆在避障情况下，获得更优越的结果。

最终的奖励函数计算公式为

相较于稀疏奖励回报方式，本文的奖励函数设计更加合理，并切合实际情况。其中， $ {r}_{\mathrm{vehicle}} $的设计能够减少车辆折返情况出现的次数，使得车辆更快地找到目标；$ {r}_{\mathrm{constraint}} $的设计减少车辆行为方式改变的情况，降低转向影响车辆速度的程度，缩减训练时长并提高训练成果的概率。

2.3   经验学习的优化

经典的DQN算法在处理车辆的路径规划问题时，能够将智能体在环境中的状态、动作、奖励等信息进行存储，并随机抽取提高学习效率。但在经验池中存储的数据存在不均匀的问题。在训练初期，能够到达与不能到达目标地点的经验数据数量有较大差别，同时对经验的利用率较低，容易覆盖学习过程中的优异经验，导致学习速度更加缓慢。针对此问题提出将注意力机制与经验分类结合的DQN(attention mechanism integrated experience replay deep Q-network, AMERDQN)算法，该算法将车辆于环境中探索获得的数据分类，同时结合注意力机制，对能够在约束条件下完成任务的经验数据进行存储，针对具有不同优越样本的数据进行加权处理并进行特征提取，更新相应的优越级。

侧重注意力的经验分类DQN算法经验池结构如图4所示。

图  4  经验池结构

Fig.  4  Structure of experience pool

下载: 全尺寸图片

针对总奖励值和约束奖励值，结合相应策略特征进行综合评分，计算公式为

式中：$ \omega $为动态权重，根据约束的违反次数进行动态调整；Tag为相应的策略特征，做为训练经验存储的区分标签。

在本文中，经验主要含有以下几类：1)靠近目标且避障半径没有障碍物；2)靠近目标且避障半径存在障碍物；3)远离目标且避障半径没有障碍物；4)远离目标且避障半径存在障碍物；5)完成任务且步长$ {\delta }_{\mathrm{step}}\in [0,{c}_{\mathrm{mid}}] $；6)完成任务且步长$ {\delta }_{\mathrm{step}}\in [{c}_{\mathrm{mid}},{c}_{\max }] $。

通过结合注意力机制对训练经验进行相应的评估，评估误差计算公式为

式中：$ r $为执行动作$ a $后获得的即时奖励；$ \gamma $为折扣因子$ (0\leq \gamma \leq 1) $，用于衡量未来奖励；$ {Q}_{{\mathrm{tar}}}({s}^{\prime},{a}^{\prime}) $为目标网络对下一状态$ {s}^{\prime} $的最大Q值估计；$ Q(s,a) $为主网络对当前状态−动作的Q值估计。

通过对状态−动作价值密度进行评估，来判断是否存在相似经验的，增加低密度经验的探索，保证对未充分探索区域的主动学习，评估原理计算公式为

式中：$ \mathcal{N}(s,a) $为状态−动作空间中以$ (s,a) $为中心的局部邻域；$ f $为指示函数，当$ ({s}_{i},{a}_{i}) $属于邻域时取1，否则取0；$ N $为经验池中的样本总数。通过对密度的检测判断是否需要增加采样权重，避免模型过度关注高密度区域。

针对高价值经验的优先级采样概率计算公式为

式中：$ \alpha $为温度系数，用来控制概率分布的尖锐程度，其数值越大，高评分经验的优先级越突出；$ \epsilon $为一个极小的正数，防止出现某个经验的评分非常低甚至为0时，其优先级概率不为0；$ S_i、S_j $为第$ i、j $条经验的综合评分。

相较于经典DQN算法，侧重注意力的经验分类DQN算法通过加权分类的方式，重构经验回放过程。对获取的经验数据进行分类的同时，进行评估加权，在训练神经网络时根据不同权重，抽取相应的样本数据混合后进行训练，从而提升算法的学习效率。

算法1　侧重注意力机制的经验分类DQN算法伪代码

1)初始化经验池D、经验池样本总数为N

2)随机初始化评估网络$ Q({s}_{t},{a}_{t};{\theta }_{t}) $、目标网络$ Q({s}^{\prime},{a}^{\prime};{\theta }^{-}) $

3)设置神经网络训练时抽取的样本数目$ n $

4)设置初始行走的步数$ {\delta }_{\mathrm{step}} $

5) for $ \mathrm{episode}\in[1,M] $ do

6)读取当前状态$ {s}_{t} $

7) for $ t=1,2, \cdots , T $ do

8) if $ {\delta }_{\mathrm{step}} \gt 0 $ then

9) $ a=\text { random step } $

10) $ {\delta }_{\mathrm{step}}={\delta }_{\mathrm{step}}-1 $

11) else

12)以$ \varepsilon $的概率随机选择动作

13) else

14) $ {a}_{t}=\arg \max\limits_{a}(Q({s}_{t},a;\theta )) $

15) end of

16)执行动作$ {a}_{t} $并将$ \lt {s}_{t},{a}_{t},{r}_{t},{s}_{t+1} \gt $经过分类、加权后分别存储在经验池D中相应部分

17)每走$ \delta\mathrm{_{learn}} $步随机从经验池D中选取n个样本，打乱后训练神经网络

18)根据损失函数$ {({{y}_{i}}-Q({{s}_{i}},{{a}_{i}};\theta ))}^{2} $使用梯度下降法更新相应的评估网络$ Q({{{s}}}_{t}^{\prime},{a}^{\prime};{\theta }^{-}) $

19)每学习$ {n}_{\mathrm{mid}} $步就将评估网络中的参数$ \theta $赋予目标网络$ Q(s,a;{\theta }^{\prime}) $

20) end for

21) end for

3.   仿真实验与分析

为验证算法在非结构化环境中的路径规划合理性，本文基于Python架构搭建仿真环境。在该仿真环境中，智能体能在闭环控制架构下实时生成符合物理约束的运动轨迹，并通过Bezier曲线进行路径平滑处理。本研究主要对优化后的DQN算法、DQN算法、深度确定性策略梯度(deep deterministic policy gradient, DDPG)算法和SRMDQN算法在规划结果、仿真数据参数等方面进行比较，从而验证优化后的算法在车辆路径规划问题中的可行性与优势。

3.1   实验环境搭建与参数设计

本文智能网联汽车的路径规划的仿真实验地图如图5所示。

图  5  仿真实验地图

Fig.  5  Simulation experiment map

下载: 全尺寸图片

环境中存在多个不规则形状的蓝色静态障碍物以及在限定范围内随机行动的红色动态障碍物，据此构成车辆的非结构化仿真环境；红圈为车辆的避障敏感范围，存在极限碰撞半径；绿色方框为目标地点识别范围，到达绿色方框内视为任务完成。

本次实验构建650 m×450 m的矩形区域，本文仿真环境参数设计如表1所示。

AMERDQN算法参数设计如表2所示。

其中，方向奖励参数用于衡量智能体在接近目的地时所获得的奖励，从而防止智能体在避障时出现原地转圈的现象；碰撞奖励和目标奖励的参数设置确保了系统的稳定收敛；通过合理设置折扣系数和贪婪因子，保证智能体在学习过程中能够实现探索−利用平衡；学习率、学习间隔、赋值间隔、抽取样本的数量以及经验池大小等参数共同保障Q值迭代稳定性；初始随机步数的参数设定构建初始状态−动作分布的完备性覆盖；为了防止训练陷入死循环，最大训练回合数和最大运行步数的设定确保在必要时能够及时终止当前回合的训练。

3.2   仿真实验结果与分析

根据上述车辆的物理环境参数和AMERDQN算法参数在地图中进行仿真，结果如图6所示。

图  6  DQN算法与AMERDQN算法路线对比

Fig.  6  Comparison between DQN algorithm and AMERDQN algorithm

下载: 全尺寸图片

对比不同算法在相同约束环境中的结果，本研究注意力机制与深度Q网络模型相结合的方法所规划的路径表现更加平滑，具有更少的转弯次数，符合约束要求。与传统DQN算法相比，本文提出的AMERDQN算法在相同训练参数下能在更短时间内规划出优质路径。各算法规划出的路径结果相关参数如表3所示，其中的数据均为多次训练的均值。DQN算法和AMERDQN算法在环境中的训练结果如图7、图8所示。

图  7  DQN算法训练结果

Fig.  7  DQN algorithm training results

下载: 全尺寸图片

图  8  AMERDQN算法训练结果

Fig.  8  AMERDQN algorithm training results

下载: 全尺寸图片

DQN算法与AMERDQN算法在训练过程存在一定的随机性，图7和图8所示的结果是在同一环境进行多次训练后的平均数据。实验数据对比分析表明，AMERDQN算法在智能车辆训练中展现出显著的探索效率优势，在高效探索环境的同时，获得更高的平均成功率与平均奖励。

DQN算法与AMERDQN算法在同仿真环境下进行训练，成功率、回合内路程如图9、10所示。

图  9  DQN与AMERDQN同环境中算法成功率

Fig.  9  Algorithm success rate of DQN and AMERDQN in the same environment

下载: 全尺寸图片

图  10  DQN与AMERDQN同环境中回合内路程

Fig.  10  Path length in round between DQN and AMERDQN in the same environment

下载: 全尺寸图片

由图9和图10可知，AMERDQN算法较于DQN算法，平均成功率与收敛时间的表现更加优秀，且AMERDQN算法整体的路程较DQN算法更短，同时训练成果更优。

4.   结束语

本文提出非结构化场景下基于改进深度Q网络的智能网联汽车路径规划算法。通过改进状态空间和奖励函数增强算法的场景适应能力。提出结合注意力机制的经验回放方式，对训练过程中获得的经验进行加权分类，有效提升了算法的学习效率，使得路径规划速度更快，决策路径更优质。此外，通过载入不同环境的训练数据，有效降低了在当前环境下达到90%成功率所需的回合数，体现了一定的泛化能力。

在未来的研究工作中，可以探索以下几个研究方向：

1)协同感知融合。通过多车协同感知信息与多源异构传感器数据融合，全面感知复杂动态环境，提升决策效率与准确性，实现多样地图环境下的优异表现。

2)终身学习。基于跨场景经验迁移的终身学习机制，避免算力浪费，支持车辆在不同地图中持续优化路径规划，实现高效能自主驾驶。