车队作为自动驾驶领域的新兴范式，其独特的驾驶模式和丰富资源潜力为智能交通系统带来了创新机遇^[1]。车队由多辆车组成，其中一辆车担任领导角色，其余车辆则跟随。首先，车队中的各辆车通过车载传感器收集自身周围环境感知数据，并将收集的数据通过车车通信(vehicle to vehicle，V2V)技术传输给领导车。然后，领导车将收集和接受到的感知数据进行分析得到驾驶结果，并通过广播共享驾驶信息给车队的成员，从而自动确定每个跟随者的转向、速度和制动，以提高整体交通安全性 ^[2]。

近年来，许多驾驶辅助应用(如行人检测、障碍物回避、增强现实导航等)逐渐涌现并取得了显著的发展^[3-4]。这些应用通常依赖于深度学习技术(例如，深度神经网络 (deep neural networks，DNN))来获得更高的性能^[5]。这些应用的计算服务通过预训练的DNN模型进行推理。推理时间是评估用户体验的一个关键因素。推理时间不仅对于确保安全和改善驾驶体验至关重要，还可能影响交通拥堵。然而，执行DNN推理任务需要大量计算资源。这些DNN推理任务通常由于车载计算资源的限制而在车辆上表现出较差的用户体验。传统的模型优化方法，如权重剪枝和精度降低，虽然可以在一定程度上减轻计算负担，但在面对如此大规模的感知数据时，单一车辆的有限计算能力仍然难以胜任。

为应对上述挑战，任务卸载与模型拆分技术被认为是提升 DNN 推理实时性的有效途径^[6]。现有研究大多采用层间线性拆分策略^[7-8]，即将 DNN 推理过程划分为本地执行段和远端执行段。该方法虽在一定程度上缓解了单车算力不足的问题，但仍存在两方面局限：一方面，在车队云协同环境下，中间特征数据的传输性能受限于链路带宽，容易引入较大的通信时延；另一方面，DNN 推理任务整体计算开销较大，且部分层的单层计算负载较重，若仍由单辆车独立完成，仍可能形成显著的局部计算瓶颈。因此，仅依赖层间线性拆分难以同时兼顾通信与计算两方面的优化需求。基于此，本文进一步结合车队内车辆异构算力与链路状态，面向车队云协同计算环境，提出一种层间(垂直)与层内(水平)协同的双维度任务拆分与卸载机制。在层间维度上，结合车队内车辆异构算力与链路状态，对 DNN 推理任务进行自适应拆分；在层内维度上，针对单层计算负载较重的部分，进一步进行空间划分并分配给多辆车并行处理，以缓解局部计算瓶颈。在此基础上，本文将以最小化推理时延为目标的任务拆分与卸载联合优化问题建模为分布式部分可观测马尔可夫决策过程(decentralized partially observable Markov decision process，Dec-POMDP)，并采用多智能体深度确定性策略梯度算法(multi-agent deep deterministic policy gradient，MADDPG)进行求解^[9-11]。仿真结果表明，所提方法在不同车队规模、计算能力和带宽条件下均能有效降低推理时延，且在资源受限场景下表现出更优性能优势。

1.   网络模型

1.1   场景描述

如图1 所示，本文构建了一个I个车队列场景。车队中的车辆用索引集 $ \left\{{V}_{i}\left| {V}_{i,j},{V}_{i,0},{V}_{i,1}, \cdots ,{V}_{i,{{J}_{i}}}\right.\right\} $表示，其中$ {V}_{i,0} $为领导车，其他车辆为跟随车辆。车队中每辆车共同感知周围环境，车辆协同执行推理任务。在此场景下，每个车队有一个推理任务(DNN模型)，车队成员共享相同的通信信道，由领导车根据车辆的计算能力和网络状况决定DNN的水平和垂直拆分策略。本文将车队车辆的网络建模为一个无向图$ {G}_{i,J}=\left({V}_{i,J},{\xi }_{i,J}\right) $，其中 $ {V}_{i,J} $ 是节点集合，$ {\xi }_{i,J} $是边集合。任意两个节点$ {V}_{i,j},{V}_{i,j'}\in {V}_{i,J} $之间的链路权重可以通过加权邻接矩阵。邻接矩阵中的链路权重$ {V}_{i,j},{V}_{i,j'}\in {V}_{i,J} $代表了车辆$ {V}_{i,j} $到车辆$ {V}_{i,j'} $的数据传输速率$ {R}_{i,j,j'} $。每个车辆$ {V}_{i,j} $的CPU 频率为$ {f}_{i,j} $。图2给出了一个包含4辆车的示例车队网络拓扑图，每条边的权重 $ {R}_{i,j,j'} $ 表示车辆$ {V}_{i,j} $和车辆$ {V}_{i,j'} $之间的传输速率，每个顶点由资源向量$ {f}_{i,j} $表征。

图  1  车队内车辆间协同推理的模型分割

Fig.  1  Model splitting for collaborative inference among vehicles in a fleet

下载: 全尺寸图片

图  2  单车队的网状网络拓扑示例

Fig.  2  Example of a mesh network topology for a platoon

下载: 全尺寸图片

给定一个 DNN 模型，记$ L=\left\{1,\cdots ,l,\cdots ,L\right\} $为其层索引集合^[12]。对于卷积神经网络(convolutional neural network，CNN)模型，每层可以为卷积层、池化层、平坦层或密集层。用配置向量$ {\left(\psi ,s,{{c}}_{{\mathrm{in}}},{{c}}_{{\mathrm{out}}},p,H\right)}_{l} $表示第$ l\in L $层的结构特性，即卷积核大小$ {\psi }_{l} $、步幅$ {s}_{l} $、填充$ {p}_{l} $、输入通道数$ {{c}}_{{\mathrm{in}},l} $输出通道数$ {{c}}_{{\mathrm{out}},l} $以及该层输入特征图的高度$ {H}_{l} $。进一步地，记输入特征图的高度和宽度分别为$ H $和$ W $ ^[13]。在水平维度上，本文采用基于空间维度的特征图划分方式。具体而言，对某一层输入特征图仅沿高度和宽度2个空间维度进行切分，而每个空间分区均保留该分区对应位置上的全部通道信息。因此，本文的层内拆分属于空间划分而非通道划分。

以前的CNN 只按层拆分，其中每层都是一个分区(即神经网络有向无环图(directed acyclic graph，DAG) 中的一个顶点代表一个层)。给定一个层数为$ L=\left\{1,\cdots ,l,\cdots ,L\right\} $，生成的分区图将具有$ L=\left\{{\lambda }_{1},{\lambda }_{2},\cdots ,{\lambda }_{L}\right\} $个节点依次连接^[14]。与先前的方案不同，本文细化了任务拆分，不再限制拆分只能包含整个层，$ {\textit{Λ}}=\left\{{\lambda }_{1},\cdots ,{\lambda }_{k},\cdots ,{\lambda }_{{\textit{Λ}}}\right\} $为DNN 的分区集，其中分区$ {\lambda }_{1} $由一对$ \left({\gamma }_{1},{\omega }_{1}\right) $定义， $ {\gamma }_{1} $和$ {\omega }_{1} $为分区$ {\lambda }_{1} $的高度和宽度。特别地，分区$ {\lambda }_{k} $覆盖了层的部分输入$ {\gamma }_{k} $，并且每个分区$ {\lambda }_{k} $跨越了多个连续的层$ {\omega }_{k} $。为了确保模型(或子模型)中层之间的正确执行顺序以及它们之间的中间数据流，分区集合$ \varLambda $必须遵循由描述的图中的方向。图3给出了神经网络分区示例，其中 CNN 被分割为一组分区$ \left\{{\lambda }_{1},{\lambda }_{2},\cdots ,{\lambda }_{5}\right\} $，这些元素通过有向边连接形成一个 DAG，其中5个分区的任务分配给4个用户执行。分区间数据量$ {D}_{k,k'} $为分区$ {\lambda }_{k} $传输到$ {\lambda }_{k'} $的数据量。所有分区的并集等效于总分区集合，即：$ \bigcup \nolimits_{k=1}^{{\textit{Λ}}}\left\{{\lambda }_{k}\right\}={\textit{Λ}} $。同样，所有分区的交集等效于一个空集，即：$ \bigcap \nolimits_{k=1}^{{\textit{Λ}}}\left\{{\lambda }_{k}\right\}= \varnothing $。

图  3  多车协作推理的工作流程

Fig.  3  Workflow of multi-vehicle collaborative inference

下载: 全尺寸图片

每个分区最多执行一次并且分区的计算之间存在顺序，因此CNN模型表示为一个有向无环图DAG $ {G}_{\lambda }=\left(\lambda ,\varepsilon \right) $，其中$ \lambda $为顶点集，$ \varepsilon $为边集。加权邻接矩阵$ \boldsymbol{D} $的元素$ {D}_{k,k'} $是任意两个顶点$ {\lambda }_{k},{\lambda }_{k'}\in \lambda $之间的链路权重，其值表示由分区$ {\lambda }_{k} $产生的输出并作为输入提供给分区$ {\lambda }_{k'} $的数据量$ {D}_{k,k'} $。邻接矩阵描述了神经网络 DAG 中任意两个分区之间是否存在数据交换以及需要传输的数据量：

$ {\boldsymbol{\varsigma }}_{i}=\left({\varsigma }_{i,1}, \cdots ,{\varsigma }_{i,\textit{Λ}}\right)\in {V}^{i,\textit{Λ}} $为匹配向量。如果$ {\varsigma }_{i,k} $表示分区$ {\lambda }_{k} $分配给$ {V}_{i,{{a}_{i,k}}} $，则$ {\varsigma }_{i,k}=1 $；否则，$ {\varsigma }_{i,k}=0 $。在完成分区$ {\lambda }_{k} $所需的计算后，执行分区$ {\lambda }_{k} $的车辆需要将中间数据发送到执行下一个分区的车辆，直到推理任务完成。每层的输入特征都是前一层的输出特征，因此推导出车辆在计算分区后需要发送的输出数据的确切大小。以卷积层l为例，设分区$ {\lambda }_{k} $是该层在空间维度上的一个子分区，其分区宽度为$ {\omega }_{k} $，配置向量为 $ {\left(\psi ,s,{{c}}_{{\mathrm{in}}},{{c}}_{{\mathrm{out}}},p,H\right)}_{l} $。若输入到该分区的特征图大小为$ \left(\gamma ,W,{{c}}_{{\mathrm{in}}}\right) $，其中 $ {\gamma }_{k} $表示该分区覆盖的输入高度，$ {W}_{k} $表示对应输入宽度，则该分区的输出特征图大小可表示为

(高度、宽度、通道数)。可以看出，在本文所采用的水平拆分方式中，分区后的输出特征图在空间维度上被划分，而通道维度保持完整，不对输入通道或输出通道进行进一步切分。图4给出了不同车辆执行多个空间分区时的数据流示意。其中，分区之间主要交换的是由空间划分引起的中间特征数据和边界填充数据，图中给出了各分区输入高度及填充数据规模的示例。

图  4  分区数据的示例场景

Fig.  4  Example scenarios of partitioned data

下载: 全尺寸图片

设一个返回在第l层的划分$ {\lambda }_{k} $的高度函数$ {\gamma }_{k}\left(l\right) $。对于第l层，所有部分覆盖该层的划分高度之和必须等于该层的输入大小$ {\mathit{\Gamma }}_{l} $，即

设ϒ为从DAG$ {G}_{\lambda } $的起始划分到结束划分之间的所有可能路径的集合。设$ \upsilon \in \varUpsilon $为从起始到结束划分之间的一条路径，其中$ \upsilon $为DAG $ {G}_{\lambda } $的一个子图，即$ \upsilon =\left({G}_{v},{E}_{v}\right) $。需要注意的是，$ {G}_{v} $表示路径中的顶点集，而$ {E}_{v} $表示路径中的边集。在任何给定路径中，该路径中所有划分的宽度$ {\omega }_{k} $之和等于DNN模型的层数，即

为了使划分可接受，分配在不同$ {V}_{i,k} $和$ {V}_{i,k'} $上的任何两个分区$ {\lambda }_{k} $和$ {\lambda }_{k'} $之间的任何边必须位于$ {V}_{i,k} $和$ {V}_{i,k'} $之间现有的通信边上，即

1.2   通信模型

网络的带宽被划分为M个正交的子信道，由集合$\mathcal{K} \triangleq\{1, \cdots, m, \cdots, M\} $表示，每个子信道带宽都是B Hz。车队可被分配到一个或多个子信道。因此，车队i中车辆通过信道m传输数据到车辆的传输速率：

式中：$ \left| h_{{}_{i,k,k{{'}_{i}}}}^{\left(m\right)}\right| $是从车辆$ {V}_{i,k} $通过子信道m传输数据到车辆$ {V}_{i,k'} $的信道增益，$ {P}_{0} $为车辆$ {V}_{i,k} $的传输功率，$ {\beta }_{i,m} $表示信道m是否分配给车队i 和$ {\sigma }^{2} $是噪声功率。

为了计算分区$ {\lambda }_{k} $，需要从其他分区输入或填充数据。定义邻域内$ {N}^{-}\left({\lambda }_{k}\right)=\left\{{\lambda }_{k'}\in \text{Λ:}\left({\lambda }_{k},{\lambda }_{k'}\right)\in \epsilon \right\} $作为向分区$ {\lambda }_{k} $发送分区间数据的分区集合。本文定义邻域外$ {N}^{+}\left({\lambda }_{k}\right)=\left\{{\lambda }_{k''}\in \text{Λ:}\left({\lambda }_{k},{\lambda }_{k''}\right)\in \epsilon \right\} $作为从分区$ {\lambda }_{k} $接收填充数据的集合。$ {D}_{k,k'} $取决于$ \left({\gamma }_{k},{\omega }_{k}\right) $和$ \left({\gamma }_{k'},{\omega }_{k'}\right) $，以及分区$ {\lambda }_{k} $和$ {\lambda }_{k'} $所覆盖的层的构型向量。因此，在车辆$ {V}_{i,k} $上从邻居$ {N}^{+}\left({\lambda }_{k}\right) $接收分区数据所需的接收时间：

将填充数据发送到车辆$ {V}_{i,k} $上所需的需要传输时延：

传输分区$ {\lambda }_{k} $的中间数据所需的总时间：

1.3   计算模型

如果分区$ {\lambda }_{k} $的输入特征图大小为$ \left({\gamma }_{k},{W}_{k},{c}_{{\mathrm{in}},k}\right) $， 输入到分区$ {\lambda }_{k} $的数据量$ {D}_{k}={\gamma }_{k}.{W}_{k}.{c}_{{\mathrm{in}},k} $。因此，在车辆$ {V}_{i,j} $上执行分区$ {\lambda }_{k} $所需的计算时间：

式中$ {F}_{i,j} $为$ {V}_{i,k} $的CPU频率。

1.4   问题建模

在通信和计算资源的约束下，通过联合优化模型拆分和子信道分配，以最小化总推理时延。问题描述为

2.   分布式多智能体强化学习算法

上述问题是非确定性多项式问题，本文将该优化问题通过分布式多智能体强化学习算法求解。考虑车队i的本地观测能力有限，仅能观测到自身任务信息、位置信息和车队内车辆计算资源信息等部分环境信息，本文将问题进一步建模成一个有限时域下的 Dec-POMDP问题^[15]，其中各车队的领导车可仅根据本地观测信息即可独立做出其信道选择和模型拆分动态决策。

1)智能体：各车队的领导车$ {V}_{i,0} $均作为智能体完成其各自的信道选择和模型拆分决策。

2)本地观测：各车队观测$ {o}_{i} $可表示为$ \left[h_{{}_{i,k,k'}}^{\left(m\right)},{F}_{i,k}\right] $。

3)动作：各车队独立选择信道选择和模型拆分决策，则车队i的动作车队i的动作$ {a}_{i} $可表示为$ \left[{\varsigma }_{i,k},{\lambda }_{k}\right] $。

4)系统奖励：各车队所获得的来自环境的系统奖励$ {r}_{i} $，即：$ {r}_{i}=-\displaystyle\sum\limits_{k=1}^{K}{T}_{i,k} $

本文采用了MADDPG算法^[16]。DDPG的核心思想是基于Actor-Critic架构。Actor网络负责生成动作，通过最大化预期回报来更新网络权重；Critic网络则负责估计状态−动作值函数，通过最小化TD误差来更新网络权重。这2个网络通过梯度下降的方式进行优化，使得智能体的行为逐渐接近最优策略。MADDPG框架由环境和I个智能体组成。在多智能体环境中，每个智能体在独立更新策略的过程中可能会导致训练不稳定。为了解决多智能体环境的这一不稳定性并实现智能体协作，本文采用集中式训练和分布式执行的方式，其中每个智能体有两个阶段：集中式训练和分布式执行。

在集中式离线训练阶段，Critic网络根据所有智能体的动作和观察全局状态信息计算集中式动作价值函数$ Q\left(s,a{}_{1}^{},{a}_{2},\cdots ,{a}_{k};{\theta }\,^{c}\right) $。集中式Q函数从全局视角评估智能体的动作，并利用这一点来指导智能体选择更好的动作。然后，Critic网络通过最小化损失来更新参数

式中$ y=r+\chi {Q}^{*}\left(s',a_{1}^{\prime},a_{2}^{\prime},\cdots ,a_{I}^{\prime};{\theta }^{\text{'}}\right) $，$ \theta $是Critic网络的参数，$ s=\left({o}_{1},{o}_{2},\cdots ,{o}_{I}\right) $。同时，Actor网络根据由Critic计算的集中式Q函数及其自身的观察信息更新网络参数$ {\theta }\,^{a} $并输出动作$ a $。具体来说，Actor网络在$ \nabla_{\theta\,^a} J({\text{π}}) $方向上直接调整网络参数$ \pi $，由式给出

式中$ {\theta }\,^{a} $是Actor网络的参数。

在分布式执行阶段，Actor网络根据其自身状态输出动作。在这个执行过程中，每个智能体都可以获得接近全局最优的动作$ {a}_{i}=\mu \left({o}_{i},{\text{π}} \right) $，而无需了解其他智能体的信息。基于MADDPG的训练与执行过程如算法1所示。

算法 1　基于集中式训练、分布式执行的 MADDPG 训练与执行过程

A　集中式训练阶段

1) 初始化训练回合J，训练步数T；软更新因子$ \tau $；回放缓冲区Z。

2) for 回合j=1,2, $ \cdots $, J do

3) 初始化车队环境；

4) for 步数 t=1,2, $ \cdots $, T do

5) for i=1,2, $ \cdots $, I do

6) 收集本地观测$ {o}_{i,t} $，根据Actor网络选择动作；

7) end for

8) 执行动作$ {a}_{i,t} $；

9) 所有车队得到环境所反馈的系统奖励$ {r}_{i} $和新的本地观测$ {o}_{i,t+1} $；

10) 经验[$ {o}_{i,t} $,$ {a}_{i,t} $,$ {r}_{i} $,$ {o}_{i,t+1} $]存储到共享经验池Z；

11) end for

12) 从共享经验池采样获得经验集合；

13) 通过最小化损失函数 L更新在线网络参数；

14) 在目标网络中软更新Critic和Actor网络的参数。

15) end for

B　分布式执行阶段

16)对于每个智能体i，仅保留训练好的Actor网络；

17) 在在线执行阶段，智能体i根据本地观测$ {o}_{i,t} $独立输出动作$ {a}_{i,t} $；

18) 各智能体无需访问其他智能体观测，也无需调用集中式 Critic，即可完成分布式协同决策。

3.   仿真结果及分析

为验证本文提出的层间−层内双维度拆分(inter-intra-layer splitting, IILS)方案的有效性，设置以下基准方案进行对比分析：

1)本地计算(local-computing, LC)：所有DNN推理任务在领航车辆上执行，无任务卸载；

2)全卸载计算(offloading-computing, OC)^[17]：将完整DNN模型卸载至随机选择的跟随车执行，无任务拆分；

3)分层卸载(layer-splitting, LS)^[18]：仅采用层间拆分，不执行层内拆分。

实验采用 Python 语言实现，主要基于 TensorFlow 和 Numpy 搭建深度神经网络推理与多智能体强化学习训练环境。仿真场景设置为单小区车队云协同计算环境，车队车辆在路边单元覆盖范围内行驶，所有车辆均位于距离路侧单元 500 m 的范围内随机分布。各车队沿道路同向行驶，车辆行驶速度统一设为 60 km/h。车队内车辆通过 V2V 链路进行中间特征数据和分区结果的传输，车辆之间的最大通信范围设置为 70 m，当两车间距离超过该范围时，认为二者无法建立直接通信链路。系统总带宽 B 的取值范围为 150～400 MHz。除非特别说明，其他仿真参数设置如表1 所示。

图5给出了不同车队数量条件下各方案的推理时延变化趋势。随着道路中车队数量的增加，IILS、OC 和 LS 方案的推理时延均呈上升趋势，而 LC 方案基本保持稳定。其原因在于，随着车队数量增加，系统中并发推理任务数量同步上升，多个车队需要竞争有限的无线通信资源，从而导致中间特征数据传输时延增加，最终推高整体推理时延。相比之下，LC 方案始终由领导车本地完成推理，不涉及车队间或车队内的中间结果传输，因此基本不受通信资源竞争影响^[19]。进一步观察可知，IILS 方案在所有车队规模下均保持最低推理时延，说明所提双维度拆分机制在高并发协同场景下具有更强的资源适应能力。具体而言，LS 方案虽然能够通过层间拆分缓解部分单车算力不足问题，但其拆分粒度仍局限于层级边界，无法进一步处理单层内部的重负载计算；OC 方案则将完整模型交由单一节点处理，虽然减少了拆分管理开销，但容易受限于单节点计算能力和整模型传输负担^[20]。与之相比，IILS 同时结合层间拆分与层内空间划分，一方面能够依据链路状态和计算能力选择更优的层间卸载位置，另一方面能够将单层重负载部分进一步分散至多辆车并行处理，从而在车队数量增加、通信竞争加剧的条件下，仍能有效抑制推理时延增长^[21]。该结果表明，所提方法不仅适用于低负载场景，在多车队并发推理环境下同样具有较好的可扩展性。

图  5  不同方案下的推理时延

Fig.  5  Inference latency under different schemes

下载: 全尺寸图片

图6给出了不同车队总计算能力条件下各方案的推理时延变化。可以看出，随着车队总计算能力的提高，IILS、OC 和 LS 方案的推理时延均明显下降。这说明在当前协同推理场景中，计算资源仍是影响系统性能的重要因素之一：更高的计算能力能够缩短分区执行时间，从而降低整体任务完成时延。LC 方案同样会从本地算力提升中受益，但由于其始终依赖单车本地执行，无法利用车队内其他车辆的可用算力，因此整体性能始终劣于协同计算类方案。IILS 在各算力区间内均优于 LS 和 OC，说明其性能提升并非仅来源于“更多卸载”，而是来源于更细粒度的计算任务组织方式^[22]。OC 方案虽然借助远端节点执行完整模型，但忽略了带宽受限条件下的中间数据传输代价；LS 方案虽然具备层间任务迁移能力，但当某些层本身计算负载较重时，仅依赖层间边界调整难以消除单层内部的局部计算瓶颈^[23]。相比之下，IILS 方案在层间拆分基础上进一步引入层内并行处理，使得高计算负载层能够被多个节点同时承担，因此在中低算力区间内优势尤为明显^[24]。此外，当计算能力超过 3.5 GHz 后，IILS 与 LS 之间的差距逐渐缩小，这表明系统主导瓶颈正在发生转移：在低算力条件下，单层计算瓶颈更为突出，层内拆分能够带来显著收益；而当车队整体计算能力持续增强后，单层计算压力被明显削弱，系统性能逐步由“计算主导”转向“通信与调度共同主导”，此时层内进一步细粒度拆分所带来的边际收益开始减小^[25]。因此，该结果说明所提双维度拆分机制在算力受限场景下优势最为显著，而在高算力场景下则依然保持稳定优于基线方案的性能表现。

图  6  不同方案下的推理时延

Fig.  6  Inference latency under different schemes

下载: 全尺寸图片

图7给出了不同带宽条件下各方案推理时延的变化趋势。随着带宽增加，IILS、OC 和 LS 方案的推理时延均呈下降趋势，而 LC 方案基本保持不变。其根本原因在于，带宽提升能够直接改善中间特征数据与分区间结果的传输效率，从而降低协同推理过程中的通信时延；而 LC 不涉及车间数据传输，因此不受带宽变化影响。该现象说明，对于协同推理类方案，通信资源依然是影响总推理时延的重要外部因素^[24]。进一步比较可见，IILS 在整个带宽区间内始终保持最低推理时延，说明所提方法的优势并不仅仅来自链路条件改善，而在于其能够更有效地协调“传输开销”与“计算开销”之间的关系。对于 OC 方案，尽管带宽增加能够降低模型整体卸载带来的传输代价，但其仍受限于单节点计算瓶颈；对于 LS 方案，带宽改善虽然增强了层间卸载效率，但其无法进一步缓解单层内部的重负载计算问题，因此性能提升仍然有限^[26]。相比之下，IILS 通过在层间维度选择更合适的拆分节点、在层内维度进一步并行处理重负载层，使得通信资源的增长可以被更充分地转化为整体时延收益^[27]。此外，从曲线变化趋势还可以看出：在低带宽区间，IILS 相较 LS 和 OC 的优势更加明显，表明当系统处于通信受限状态时，双维度拆分机制能够更有效地压缩不必要的传输代价，并降低由不合理拆分导致的通信放大效应^[28-29]；而在高带宽区间，各方案差距有所缩小，但 IILS 仍保持最优，这进一步说明所提方法并非仅在通信受限场景下有效，其在通信条件改善后仍可凭借更细粒度的任务划分维持性能优势^[30]。换言之，IILS 同时具备较好的弱通信鲁棒性和高带宽适应性。

图  7  不同带宽下的推理时延

Fig.  7  Inference latency under different bandwidth

下载: 全尺寸图片

4.   结束语

本文面向车队协同计算环境下的 DNN 推理任务优化问题，提出了一种层间−层内双维度协同拆分与卸载方法。该方法在层间维度上依据计算与通信代价实现任务的自适应拆分，在层内维度上针对单层重负载部分进行并行处理，从而有效缓解单车算力受限和局部计算瓶颈问题。随后，本文将任务拆分与卸载联合优化问题建模为 Dec-POMDP，并采用多智能体强化学习方法进行求解。仿真结果表明，所提方法在不同车队数量、计算能力和带宽配置下均能有效降低推理时延，且在资源受限条件下相较于基准方案具有更显著的性能优势。未来研究将进一步面向车队高速移动、网络状态动态变化和异构计算资源协同场景，研究更加鲁棒、低开销且可在线自适应的 DNN 推理任务拆分、卸载与资源分配优化方法。