0 引　言

舰船编队是由多艘舰船组成的一个集体，通常按照一定的编队形式，紧密地结合在一起，以实现更好地合作和协同作战^[1]。而舰船编队的有效合作离不开通信网络。但通信网络面临着各种不可预测的因素和挑战，为了提高网络的抗干扰和适应能力，确保数据的可靠传输^[2-3]，需要研究一种通信网络数据调度方法。

目前，有较多学者对调度方法进行研究。杨毅等^[4]研究基于云计算平台的多数据库并行调度算法，通过提取数据序列的特征，实现数据的调度，但在该方法的调度下通信开销较大。王然等^[5]研究基于预测的数据中心间混合流量调度算法，主要针对流量进行调度，虽然通过该方法的调度可以改善通信开销，但在通信过程中仍然存在一定的时延。

为此，研究舰船编队通信网络混合数据智能调度方法，提高混合数据传输过程中的分组投递率，改善通信网络的通信效率。

1 混合数据智能调度方法研究 1.1 舰船编队通信网络结构分析

在舰船编队中，各个舰船之间需要保持密切地沟通和协调。为此，通信、指挥和控制等方面的设施和机制非常重要^[6]。

针对舰船编队，可以将每一艘舰船的通信信号看作拓扑图中的一个定点，不同舰船之间的通信通道则可视为拓扑图中相邻顶点的边，通过$ N $艘舰船构成的通信网络，其通信结构可通过拓扑关系$ G{\text{ = }}\left( {V,E,A} \right) $表示，其中，$ V = \left\{ {1,2,...,N} \right\} $表示N艘舰船的顶点集；$ E \subseteq V \times V $表示每条边的集合；$ A = \left[ {{a_{ij}}} \right] $是指邻接矩阵，该矩阵中包含非负邻接元素$ {a_{ij}}\left( {i,j = 1,2,...,N} \right) $。此时，可通过公式（1）表示舰船编队通信网络的邻接矩阵：

$ {\boldsymbol{A}}=\left({a}_{ij}\right)\in {R}^{N\times N}=\left\{\begin{array}{l}1\text{，}\left(i,j\right)\in E\text{，}\\ 0\text{，}\text{others}\text{。}\end{array}\right. $

(1)

式中，$ R $表示欧式距离。

1.2 混合数据调度优化目标函数设计

考虑上述分析得到的舰船编队通信网络结构情况，为实现舰船编队通信网络混合数据的智能调度，需要考虑多种因素^[7]。本文构建如下目标函数，通过对多种目标的优化，实现混合数据的智能调度：

$ \min X = A\left[ {\min \bar D + \min NRL + \min \left( { - PDF} \right)} \right]\text{。} $

(2)

式中：$ \bar D $表示通信网络混合数据传输过程中的端到端时延；$ NRL $表示通信网络混合数据传输时的路由开销；$ PDF $表示通信网络混合数据传输时的分组投递率。

对每一优化目标进行分析：

1）端到端平均时延。当端到端的时延越小，说明通信网络越通畅，为此，将这一指标作为混合数据智能调度的优化目标，可通过如下公式计算端到端平均时延：

$ D\left( i \right) = {T_r}\left( i \right) - {T_s}\left( i \right) \text{，}$

(3)

$ \bar D = \frac{1}{N}\sum\limits_{i - 1}^N {D\left( i \right)} \text{。}$

(4)

式中：$ \bar D $表示通信网络中混合数据传输的平均端到端时延；$ D\left( i \right) $为通信网络中第$ i $个分组数据的传输时延；$ {T_s}\left( i \right) $为第$ i $个分组数据的发送时间；$ {T_r}\left( i \right) $为第$ i $个分组数据的接收时间；$ N $表示通信网络中的分组个数。

2）路由开销。通过路由开销，可以表示通信网络的堵塞程度，当路由开销越大，说明通信网络的堵塞概率越大，导致混合数据的传输越困难，而路由开销公式为：

$ NRL = \frac{{NRC}}{{NRP}} \text{。}$

(5)

式中：$ NRC $表示通信网络节点接收的数据分组个数；$ NRP $为节点发送的路由控制分组数。

3）分组投递率。衡量了通信网络中传输数据包的成功程度。当分组投递率越高，说明通信网络混合数据传输的可靠性越好，从而使得混合数据传输的完整性更强。分组投递率计算式为：

$ PDF = \frac{{NRF}}{{NSP}} \text{。}$

(6)

式中：$ NRF $为通信网络节点接收到的数据分组数目；$ NSP $表示节点发送的数据分组数目。针对上述构建的混合数据智能调度目标函数，文章构建合理的调度方法，对这些目标函数进行优化，从而实现混合数据智能调度，保障舰船编队通信网络稳定运行。

1.3 基于深度强化学习的混合数据智能调度研究

深度强化学习方法是一种可以通过神经网络与通信网络的交互，实现智能调度的学习策略。当利用该方法进行优化调度时，神经网络可在当前舰船编队通信网络状态$ s\left( k \right) $下选择需执行的动作$ d\left( k \right) $，从而获取下一个通信网络状态$ s\left( {k + 1} \right) $，同时，在这一选择过程中会产生一个奖励值$ r\left( k \right) $，当进行连续迭代后，即可获取最大化累积奖励值$ \sum\nolimits_{k = 0}^\infty {{\gamma ^k}} r\left( k \right) $，其中，$ \gamma \in \left[ {0,1} \right] $是指折扣因子，通过这一形式即可完成目标的优化调度。但由于文章优化目标是最小化参数$ \min X $，这与最大化累积奖励值存在一定差别，当舰船编队通信网络与神经网络交互时，会出现一个惩罚值$ c\left( k \right) $，为此，在进行优化调度时，考虑这一惩罚值的存在，通过最小化累积惩罚值$ \sum\nolimits_{k = 0}^\infty {{\gamma ^k}} c\left( k \right) $实现目标的优化调度^[8]。

为精准实现调度目标优化，需先定义深度强化学习方法在学习过程中需要使用的参数，分别为通信网络状态空间$ s\left( k \right) $、动作空间$ D\left( k \right) $以及惩罚值函数$ c\left( k \right) $。

1）在通信网络状态空间$ s\left( k \right) $中，包含时间k状态下通信网络目标节点处每一源节点混合数据的集合$ a\left( k \right) $，其中还包括通信网络所有源节点的存储队列信息集合$ z\left( k \right) $。假设$ {z_m}\left( k \right) $为源节点$ m $在时间$ k $的缓存信息，通信网络状态空间可表示为：

$ s\left( k \right) = \left[ {a\left( k \right),z\left( k \right)} \right]\min X\text{。} $

(7)

2）将端到端平均时延、路由开销以及分组投递率3项组成的目标函数$ \min X $作为惩罚函数$ c\left( k \right) $。此时，可以获取$ c\left( k \right) $计算公式为：

$ c\left( k \right) = s\left( k \right)\sum\limits_{m \in \varPhi } {{a_m}} \left( k \right) - a \cdot {\varepsilon _m}\left( {{a_{m \in \varPhi 2}}\left( k \right) > {x_{m \in \varPhi 2}}} \right)\text{。} $

(8)

式中：$ {\varepsilon _m}\left( {{a_{m \in \varPhi 2}}\left( k \right) > {x_{m \in \varPhi 2}}} \right) $表示调度决策$ d\left( k \right) = m $时，$ {a_{m \in \varPhi 2}}\left( k \right) > {x_{m \in \varPhi 2}} $事件发生的指示函数。

当进行训练时，网络利用μ-greedy策略对舰船编队通信网络进行探索。当进行决策搜索时，可自动生成一个随机数$ b \in \left[ {0,1} \right] $，若$ b < \mu $，则当前值网络会随机从动作空间中获取决策$ d\left( k \right) $，否则，选取最小值函数$ V\left[ {s\left( k \right),d\left( k \right)\left| w \right.} \right] $相应的决策$ d\left( k \right) $，而这一值函数$ V\left[ {s\left( k \right),d\left( k \right)\left| w \right.} \right] $可通过公式（9）进行更新：

$ V\left[ {s\left( k \right),d\left( k \right)\left| w \right.} \right] = c\left( k \right) + \gamma \min V\left( {s\left( {k + 1} \right),d\left( k \right)\left| w \right.} \right) \text{。}$

(9)

式中：$ w $为当前值网络的参数向量，$ c\left( k \right) $、$ s\left( {k + 1} \right) $分别描述执行决策$ d\left( k \right) $后通信网络回应的惩罚系数与下一状态空间。而通信网络回应的参数可以构成经验集合$ \left[ {s\left( k \right),d\left( k \right),c\left( k \right),s\left( {k + 1} \right)} \right] $，这一集合可以存放在回放记忆单元中。当训练不断持续，而探索因子μ的值逐渐接近于0时，当前值网络会逐次挑选出与函数$ V\left[ {s\left( k \right),d\left( k \right)\left| w \right.} \right] $相对应的调度决策。

由于在学习过程中，最小化函数$ V\left[ {s\left( k \right),d\left( k \right)\left| w \right.} \right] $可能会发生振荡情况，为避免振荡问题的发生，当前值网络会将每迭代N次的相关参数复制到目标值网络中。因此，每次学习获取到调度决策后，均要计算参数复制时参数的损失函数$ L\left( w \right) $，如下式：

$ L\left( w \right) = \left[ {V\left( {s\left( k \right),d\left( k \right)\left| w \right.} \right)} \right] - {\left[ {V' \left( {s'\left( k \right),d' \left( k \right)\left| {{w_N}} \right.} \right)} \right]^2} \text{。}$

(10)

式中：$ V'\left( {s'\left( k \right),d'\left( k \right)\left| {{w_N}} \right.} \right) $是指目标网络的值函数；$ s'\left( k \right) $、$ d'\left( k \right) $是指状态决策；$ {w_N} $为这一网络中的参数向量。结合式（10）的计算，可进一步分析梯度损失函数，如下式：

$ {\nabla _w}L\left( w \right) = L\left( w \right) \times {\nabla _w}V\left[ {s\left( k \right),d\left( k \right)\left| w \right.} \right] \text{。}$

(11)

式中：$ {\nabla _w} $为当前值网络梯度向量。结合式（11）和梯度下降法，即可更新当前值网络的参数。随着不断的迭代，当损失函数逐渐稳定后，存储当前值网络参数向量并生成最小化目标函数$ \min X $的调度结果，从而实现混合数据智能调度。

2 实验分析

为验证本文构建的混合数据智能调度方法是否真实有效，设计舰船编队模拟场景进行仿真，在模拟场景下进行通信网络混合数据的调度，从而验证该调度方法的有效性，具体仿真设计参数如表1所示。

利用表1中的仿真参数，设计混合数据智能调度任务，共设计10个调度任务，其中，任务1~任务10均为混合数据发送任务，其中，任务1、任务2的发送内容为指挥和控制数据，包括指挥官对出舰船编队的指示、指令和决策和行动计划等；任务3、任务4的发送内容为情报和情报分析数据，包括来自航空侦察、电子侦察、卫星侦察和情报分析等方面的情报数据；任务5、任务6中发送的内容为传感器数据，如雷达数据、声呐数据、红外数据等；任务7、任务8发送的数据为通信数据，包括语音通信、视频通信和文本通信等；任务9、任务10发送的数据为舰船系统状态和健康信息：其中包含舰船各个系统和设备的状态。同时，每一项任务中的数据量有所不同，应用本文方法，对这些不同任务进行混合数据调度设计。

2.1 调度时延分析

分析应用本文方法优化前后，舰船编队通信网络在不同节点速度下的所有任务混合数据调度时的端到端时延变化，分析结果如图1所示。

可知，经过本文方法的调度后，通信网络中混合数据的端到端时延明显下降，可以实现数据的迅速传输，从而保证舰船编队数据交互的稳定性。

2.2 路由开销分析

分析应用本文方法进行全部任务的混合数据调度时，不同数据量情况下的路由开销情况，分析结果如图2所示。

可知，随着节点速度的增加，会导致不同混合数据在传输过程中的路由开销逐渐上升。而通过本文调度方法的优化后，可以看出不同混合数据之间的最大路由开销未超过40，在该方法的调度下，可以维持较小的路由开销。同时，当数据报文长度为4 094 bit时，路由开销最高仅为35左右，随着数据量的增大，路由开销仍然可以保持较小水平。因此，该调度方法可有效降低通信网络的路由开销。

2.3 分组投递率分析

设置不同的调度任务，每一任务需调度的混合数据量均有所不同，分析通过本文方法在进行不同任务调度时的分组投递率，从而验证该方法对不同混合数据调度任务的处理能力，分析结果如表2所示。

可知，经该方法调度后可有效保证混合数据传输的完整性，从而实现高质量的混合数据传输。

2.4 调度性能分析

应用本文方法对不同混合数据传输任务进行调度，分析经过调度后，通信网络在处理不同任务时的吞吐量，以及通信网络在接收数据时节点是否发生堵塞现象，分析结果如表3所示。

可知，通过该方法的调度，可以使通信网络保持较高的吞吐量，同时在混合数据传输时，通信网络未发生堵塞现象，可以看出该方法具有较强的调度能力，可维持混合数据平稳传输。

3 结　语

本文通过对混合数据调度目标函数的优化，改善混合数据传输时的时延、路由开销等问题，保障舰船编队通信网络混合数据顺利传输。未来可在此基础上继续优化调度方案，提高数据传输效率，提高舰船编队之间的通信可靠性。