汽轮发电机组性价比高且运行稳定，在陆地及船舶电力系统中均被广泛应用。融合船舶动力系统与电力系统，可优化船舶结构^[1-3]，降低能源消耗，对于促进船舶发展具有重要意义。船舶的多样化发展，既要求其电力系统在各种各样水域环境中保持稳定运行，还要求电力系统具备能源消耗低的功能。汽轮发电机组是通过蒸汽的热能实现发电^[4]，具备能源消耗低的优势，因此汽轮发电机组在船舶电力系统中应用颇多。但船舶行驶过程中，负载功率改变与输出功率的波动性，会导致汽轮发电机组输出功率和需求功率不匹配^[5]，出现负荷扰动情况，影响发电机组稳定运行。为确保发电机组稳定运行，需构建发电机组控制模型。朱永欣等^[6]选取模型可有效抑制机组转速与供气压力波动幅值，令发电机组快速恢复稳定运行；于国强等^[7]选取模型在负荷扰动时，可有效控制发电机组，降低能源消耗。但这2个模型在控制器参数估计与修正过程中，计算量均较大，影响控制时间，不符合船舶发电机组频率控制要求。深度强化学习算法具备较快的计算速度，可迅速按照输入数据获取输出结果，可塑性强、灵活性佳，在控制模型中应用效果较优。本文依据深度强化学习，构建船舶汽轮发电机组负荷扰动控制数学模型，确保船舶汽轮发电机稳定运行。

船舶航行时，在主推进电机与其螺旋桨启/停和变负荷运行情况下，会形成负荷扰动，对汽轮发电机组产生较大的冲击^[8-9]。负荷扰动情况下，汽轮发电机组内发电机的电转矩出现改变，导致汽轮机机械转矩与电转矩出现失稳情况，造成发电机运行时转速出现改变，令汽轮发电机组的频率开始波动和发电机输出有功功率的波动较大。确保汽轮发电机组功率平衡的公式如下：

其中：T为汽轮发电机组的惯性时间常数； $ \Delta P $ 为汽轮发电机组的功率变化； $ \Delta {P_d} $ 为汽轮机输出功率变化； $ \Delta {P_b} $ 为油动机功率变化； $ \Delta {P_l} $ 为负荷扰动功率； $ \Delta {P_e} $ 为汽轮发电机组2个区域间的联络线偏差功率。

负荷扰动下，对汽轮机发电机组的频率控制，就是对发电机的转速展开控制，无需考虑发电机转速调速时对发电机励磁的影响，汽轮发电机组各组件经过拉式变换后，通过一阶惯性模型代表汽轮发电机组的频率控制模型，公式如下：

进气量变化模型为

压水堆输出的原始动力变化模型为

发电机的输出功率模型为

区域控制误差模型为

其中： $ \Delta {Z_g}\left( s \right) $ 为汽轮机进气量；s为拉普拉斯算子； $ {T_g} $ 为汽轮机时间常数； $ \Delta f $ 为汽轮发电机组负荷频率偏差；λ为负荷频率调节效应系数；R为下垂系数； $ \Delta u $ 为汽轮发电机组的输入； $ {T'_g} $ 为压水堆时间常数；M为惯性系数；D为阻尼系数；B为汽轮发电机组输出频率的折算系数。

利用PRDDQN-AD算法设计船舶汽轮发电机组负荷扰动控制数学模型，在建立奖励函数值r时，添加发电机组频率控制质量标准指标CPS，确保汽轮发电机组负荷扰动控制效果达到最佳。该数学模型包含两部分，分别是离线预学习与在线应用2个阶段，离线预学习阶段，可获取智能体迭代更新的全部汽轮发电机组负荷扰动控制参数，每次迭代时，智能体均会展开负荷扰动控制动作搜索，并和汽轮发电机组负荷扰动控制环境(式(2)至式(5))展开交互，获取智能体的全部参数，即汽轮发电机组负荷扰动控制参数。

针对汽轮发电机组两区域负荷扰动控制模型，设汽轮发电机组负荷频率偏差为 $ \Delta f $ ，汽轮发电机组2个区域间的联络线偏差功率为 $ \Delta {P_e} $ ，汽轮机进气量为 $ \Delta {Z_g} $ ，区域控制误差 $ \Delta {f_a} $ 与CPS1值添加至奖励函数内，公式如下：

其中： $ {\tau _1} $ ， $ {\tau _2} $ ， $ {\chi _1} $ ， $ {\chi _2} $ ， $ {\omega _1} $ ， $ {\omega _2} $ 为优化权重值； $ \Delta {f_1} $ ， $ \Delta {f_2} $ 为汽轮发电机组区域1与区域2的负荷频率偏差。

在奖励函数内添加 $ \Delta {Z_g} $ ，目的是获取更为合理的汽轮机进气量，避免浪费，通过添加 $ \left| {\Delta f} \right| $ 与 $ \left| {\Delta {f_a}} \right| $ 的乘积对较低的CPS1值进行惩罚，获取奖励函数值；舰船汽轮发电机组负荷扰动控制数学模型的在线应用阶段，通过不同情况下的奖励函数值，结合离线预学习阶段获取的负荷扰动控制参数，获取汽轮发电机组负荷扰动控制动作值，完成负荷扰动控制。

在Matlab仿真软件Simulink环境内，构造船舶汽轮发电机组模型，进行仿真分析，汽轮发电机组关键性仿真参数如表1所示。

表 1(Tab. 1)

表 1 船舶汽轮发电机组关键性能仿真参数 Tab. 1 Key performance simulation parameters of ship turbogenerator set 参数 数值 汽轮发电机组惯性时间常数/s 0.04 汽轮机时间常数/s 0.095 压水堆时间常数/s 0.4 下垂系数 2.5 惯性系数 13.6 阻尼系数 0.9 发电机电压/kV 12 发电机频率/Hz 50

表 1 船舶汽轮发电机组关键性能仿真参数 Tab.1 Key performance simulation parameters of ship turbogenerator set

阶跃响应负荷扰动幅值在0.06～0.09 pu之间，周期是100 s的不间断阶跃负荷扰动信号，阶跃负荷扰动信号如图1所示，本文模型的控制结果如图2所示。由图2可知，本文模型控制前的发电机组频率控制质量标准指标CPS1值低于100%，且波动幅度大，说明汽轮发电机组功率分配控制已超出范围，本文模型控制后的CPS1值处于100%～200%之间，且波动较小，并在100 s以内完成控制，CPS1值保持平稳。实验证明，在舰船汽轮发电机组出现阶跃响应负荷扰动时，本文模型可有效控制负荷扰动，汽轮机进气量与发电机输出功率等均在100 s左右完成控制，控制速度较快，且超调量较小，确保汽轮进气量快速达到标准值，发电机输出稳定功率。

图 1 阶跃响应负荷扰动信号 Fig. 1 Step response load disturbance signal

图 2 本文模型阶跃响应负荷扰动控制效果 Fig. 2 Step response of the model in this paper to load disturbance control effect

在构造船舶汽轮发电机组模型内添加白噪声负荷扰动、方波负荷扰动、正弦负荷扰动，分析本文模型在控制不同负荷扰动时的控制效果，3种负荷均在汽轮发电机组正常运行200 s时突然加入，发电机转速及汽轮发电机组频率偏差控制结果如图3和图4所示，发电机转速超调量低于1 000 r/min可确保发电机正常运行。根据图3可知，本文模型可有效控制白噪声负荷扰动、方波负荷扰动、正弦负荷扰动，3种负荷扰动控制时间基本控制在100 s以内，符合负荷扰动控制标准，确保汽轮发电机组正常运行，且3种负荷扰动下，发电机转速的最高超调量仅有500 r/min左右，明显低于超调量最高标准值。实验证明,在不同负荷扰动下，本文模型均可有效控制负荷扰动，快速调整发电机转速，且超调量较小，确保汽轮发电机组正常运行。由图4可知，在3种负荷扰动下，本文方法均可有效控制负荷扰动，令发电机组频率偏差在100 s内降至0 Hz，保证船舶汽轮发电机组的稳定运行。

图 3 发电机转速控制效果 Fig. 3 Control effect of generator speed

图 4 汽轮发电机组频率偏差控制效果 Fig. 4 Frequency deviation control effect of turbine-generator set

为确保船舶汽轮发电机组稳定运行，构建船舶汽轮发电机组负荷扰动控制数学模型，有效控制发电机组负荷扰动，确保汽轮机进气量达到标准值，发电机输出功率稳定，降低发电机组区域控制偏差与频率偏差。实验结果表明，本文模型具备较优的负荷扰动控制效果，在实际应用中可为船舶安全航行提供保障。