Multi-task load forecasting of integrated energy based on progressive layered feature extraction
-
摘要: 针对综合能源系统中电、冷、热负荷存在复杂耦合关系，传统多任务学习模型难以学习到有效的多元负荷耦合特征可能导致预测精度降低的问题，本文充分考虑多元负荷复杂耦合关系，提出一种渐进式分层特征提取的综合能源多任务负荷预测模型。将全年数据按季节划分，分析各季节下电、冷、热负荷间耦合强度；采用变分模态分解将历史负荷序列分解为多个不同频率的分量，可以更好挖掘多元负荷的深层时序特征；渐进式分层提取多元负荷的耦合特征，并动态分配耦合特征对预测结果的影响权重，避免耦合特征无效时模型预测精度下降。实验结果证明，在不同的多元负荷耦合强度下，渐进式分层特征提取的多任务负荷预测在精度上有更好表现。研究结论可用于指导综合能源多元负荷预测过程。Abstract: Due to the complex coupling relationship between electric, cold and heat loads in an integrated energy system, it is difficult for traditional multi-task learning models to learn effective multi-load coupling characteristics, which may lead to reduced prediction accuracy. In this paper, a comprehensive energy multi-task load forecasting model with progressive layered feature extraction is proposed, considering the complex coupling relationship of multiple loads. Firstly, divide the annual data by season and analyze the coupling strength between electricity, cooling, and heating loads in each season. Then, by using variational mode decomposition, the historical load sequence is decomposed into multiple components of different frequencies, which can better explore the deep time series features of multiple loads. Finally, the coupling features of multiple loads are extracted progressively and the influence weights of the coupling features on the prediction results are dynamically allocated to avoid the degradation of the model prediction accuracy when the coupling features are invalid. Experimental results show that the proposed model has better performance in terms of prediction accuracy under different multi-component load coupling intensities. The conclusion can be used to guide the process of load forecasting of integrated energy.
-
能源紧缺、环境污染和气候变化是制约当今世界经济和社会可持续发展的重要因素，能源和环境问题已成为国内外高度关注的重大战略问题[1]。综合能源系统（integrated energy system，IES）把燃气机组、储能装置以及电、冷、热负荷构成一个多种异类能源互补的能源供需系统，能实现多种能源间的优势互补和能流互济，大大提高能源利用效率，是未来能源系统发展的重要方向[2-4]。
作为IES需求侧能量预测的重要方面，IES负荷预测已经成为规划、运行控制与调度的首要前提[5]。近年来人工智能发展迅速，如随机森林[6]、长短时记忆网络[7]都在负荷预测上取得了较好的成果。但是，单一预测模型不能适应综合能源系统中多元负荷波动性和随机性较强的特点，针对该问题，信号分解技术被应用于负荷预测中。文献[8]采用变分模态分解（variational mode decomposition，VMD）将多元负荷序列分解为多个模态分量进行预测，缓解了多元负荷的波动性和随机性；文献[9]在一次分解基础上对分解后波动性较强的分量进行二次分解，进一步降低了预测难度。
在综合能源系统中，多元负荷之间存在复杂的耦合关系，上述文献均未考虑多元负荷间耦合关系，预测效果欠佳。为充分利用多元负荷间耦合关系，文献[10]为多元负荷分别建立模型，将多元负荷及其他影响因素均作为特征变量输入模型进行预测；为更好地捕捉多元负荷间耦合关系，文献[11]利用像素重构充分提取了多元负荷间的时空特征，有效提升了预测精度。
以上文献都是为不同负荷或序列建立模型，模型数量较大，导致模型训练和预测时间较长。为此，可以为多元负荷建立多任务学习模型[12]，在捕捉负荷间耦合关系的同时，减小模型的复杂度和参数量。文献[13]针对多元负荷波动性强不稳定的特性将自适应滤波分解和多任务学习结合，提高了IES负荷预测的精度；文献[14]构建了基于Transformer的单编码器多解码器的多任务学习模型，在单步预测和多步预测方面均有较高的预测精度；文献[15]利用LSTNet-Skip捕获多元负荷的短期依赖性和长期依赖性，具有较强的鲁棒性；文献[16]采用注意力机制为不同任务合理分配信息，提高了预测效率；文献[17]将原始负荷数据重构为三维矩阵，并利用多任务学习方法进行训练与预测，在精度和效率上均有较好表现；文献[18]结合多任务学习与最小二乘支持向量机以缩减模型训练时间。
在负荷预测中领域针对多任务学习的研究大都基于参数硬共享机制，任务相关性越强模型表现越好。然而，电、冷、热负荷在一年的不同时段呈现不同的波动特征，多元负荷间耦合强度时强时弱，可能导致模型出现负迁移和跷跷板现象[19]。因此，若不考虑多元负荷间耦合关系，简单地使用多任务学习提取多元负荷间耦合特征，预测精度会受到较大影响。
综上，为了更好地适应多元负荷复杂耦合关系下的预测任务，提升多元负荷预测的效率与精度，本文提出一种渐进式分层特征提取的综合能源多任务负荷预测模型。首先，通过最大信息系数（maximum information coefficient，MIC）分析不同季节多元负荷间耦合强度以及多元负荷和天气因素间的相关性；随后，利用VMD分解将历史负荷序列分解为不同频率的分量，将各分量作为特征参与训练，丰富模型的输入特征；最后，通过渐进式分层提取多元负荷的耦合特征和多元负荷自身的特征，动态调整多元负荷耦合特征对预测结果的影响权重，提升多元负荷预测的精度。实验结果显示，该模型与现有模型相比，在不同多元负荷耦合关系下，能保持较高预测精度且能有效缩短模型训练时间。
1. 相关性分析
1.1 多元负荷耦合性分析
现有针对多元负荷预测的研究大多以年为单位考虑多元负荷整体的耦合关系，但由于不同的天气条件，不同季节综合能源系统各类型负荷呈现不同的波动特征，多元负荷间耦合强度也随之变化，分析不同季节多元负荷间的相互作用对多元负荷的预测具有重要意义。
美国亚利桑那州立大学坦佩校区地处常年干旱的美国西南部盐河流域，气候干燥。其所在城市菲尼克斯属于亚热带沙漠气候。受当地环境影响，坦佩校区的电、冷与热负荷需求对温度与降水相关的气象环境变化尤为敏感，且受经济影响因素较小。因此本文以亚利桑那州立大学坦佩校区的用户级IES数据为例，选择4个时间段的电、冷、热负荷作为实验数据，即2019年3~5月（春季）、2019年6~8月（夏季）、2019年9~11月（秋季）、2019年12月~2020年2月（冬季）。图1为选定时间区间的多元负荷波动曲线。从图1中3种负荷全年的变化趋势来看，电负荷和冷负荷曲线具有相似的趋势，两者均表现出夏季增加、秋季减少的特点，而热负荷则表现出相反的特点。这表明，在夏季和秋季，电、冷、热负荷是高度互补的。从图1中3种负荷的季度变化趋势来看，春季电、冷、热负荷变化平稳。随着夏季气温的升高，电负荷和冷负荷逐渐增加，在9月达到峰值，而热负荷需求下降到最低水平，变化不大。在秋季，随着气温的逐渐降低，电负荷和冷负荷均呈下降趋势，而热负荷则逐渐呈上升趋势。冬季电力负荷变化平稳，冷负荷下降，热负荷上升，达到全年峰值。
图 1 多元负荷波动曲线Fig. 1 Multivariate load fluctuation curve
下载:
全尺寸图片
最大信息系数计算基于互信息原理，通过联合概率衡量变量之间的相关性，可以计算得到变量之间的线性和非线性相关性[20]，而多元负荷间存在复杂的线性关系和非线性关系。因此，为了更准确衡量各季节多元负荷间的耦合强度，采用MIC计算不同季节电、冷、热负荷间的相关性，MIC值越大表示多元负荷间耦合强度越强。得到的各季节多元负荷间相关性结果如图2所示。
图 2 各季节多元负荷间相关性Fig. 2 Correlation between multiple loads in each season下载:
全尺寸图片
由图2可见，多元负荷耦合强度在不同季节存在明显差异。电负荷与冷负荷在秋季的耦合强度明显高于其他3个季节，春季与夏季耦合强度相当，冬季耦合强度最弱。电负荷与热负荷的耦合强度变化较大，夏季二者MIC值为0.16，秋季则高达0.73，但在冬季又降至0.19。冷负荷与热负荷除夏季的耦合强度较弱外，其他季节耦合强度均较高。
上述分析表明多元负荷在不同季节呈现不同的耦合强度，因此在进行多元负荷预测时，有必要针对不同季节分别建立预测模型。
1.2 多元负荷与天气因素相关性分析
电、冷、热3种负荷除存在复杂耦合关系外，也受到天气因素的影响。不同季节的天气因素对多元负荷影响程度不同，挖掘天气因素和多元负荷在不同季节的相关性，选取有效的影响因素，可以提升多元负荷预测的精度。本文采用MIC计算天气因素和多元负荷的相关性，选取MIC值较高的作为模型输入。各季节天气因素与多元负荷相关性结果如图3所示。
图 3 各季节多元负荷与天气因素相关性Fig. 3 Correlation between multiple loads in each season and weather factors下载:
全尺寸图片
由图3可看出，温度、降雨量在秋季与电、冷、热负荷均有较强相关性，风速与电、冷、热负荷全年相关性都较弱，其他天气因素在不同季节与电、冷、热负荷的相关性也不尽相同。为合理利用天气因素提升多元负荷预测精度，选取各季节与多元负荷MIC值均大于0.1的天气因素作为输入特征参与模型训练。
现有针对多元负荷预测的研究大多以年为单位考虑多元负荷整体的耦合关系，但由于不同的天气条件，不同季节综合能源系统各类型负荷呈现不同的波动特征，多元负荷间耦合强度也随之变化，分析不同季节多元负荷间的相互作用对多元负荷的预测具有重要意义。
2. 渐进式分层特征提取的综合能源多任务负荷预测模型
2.1 模型框架
本文所提渐进式分层提取的综合能源系统多任务负荷预测模型如图4所示。
图 4 渐进式分层特征提取的综合能源多任务负荷预测模型Fig. 4 Integrated multi-task energy load forecasting model with progressive layered feature extraction下载:
全尺寸图片
模型预测流程如下：
1）特征选取。首先，搜集综合能源系统多元负荷历史数据以及气象数据，对不同季节数据进行数据预处理和相关性分析，选取合适的特征参与模型训练。
2）多元负荷历史序列分解。对综合能源系统电、冷、热负荷历史序列进行VMD分解，并将分解序列与选择的气象特征结合作为模型的输入数据。以此提取多元负荷在时间尺度上更丰富的特征，提升模型的泛化性和稳定性。
3）多元负荷耦合特征提取。利用渐进式分层多任务学习提取多元负荷间耦合特征，以及多元负荷自身的特征，并利用门控机制动态地融合2种特征，根据耦合特征是否利于预测精度的提升，自适应调整其权重，提升模型性能。
4）多元负荷时序特征提取。通过各子任务层分别学习电、冷、热负荷各自的时序信息，并利用回归层对多元负荷进行预测。
2.2 多元负荷历史序列分解
综合能源系统中多元负荷波动性较强，预测难度较高。为提高预测精度，传统方法将多元负荷历史序列分解为稳定性更强的分量，并对各分量分别预测，该方法虽能有效提升预测精度，但过多的分量大大降低了预测效率。
为兼顾预测精度和效率，可将分解得到的分量视为多元负荷在时间尺度上更深层的特征，丰富模型的输入特征，提升模型的泛化性和稳定性。现有分解算法中，经验模态分解算法（empirical mode decomposition, EMD）易出现模态混叠[21]，而集合经验模态分解算法（ensemble empirical mode decomposition，EEMD）和完全集合经验模态分解算法（complete ensemble empirical mode decomposition，CEEMD）分解算法在EMD基础上加入白噪声，虽不易出现模态混叠[22]，但其分量为自适应生成，当数量过多时易产生冗余特征。本文采用VMD分解算法，可以有效避免模态混叠且能手动设定模态分解数量的。VMD分解步骤如下：
1） 对多元负荷历史序列
$ f(t) $ 的模态函数$ u_{k}(t) $ 进行希尔伯特变换。$$ \left[\delta(t)+\frac{\mathrm{j}}{\text{π }t}\right]*u_k(t) $$ 式中：
$ \delta(t) $ 为狄拉克分布，*为卷积运算。2） 将模态函数
$ u_{k}(t) $ 的频谱调制到基频带$$ \left\{\left[\delta(t)+\frac{\mathrm{j}}{\text{π }t}\right]\cdot u_k(t)\right\}\cdot\text{e}^{-\mathrm{j}\omega_kt} $$ 式中
$ \omega_{k} $ 为$ u_{k}(t) $ 的中心频率。3）通过高斯平滑得到每个模态的带宽，通过带宽估计，将约束变分问题写为
$$ \left\{\begin{array}{l}\underset{\left\{{u}_{k}\right\},\left\{{w}_{k}\right\}}{\mathrm{min}}\left\{\displaystyle\sum _{k=1}^{K}\bigg\| {\partial }_{t}\left[\left(\delta (t)+\frac{{\mathrm{j}}}{\text{π}t}\right)\cdot {u}_{k}(t)\right]{\text{e}}^{-j{\omega }_{k}t}\bigg\|_{2}^{2}\right\}\\ {\mathrm{s.t}}.\displaystyle\sum _{k=1}^{K}{u}_{k}(t)=f(t)\end{array} \right.$$ 式中：K为分解数量，
$ \partial_{t} $ 为对t求偏导。4）为将约束变分问题转化为非约束变分问题，引入二次平衡参数
$ \alpha $ 和拉格朗日乘子$ \lambda $ 。$$ \begin{array}{c} L({u}_{k},{\omega }_{k},\lambda )=\alpha \displaystyle\sum _{k=1}^{K}\bigg\| {\partial }_{t}\left[\left(\delta (t)+\dfrac{{\mathrm{j}}}{\text{π}t}\right)\cdot {u}_{k}(t)\right]{\text{e}}^{-{\mathrm{j}}{w}_{1}t}\bigg\|_{2}^{2}+\\ \bigg\| f(t)-\displaystyle\sum _{k=1}^{K}{u}_{k}(t)\bigg\|_{2}^{2}+ < \lambda (t),f(t)-\displaystyle\sum _{k=1}^{K}{u}_{k}(t) > \end{array} $$ 式中
$ < \cdot > $ 为求内积。5）通过交替方向乘子法使
$ \omega_{k} $ 和$ u_{k}(t) $ 在2个方向更新求解，获得K个分量。$$ \overset{\frown}{u_k^{n+1}}(\omega)=\dfrac{\overset{\frown}{f}(\omega)-\displaystyle\sum_{i \neq k} \overset{\frown}{u}_i^n(\omega)+\dfrac{\overset{\frown}{\lambda}^n(\omega)}{2}}{1+2 \alpha\left(\omega-\omega_k^n\right)^2}$$ $$\omega_k^{n+1}=\frac{\displaystyle\int_0^{\infty} \omega\left|\overset{\frown}{u}_k^{n+1}(\omega)\right|^2 {\mathrm{d}} \omega}{\displaystyle\int_0^{\infty}\left|\overset{\frown}{u}_k^{n+1}(\omega)\right|^2 {\mathrm{d}} \omega}$$ 式中：
$ n $ 为迭代次数，$\overset{\frown}{u}_k^{n+1}(\omega) $ 、$ \overset{\frown}{f}(\omega) $ 、$ \overset{\frown}{\lambda}^{n}(\omega) $ 分别为$ u_{k}^{n+1}(t) $ 、$ f(t) $ 、$ \lambda(t) $ 的傅里叶变换。2.3 多元负荷耦合特征提取
传统的负荷预测任务大多针对单一负荷进行预测，然而在IES中多种负荷相互影响，多元负荷间存在复杂的耦合关系。为有效缩短模型的时间开销以及充分利用多元负荷间的耦合特征提升预测精度，传统的基于硬共享机制的多任务学习方法被应用于IES负荷预测中。该方法为提取多元负荷间的耦合特征，在模型中加入了共享层，使各负荷预测任务间共享信息，提升各个负荷预测任务的表现[23]。但是，当各负荷预测任务相关性较弱时，会导致模型无法学习到有效的耦合特征，所有负荷预测任务都无法充分学习，模型学习效果较之单任务学习更差，此时模型出现负迁移现象；当各负荷预测任务相关性较为复杂时，模型为提升某一负荷预测效果会牺牲其他负荷预测的效果，此时模型出现跷跷板现象[24]。
硬参数共享为底层参数共享，即经任务数据的融合，通过共享隐层实现任务耦合关系的表示，但是各个任务的特征表示可能存在差异，这可能会导致在某些任务上性能下降。混合专家网络借鉴了硬参数共享的方法，采用多个专家网络学习任务信息，并且通过门控制系统捕获任务之间的联系，但混合专家网络中所有专家是共享的，可能带来噪声，无法捕捉更复杂的任务关系问题。因此本文基于混合专家网络[25]，提出渐进式分层特征提取方法，通过引入多层级专家和门控制网络，采用渐进分离提取的方法使一部分专家网络专注于各自任务，一部分专家网络专注共享信息。渐进式分层特征提取方法保留了属于任务的专家同时还有基于共享的专家。为了使专家之间有交互，增加了额外的网络层让专家之间进行交互。
为缓解传统多任务学习在负荷预测中存在的负迁移和跷跷板现象，本文提出渐进式分层特征提取方法学习多元负荷间耦合特征。渐进式分层特征提取方法由专家网络、共享网络和门控单元构成，其中，不同的专家网络学习各负荷自身的特征，共享网络学习多元负荷间的耦合特征，门控单元使用Softmax激活函数动态融合多元负荷自身特征和多元负荷间耦合特征。
该方法通过分离专家网络和共享网络，保有了多元负荷自身特征，可以降低无效耦合特征对预测结果的影响，避免出现负迁移现象。同时，专家网络间的分离去除了特定负荷预测任务与其他负荷预测任务的联系，能有效避免跷跷板现象。渐进式分层特征提取的综合能源多任务负荷预测基本结构如图5所示。
图 5 渐进式分层特征提取Fig. 5 Progressive layered extraction下载:
全尺寸图片
渐进式分层特征提取的综合能源多任务负荷预测工作流程如下：
1）将多元负荷历史序列及其分量，温度、湿度、气压等选定的天气因素历史数据，分别输入到第一层特征提取层的共享网络、专家网络和门控单元中，利用门控单元融合共享网络和专家网络的输出，得到第一层特征提取层的输出
$ g^{m, 1}(x) $ 。$$ g^{m, 1}(x)=w^{m, 1}(x) S^{m, 1}(x) $$ 式中：
$ x $ 为输入，$ m $ 为负荷预测任务编号，${S^{m,1}}(x)$ 为第一层中共享网络和第$ m $ 个专家网络的输出构成的矩阵，$ w^{m, 1}(x) $ 为第一层中第$ m $ 个门控单元的输出。2）为更深层次提取多元负荷间耦合特征，建立多层特征提取层，每层输入为上一层特征提取层的输出。
$$ g^{m, j}(x)=w^{m, j}\left(g^{m, j-1}(x)\right) S^{m, j}\left(g^{m, j-1}(x)\right) $$ 式中
$ j $ 为特征提取层数编号。3）最后一层特征提取层N不再设置共享网络的门控单元，将各专家网络门控单元的输出作为负荷预测层的输入，得到最后的多元负荷预测结果
$ y^{m} $ 为$$ y^{m}=t^{m}\left(g^{m, N}(x)\right) $$ 式中：
$ N $ 为特征提取层数，$ t^{m}(\cdot) $ 为第$ m $ 个负荷预测单元的输出。2.4 多元负荷时序特征提取
在负荷预测中，当前负荷不仅与历史负荷有关，还可能受到未来负荷和其他环境因素的影响。传统循环神经网络仅基于过去的信息来预测未来，在负荷预测上有所限制。为了更全面地捕捉未来负荷与当前负荷的关系，可以采用双向长短时记忆网络（bidirectional long short-term memory，BiLSTM）学习多元负荷的时序特征。BiLSTM是一种特殊的双向循环网络，由2个方向相反的长短时记忆网络（long short-term memory，LSTM）组成，能够同时从前向和后向对输入数据进行深度挖掘。通过这种方式，BiLSTM能够综合考虑时序数据的正反向信息，提供更准确的预测结果。BiLSTM的结构如图6所示。由图6可见，在每个时刻，网络中的隐藏状态由不同方向的2个LSTM共同迭代。
图 6 BiLSTM结构Fig. 6 BiLSTM structure下载:
全尺寸图片
$$ \overrightarrow {{{\boldsymbol{h}}_t}} = {\text{GRU}}(\overrightarrow {{{\boldsymbol{h}}_{t - 1}}} ,{{\boldsymbol{x}}_t}) $$ $$ \overleftarrow {{{\boldsymbol{h}}_t}} = {\text{GRU}}(\overleftarrow {{{\boldsymbol{h}}_{t - 1}}} ,{{\boldsymbol{x}}_t}) $$ $$ {\boldsymbol{h}}_{t}={\boldsymbol{W}}_{t} \overrightarrow{{\boldsymbol{h}}}_{t}+{\boldsymbol{V}}_{t} \overleftarrow{{\boldsymbol{h}}}_{t}+{\boldsymbol{b}}_{t} $$ 式中：
$ {\boldsymbol{x}}_{t} $ 为输入，$ \overrightarrow{{\boldsymbol{h}}_{t}} $ 为t时刻正向LSTM的输出状态，$ \overleftarrow{{\boldsymbol{h}}}_{t} $ 为t时刻反向LSTM的输出状态，$ {\boldsymbol{W}}_{t} $ 和$ {\boldsymbol{V}}_{t} $ 为输出隐藏状态$ \overrightarrow{{\boldsymbol{h}}_{t}} $ 和$ \overleftarrow{{\boldsymbol{h}}}_{t} $ 的权重矩阵，$ {\boldsymbol{b}}_{t} $ 为偏置矩阵。2.5 模型评价指标
本文选择均方根误差（root mean square error，RMSE）RMSE、平均绝对百分比误差（mean absolute percentage error，MAPE）MAPE和模型训练时间作为模型评价指标，具体计算公式为
$$ R_{{\mathrm{MSE}}}=\sqrt{\frac{1}{n} \sum_{l=1}^{n}\left(y_{l}-y_{l}^{\prime}\right)^{2}} $$ $$ M_{{\mathrm{APE}}}=\frac{1}{n} \displaystyle\sum_{l=1}^n \left\| \dfrac{y'_l-y_l}{y_i} \right\| \times 100\% $$ 式中：
$ n $ 为预测点总数，$ y_{l} $ 为第l个预测点的真实值，$ y_{l}^{\prime} $ 为第$ l $ 个预测点的预测值。3. 算例分析
为验证本文所提模型的准确性和可靠性，采用美国亚利桑那州立大学坦佩校区综合能源数据集。数据集包含2019年3月1日—2020年2月29日的电、冷、热负荷数据，数据采样频率为1 h/次，共
8784 条数据。气象数据采自凤凰城国际机场气象站[26]，气象特征包括温度、太阳辐射、湿度、气压、降雨量和风速。其中，选取春、夏、秋和冬4个季节最后一周为测试集，其余数据按3∶1划分为训练集和验证集，对未来1 h各季节的电、冷、热负荷进行预测。将本文模型与单任务学习模型RNN、LSTM、seq2seq、transformer以及基于硬共享机制的多任务学习模型MTL-LSTM共5种模型进行对比分析，验证本文所提模型的有效性。本实验硬件配置为Tesla V100，CUDA为11.6，编程语言采用Python，使用TensorFlow框架实现。由于坦佩校区采用传感器采集历史负荷数据[27]，建筑物数量较多，采集过程中出现个别数据异常的问题，从而极大影响模型的预测性能，降低预测精度。因此，在本文中使用均值校正方法来处理异常值[28]，以保证数据集的质量。为了消除物理维度的差异，必须对负荷数据和天气数据进行归一化，其公式为
$$ X^i=(X-\mu)/(X\mathrm{^{max}}-X^{\mathrm{min}}) $$ 式中：
$ X $ 为输入的特征序列，$ {X^i} $ 为归一化处理后的序列，$ X\mathrm{^{max}} $ 和$ X\mathrm{^{min}} $ 分别为样本数据的最大值和最小值。经过归一化处理后，数据的值都在[0, 1]。3.1 多元负荷序列分解实验
在利用VMD[29]对多元负荷历史数据进行分解前，需确定VMD分解的各项参数使分解效果达到最佳。通过多次试验对比，确定VMD模态分解数量为4，二次平衡参数设为
1000 。以春季为例，多元负荷VMD分解结果如图7~9所示。
图 7 春季电负荷历史序列及VMD分解结果Fig. 7 Historical series of spring electric load and SVMD decomposition results下载:
全尺寸图片
图 8 春季冷负荷历史序列及VMD分解结果Fig. 8 Historical series of spring cool load and VMD decomposition results下载:
全尺寸图片
图 9 春季热负荷历史序列及VMD分解结果Fig. 9 Historical series of spring hot load and VMD decomposition results下载:
全尺寸图片
从分解结果可以看出imf1较为平缓，能有效反映多元负荷的变化趋势，imf2~imf4是高频分量，能有效反映多元负荷的变化规律。
3.2 消融实验
为验证变分模态分解和渐进式分层特征提取的有效性，对上述模块进行了消融研究。未采用变分模态分解和渐进式分层特征提取的预测模型命名为BiLSTM，采用变分模态分解且未采用渐进式分层提取的预测模型命名为VMD-BiLSTM。
2种消融模型与本文模型对春季电冷热负荷的预测结果和模型性能对比如图10和表1所示。由表1可见， BiLSTM模型在对3种负荷的预测误差最大，VMD-BiLSTM在经VMD分解丰富输入特征后，预测精度有较大提升。添加渐进式分层提取后，模型的训练时间大幅缩减，同时在预测精度上也略微提升。经消融实验证明，VMD能有效丰富模型的输入特征[30]，提升模型的预测精度，渐进式分层提取能在保持预测精度的同时，大幅提升模型的训练与预测效率。
图 10 春季多元负荷消融模型预测结果Fig. 10 Prediction results of ablation modeling of multiple loads in spring下载:
全尺寸图片
表 1 春季多元负荷消融模型性能对比Table 1 Performance comparison of ablation experimental models in spring模型 RMSE MAPE/% 训练时间/s 训练参数/个 电负荷/kW 冷负荷/Ton 热负荷/（MMBtu/h） 电负荷 冷负荷 热负荷 BiLSTM 610.68 165.76 0.29 2.17 3.2 3.67 170 37409 VMD-BiLSTM 445.26 121.03 0.13 1.69 1.55 1.93 200 38177 本文模型 315.72 119.71 0.14 1.14 1.47 1.98 151 78331 3.3 对比实验
利用本文模型和5种对比模型对不同季节的电、冷、热负荷进行训练与预测。春季测试集的预测结果如图11和表2所示。夏季测试集的预测结果如图12和表3所示，秋季测试集的预测结果如图13和表4所示，冬季测试集的预测结果如图14和表5所示。
图 11 春季多元负荷6种模型预测结果Fig. 11 Prediction results of six models of multi-load in spring下载:
全尺寸图片
图 12 夏季多元负荷6种模型预测结果Fig. 12 Prediction results of six models of multi-load in summer下载:
全尺寸图片
图 13 秋季多元负荷6种模型预测结果Fig. 13 Prediction results of six models of multi-load in autumn下载:
全尺寸图片
图 14 冬季多元负荷6种模型预测结果Fig. 14 Prediction results of six models of multi-load in winter下载:
全尺寸图片
由图11~14可见，在不同季节中，本文模型的预测曲线与电、冷、热负荷的原始序列贴合最近，其他模型在不同时刻的拟合效果各有优劣。预测结果中，在预测对象变化趋势相对缓慢的部分，模型预测结果基本能够拟合其趋势。但在变化较剧烈的部分，例如负荷功率的峰值和谷值部分，预测值与实际值则存在一定偏差。
表 2 春季6种模型性能对比Table 2 Performance comparison of six models in spring模型 RMSE MAPE/% 训练时间/s 训练参数/个 电负荷/kW 冷负荷/t 热负荷/（MMBtu/h） 电负荷 冷负荷 热负荷 RNN 701.68 229.85 0.26 2.62 2.80 3.48 255 4161 LSTM 663.16 190.17 0.25 2.39 2.37 3.20 353 15009 Seq2seq 632.82 200.00 0.25 2.21 2.53 3.27 748 18849 Transformer 727.29 221.00 0.31 2.52 2.64 3.87 1132 123661 MTL-LSTM 427.18 444.58 0.26 1.66 5.19 3.38 138 40675 本文模型 315.72 119.71 0.14 1.14 1.47 1.98 151 78331 表 3 夏季6种模型性能对比Table 3 Performance comparison of six models in summer模型 RMSE MAPE/% 训练时间/s 电负荷/kW 冷负荷/t 热负荷/（MMBtu/h） 电负荷 冷负荷 热负荷 RNN 853.18 515.23 0.15 2.08 2.41 2.28 264 LSTM 1247.25 474.92 0.14 3.18 2.31 2.10 238 Seq2seq 940.31 630.19 0.13 2.41 2.93 1.91 873 Transformer 1674.02 835.34 0.14 4.47 3.73 2.05 1057 MTL-LSTM 787.04 1022.60 0.13 2.30 5.60 1.97 95 本文模型 375.20 278.12 0.05 0.97 1.47 1.39 103 表 4 秋季6种模型性能对比Table 4 Performance comparison of six models in autumn模型 RMSE MAPE/% 训练时间/s 电负荷/kW 冷负荷/t 热负荷/（MMBtu/h） 电负荷 冷负荷 热负荷 RNN 745.20 789.14 0.87 2.81 15.90 7.47 356 LSTM 874.22 544.01 0.63 3.37 11.00 5.48 438 Seq2seq 720.97 554.74 0.48 2.75 11.40 4.18 817 Transformer 909.31 508.60 0.50 3.54 10.30 4.34 1257 MTL-LSTM 3142.70 1628.00 1.91 13.60 26.20 18.50 116 本文模型 291.17 246.41 0.22 1.18 5.59 2.18 147 表 5 冬季6种模型性能对比Table 5 Performance comparison of six models in winter模型 RMSE MAPE/% 训练时间/s 电负荷/kW 冷负荷/t 热负荷/（MMBtu/h） 电负荷 冷负荷 热负荷 RNN 1023.90 391.84 0.63 4.62 7.67 4.35 436 LSTM 611.24 187.75 0.51 2.20 3.95 3.69 582 Seq2seq 608.54 154.37 0.49 2.12 3.04 3.51 653 Transformer 532.73 190.90 0.48 1.94 3.42 3.81 973 MTL-LSTM 354.24 260.89 0.47 1.46 5.04 3.66 186 本文模型 239.94 106.10 0.26 0.99 2.02 2.02 242 由表2~5可见，在模型预测精度上，单任务学习模型在不同季节中对不同负荷的预测精度有高有低。基于硬共享机制的MTL-LSTM模型在春季、夏季和冬季中，对电负荷的预测精度均高于单任务学习模型，但在秋季对3种负荷的预测精度却远低于其余模型。
本文模型在不同季节中对电、冷、热负荷的预测精度均为最佳。在模型训练时间上，单任务学习模型在不同季节中均远高于多任务学习模型。
分析各季节预测结果，得出以下结论：
1）本文模型及MTL-LSTM模型采用多任务学习的方法，明显缩短了模型的训练时间，提升了模型的效率。当模型能提取到有效的多元负荷耦合特征时，多任务学习也能提升模型的预测精度，如春季、夏季和冬季中，2种模型在电负荷的预测精度上均有更好表现。
2）渐进式分层提取方法能更好地利用多元负荷间耦合特征。4个季节中，多元负荷呈现不同的耦合关系。MTL-LSTM模型直接利用捕捉到的多元负荷耦合特征进行预测，在各季节中相比单任务学习模型均存在不同程度预测精度降低的情况。本文模型采用渐进式分层提取的方法合理分配多元负荷耦合特征的权重，削弱无效多元负荷耦合特征对预测精度的影响，在各季节中均取得了更好的预测效果。
3）将VMD分解得到的分量作为输入特征有助于提升模型的预测精度。在多元负荷波动性较强的秋季，多元负荷的时序特征难以捕捉，各模型预测精度均较低。本文模型利用VMD分解得到负荷分量丰富了输入特征，有效缓解了多元负荷波动性对预测精度的影响，相比其余5种模型，秋季多元负荷的预测精度大幅提升。
4. 结论
本文针对多元负荷在各季节耦合强度不同特点，提出一种考虑多元负荷复杂耦合关系的综合能源系统负荷预测模型。
1）利用多任务学习的思想，减少了模型数量，缩短了多元负荷预测模型的训练时间。
2）通过VMD分解挖掘了多元负荷的更多特征，在数据层面丰富了模型的输入特征，使得模型泛化性更强，预测精度更高。
3）采用渐进式分层特征提取方法，合理分配多元负荷间耦合特征与多元负荷自身特征的权重，能更好地适应不同多元负荷耦合强度下的预测任务，提升多元负荷的预测精度。
本文仅考虑了电、冷、热3种负荷，但在综合能源系统中还有其他种类的负荷类型，后续工作将进一步考虑更多种类负荷的耦合关系进行综合能源系统负荷预测。
-
图 1 多元负荷波动曲线
Fig. 1 Multivariate load fluctuation curve
下载:
全尺寸图片
图 2 各季节多元负荷间相关性
Fig. 2 Correlation between multiple loads in each season
下载:
全尺寸图片
图 3 各季节多元负荷与天气因素相关性
Fig. 3 Correlation between multiple loads in each season and weather factors
下载:
全尺寸图片
图 4 渐进式分层特征提取的综合能源多任务负荷预测模型
Fig. 4 Integrated multi-task energy load forecasting model with progressive layered feature extraction
下载:
全尺寸图片
图 5 渐进式分层特征提取
Fig. 5 Progressive layered extraction
下载:
全尺寸图片
图 6 BiLSTM结构
Fig. 6 BiLSTM structure
下载:
全尺寸图片
图 7 春季电负荷历史序列及VMD分解结果
Fig. 7 Historical series of spring electric load and SVMD decomposition results
下载:
全尺寸图片
图 8 春季冷负荷历史序列及VMD分解结果
Fig. 8 Historical series of spring cool load and VMD decomposition results
下载:
全尺寸图片
图 9 春季热负荷历史序列及VMD分解结果
Fig. 9 Historical series of spring hot load and VMD decomposition results
下载:
全尺寸图片
图 10 春季多元负荷消融模型预测结果
Fig. 10 Prediction results of ablation modeling of multiple loads in spring
下载:
全尺寸图片
图 11 春季多元负荷6种模型预测结果
Fig. 11 Prediction results of six models of multi-load in spring
下载:
全尺寸图片
图 12 夏季多元负荷6种模型预测结果
Fig. 12 Prediction results of six models of multi-load in summer
下载:
全尺寸图片
图 13 秋季多元负荷6种模型预测结果
Fig. 13 Prediction results of six models of multi-load in autumn
下载:
全尺寸图片
图 14 冬季多元负荷6种模型预测结果
Fig. 14 Prediction results of six models of multi-load in winter
下载:
全尺寸图片
表 1 春季多元负荷消融模型性能对比
Table 1 Performance comparison of ablation experimental models in spring
模型 RMSE MAPE/% 训练时间/s 训练参数/个 电负荷/kW 冷负荷/Ton 热负荷/（MMBtu/h） 电负荷 冷负荷 热负荷 BiLSTM 610.68 165.76 0.29 2.17 3.2 3.67 170 37409 VMD-BiLSTM 445.26 121.03 0.13 1.69 1.55 1.93 200 38177 本文模型 315.72 119.71 0.14 1.14 1.47 1.98 151 78331 表 2 春季6种模型性能对比
Table 2 Performance comparison of six models in spring
模型 RMSE MAPE/% 训练时间/s 训练参数/个 电负荷/kW 冷负荷/t 热负荷/（MMBtu/h） 电负荷 冷负荷 热负荷 RNN 701.68 229.85 0.26 2.62 2.80 3.48 255 4161 LSTM 663.16 190.17 0.25 2.39 2.37 3.20 353 15009 Seq2seq 632.82 200.00 0.25 2.21 2.53 3.27 748 18849 Transformer 727.29 221.00 0.31 2.52 2.64 3.87 1132 123661 MTL-LSTM 427.18 444.58 0.26 1.66 5.19 3.38 138 40675 本文模型 315.72 119.71 0.14 1.14 1.47 1.98 151 78331 表 3 夏季6种模型性能对比
Table 3 Performance comparison of six models in summer
模型 RMSE MAPE/% 训练时间/s 电负荷/kW 冷负荷/t 热负荷/（MMBtu/h） 电负荷 冷负荷 热负荷 RNN 853.18 515.23 0.15 2.08 2.41 2.28 264 LSTM 1247.25 474.92 0.14 3.18 2.31 2.10 238 Seq2seq 940.31 630.19 0.13 2.41 2.93 1.91 873 Transformer 1674.02 835.34 0.14 4.47 3.73 2.05 1057 MTL-LSTM 787.04 1022.60 0.13 2.30 5.60 1.97 95 本文模型 375.20 278.12 0.05 0.97 1.47 1.39 103 表 4 秋季6种模型性能对比
Table 4 Performance comparison of six models in autumn
模型 RMSE MAPE/% 训练时间/s 电负荷/kW 冷负荷/t 热负荷/（MMBtu/h） 电负荷 冷负荷 热负荷 RNN 745.20 789.14 0.87 2.81 15.90 7.47 356 LSTM 874.22 544.01 0.63 3.37 11.00 5.48 438 Seq2seq 720.97 554.74 0.48 2.75 11.40 4.18 817 Transformer 909.31 508.60 0.50 3.54 10.30 4.34 1257 MTL-LSTM 3142.70 1628.00 1.91 13.60 26.20 18.50 116 本文模型 291.17 246.41 0.22 1.18 5.59 2.18 147 表 5 冬季6种模型性能对比
Table 5 Performance comparison of six models in winter
模型 RMSE MAPE/% 训练时间/s 电负荷/kW 冷负荷/t 热负荷/（MMBtu/h） 电负荷 冷负荷 热负荷 RNN 1023.90 391.84 0.63 4.62 7.67 4.35 436 LSTM 611.24 187.75 0.51 2.20 3.95 3.69 582 Seq2seq 608.54 154.37 0.49 2.12 3.04 3.51 653 Transformer 532.73 190.90 0.48 1.94 3.42 3.81 973 MTL-LSTM 354.24 260.89 0.47 1.46 5.04 3.66 186 本文模型 239.94 106.10 0.26 0.99 2.02 2.02 242 -
[1] 田德, 陈忠雷, 邓英. 考虑预测误差的综合能源系统优化调度模型[J]. 太阳能学报, 2019, 40(7): 1890−1896. TIAN De, CHEN Zhonglei, DENG Ying. Integrated energy system optimal dispatching model considering prediction errors[J]. Acta energiae solaris sinica, 2019, 40(7): 1890−1896. [2] 刁涵彬, 李培强, 吕小秀, 等. 考虑多元储能差异性的区域综合能源系统储能协同优化配置[J]. 电工技术学报, 2021, 36(1): 151−165. DIAO Hanbin, LI Peiqiang, LYU Xiaoxiu, et al. Coordinated optimal allocation of energy storage in regional integrated energy system considering the diversity of multi-energy storage[J]. Transactions of China electrotechnical society, 2021, 36(1): 151−165. [3] 陈明昊, 孙毅, 谢志远. 基于双层深度强化学习的园区综合能源系统多时间尺度优化管理[J]. 电工技术学报, 2023, 38(7): 1864−1881. CHEN Minghao, SUN Yi, XIE Zhiyuan. The multi-time-scale management optimization method for park integrated energy system based on the bilayer deep reinforcement learning[J]. Transactions of China electrotechnical society, 2023, 38(7): 1864−1881. [4] 吕佳炜, 张沈习, 程浩忠, 等. 考虑互联互动的区域综合能源系统规划研究综述[J]. 中国电机工程学报, 2021, 41(12): 4001−4021. LYU Jiawei, ZHANG Shenxi, CHENG Haozhong, et al. Review on district-level integrated energy system planning considering interconnection and interaction[J]. Proceedings of the CSEE, 2021, 41(12): 4001−4021. [5] 朱继忠, 董瀚江, 李盛林, 等. 数据驱动的综合能源系统负荷预测综述[J]. 中国电机工程学报, 2021, 41(23): 7905−7924. ZHU Jizhong, DONG Hanjiang, LI Shenglin, et al. Review of data-driven load forecasting for integrated energy system[J]. Proceedings of the CSEE, 2021, 41(23): 7905−7924. [6] ZHOU Mo, JIN Min. Holographic ensemble forecasting method for short-term power load[J]. IEEE transactions on smart grid, 2019, 10(1): 425−434. doi: 10.1109/TSG.2017.2743015 [7] KONG Weicong, DONG Zhaoyang, JIA Youwei, et al. Short-term residential load forecasting based on LSTM recurrent neural network[J]. IEEE transactions on smart grid, 2019, 10(1): 841−851. doi: 10.1109/TSG.2017.2753802 [8] 叶剑华, 曹旌, 杨理, 等. 基于变分模态分解和多模型融合的用户级综合能源系统超短期负荷预测[J]. 电网技术, 2022, 46(7): 2610−2622. YE Jianhua, CAO Jing, YANG Li, et al. Ultra short-term load forecasting of user level integrated energy system based on variational mode decomposition and multi-model fusion[J]. Power system technology, 2022, 46(7): 2610− 2622. [9] 陈锦鹏, 胡志坚, 陈纬楠, 等. 二次模态分解组合DBiLSTM-MLR的综合能源系统负荷预测[J]. 电力系统自动化, 2021, 45(13): 85−94. doi: 10.7500/AEPS20200829004 CHEN Jinpeng, HU Zhijian, CHEN Weinan, et al. Load prediction of integrated energy system based on combination of quadratic modal decomposition and deep bidirectional long short-term memory and multiple linear regression[J]. Automation of electric power systems, 2021, 45(13): 85−94. doi: 10.7500/AEPS20200829004 [10] 吴伟杰, 吴杰康, 雷振, 等. 基于CSO优化深度信念网络的园区能源需求预测方法[J]. 电网技术, 2021, 45(10): 3859−3868. WU Weijie, WU Jiekang, LEI Zhen, et al. Park energy demand forecasting based on CSO optimized deep belief network[J]. Power system technology, 2021, 45(10): 3859−3868. [11] 栗然, 孙帆, 丁星, 等. 考虑多能时空耦合的用户级综合能源系统超短期负荷预测方法[J]. 电网技术, 2020, 44(11): 4121−4134. LI Ran, SUN Fan, DING Xing, et al. Ultra short-term load forecasting for user-level integrated energy system considering multi-energy spatio-temporal coupling[J]. Power system technology, 2020, 44(11): 4121−4134. [12] LEE S, SON Y. Multitask learning with single gradient step update for task balancing[J]. Neurocomputing, 2022, 467: 442−453. doi: 10.1016/j.neucom.2021.10.025 [13] 欧阳静, 杨吕, 尹康, 等. 基于ALIF-LSTM多任务学习的综合能源系统短期负荷预测[J]. 太阳能学报, 2022, 43(9): 499−507. OUYANG Jing, YANG Lyu, YIN Kang, et al. Short-term load forecasting method for integrated energy system based on ALIF-LSTM and multi-task learning[J]. Acta energiae solaris sinica, 2022, 43(9): 499−507. [14] WANG Chen, WANG Ying, DING Zhetong, et al. A Transformer-based method of multi-energy load forecasting in integrated energy system[J]. IEEE transactions on smart grid, 2022, 13(4): 2703−2714. doi: 10.1109/TSG.2022.3166600 [15] 鲁斌, 霍泽健, 俞敏. 基于LSTNet-Skip的综合能源系统多元负荷超短期预测[J]. 中国电机工程学报, 2023, 43(6): 2273−2283. LU Bin, HUO Zejian, YU Min. Multi load ultra short-term forecasting of integrated energy system based on LSTNet-Skip[J]. Proceedings of CSEE, 2023, 43(6): 2273−2283. [16] NIU Dongxiao, YU Min, SUN Lijie, et al. Short-term multi-energy load forecasting for integrated energy systems based on CNN-BiGRU optimized by attention mechanism[J]. Applied energy, 2022, 313: 118801. doi: 10.1016/j.apenergy.2022.118801 [17] TAN Zhongfu, DE G, LI Menglu, et al. Combined electricity-heat-cooling-gas load forecasting model for integrated energy system based on multi-task learning and least square support vector machine[J]. Journal of cleaner production, 2020, 248: 119252. doi: 10.1016/j.jclepro.2019.119252 [18] LI Ke, MU Yuchen, YANG Fan, et al. A novel short-term multi-energy load forecasting method for integrated energy system based on feature separation-fusion technology and improved CNN[J]. Applied energy, 2023, 351: 121823. doi: 10.1016/j.apenergy.2023.121823 [19] LI Keyao, XU Jungang. AC-MMOE: a multi-gate mixture-of-experts model based on attention and convolution[J]. Procedia computer science, 2023, 222: 187−196. doi: 10.1016/j.procs.2023.08.156 [20] GUO Yixiu, LI Yong, QIAO Xuebo, et al. BiLSTM multitask learning-based combined load forecasting considering the loads coupling relationship for multienergy system[J]. IEEE transactions on smart grid, 2022, 13(5): 3481−3492. doi: 10.1109/TSG.2022.3173964 [21] 梁李芳, 关东海, 张吉, 等. 基于时空注意力机制的多元时间序列异常检测[J]. 计算机科学, 2023, 50(S2): 450−457. doi: 10.11896/jsjkx.230300022 LIANG Lifang, GUAN Donghai, ZHANG Ji, et al. Anomaly detection of multivariate time series based on spatio-temporal attention mechanism[J]. Computer science, 2023, 50(S2): 450−457. doi: 10.11896/jsjkx.230300022 [22] 马志侠, 张林鍹, 邱朝洁, 等. 基于CEEMD-SSA-LSTM 的园区综合能源系统两阶段优化调度[J]. 高电压技术, 2023, 49(4): 1430−1440. MA Zhixia, ZHANG Linxuan, QIU Chaojie, et al. Two-stage optimal scheduling of the park integrated energy system based on CEEMDSSA-LSTM[J]. High voltage engineering, 2023, 49(4): 1430−1440. [23] TANG Hongyan, LIU Junning, ZHAO Ming, et al. Progressive layered extraction (PLE): a novel multi-task learning (MTL) model for personalized recommendations[C]//Fourteenth ACM Conference on Recommender Systems. Virtual Event: ACM, 2020. [24] NSRDB data viewer[DB/OL]. (2021−10−25) [2025−04−01]. https://nrel.govldata-viewerl. [25] WANG Weina, SHAO Jiapeng, JUMAHONG H. Fuzzy inference-based LSTM for long-term time series prediction[J]. Scientific reports, 2023, 13(1): 20359. doi: 10.1038/s41598-023-47812-3 [26] 李伯涵, 郭茂祖, 赵玲玲, 等. 基于分割注意力机制残差网络的城市区域客流量预测[J]. 智能系统学报, 2022, 17(4): 839−848. doi: 10.11992/tis.202202014 LI Bohan, GUO Maozu, ZHAO Linlin, et al. Multivariate time series forecasting with a graph neural network and dual attention mechanism[J]. CAAI transactions on intelligent systems, 2022, 17(4): 839−848. doi: 10.11992/tis.202202014 [27] 雷博. 综合能源系统多元负荷预测的混合深度学习模型研究[D]. 太原: 太原科技大学, 2024. Lei Bo. Research on hybrid deep learning model for multivariate load forecasting in integrated energy system[D]. Taiyuan: Taiyuan University of Science and Technology, 2024. [28] 张玉敏, 孙猛, 吉兴全, 等. 基于模态分解与多任务学习模型的综合能源系统多元负荷短期预测 [J/OL]. 高电压技术. (2024-08-27)[2024-09-01]. https://doi.org/ 10.13336/j.1003-6520.hve.20240685. ZHANG Yumin, SUN Meng, JI Xingquan, et al. Short-term load forecasting of integrated energy system based on modal decomposition and multi-task learning model[J/OL]. High voltage engineering. (2024-08-27)[2024-09-01]. https://doi.org/10.13336/j.1003-6520.hve.20240685. [29] LI Zhenyu, ZHANG Xikun, DONG Zhenbiao. TSF-transformer: a time series forecasting model for exhaust gas emission using transformer[J]. Applied intelligence, 2023, 53(13): 17211−17225. doi: 10.1007/s10489-022-04326-1 [30] 郭顺宁, 马雪, 杨帆, 等. 基于最优Copula相关性分析的短期风速预测方法[J]. 电网与清洁能源, 2024, 40(2): 63−72. doi: 10.3969/j.issn.1674-3814.2024.02.008 GUO Shunning, MA Xue, YANG Fan, et al. A short-term wind speed prediction method based on optimal copula correlation analysis[J]. Power system and clean energy, 2024, 40(2): 63−72. doi: 10.3969/j.issn.1674-3814.2024.02.008
