Integrated energy multiple load forecasting for multiscale routing spatiotemporal attention
-
摘要: 多元负荷预测是保障综合能源系统(integrated energy systems, IES)稳定运行的关键。现有方法缺乏对电、冷、热等多元负荷的深度挖掘与分析，限制了预测性能。为解决此问题，本文深入剖析多元负荷的统计特征、季节−日内耦合性及与天气因素的相关性，进而提出一种基于多尺度路由时空注意力机制的综合能源多元负荷预测模型。该模型通过多核局域分解以捕获多元负荷的多尺度周期与趋势特征；针对多元负荷间的复杂耦合性及负荷与天气的相关性，设计路由时空注意力机制与多尺度编解码器，生成多尺度周期预测结果，并融合循环神经网络的趋势预测结果以输出最终预测值。基于实测数据集的耦合性分析、消融实验及对比实验表明：相较于 LSTM(long short-term memory)、Transformer、CNN-GRU(convolutional neural network gated recurrent unit)、Autoformer、FEDformer 等主流模型，所提模型在不同多元负荷耦合强度下均具备更优的预测精度。Abstract: Accurate multi-energy load forecasting is critical for the stable operation of integrated energy systems (IES). Existing methods often fail to capture the complex interactions among electricity, cooling, and heating loads, thereby limiting forecasting effectiveness. To address this challenge, this study first conducted an in-depth analysis of the statistical features of multi-energy loads, their seasonal–intraday coupling patterns, and their correlations with weather factors. Based on these insights, a multiscale spatiotemporal routing attention model was proposed for multi-energy load forecasting in IES. The model incorporates multikernel local decomposition to extract multiscale periodic and trend features, while a routing spatiotemporal attention mechanism, coupled with a multiscale encoder–decoder, is designed to capture inter-load dependencies and load–weather correlations. Periodic forecasts produced by this framework are further combined with trend predictions from recurrent neural networks to generate the final outcomes. Extensive evaluations on real-world datasets, including coupling analysis, ablation studies, and comparative experiments, demonstrate that the proposed model consistently outperforms mainstream methods such as LSTM, Transformer, CNN-GRU, Autoformer, and FEDformer, across varying levels of load coupling strength.
-
随着全球能源需求的不断增长以及对可再生能源和清洁能源的迫切需求，综合能源系统(integrated energy system，IES)的研究和发展已成为应对能源挑战的重要途径之一。IES涉及多种类型能源形式的整合，包括传统能源如化石能源，以及可再生能源如风能、太阳能和水能等，其有效运行面临着许多挑战[1]，其中之一是短期能源需求和产能的准确预测。IES需要及时调整生产调度，调度的主要依据是短期负荷预测的结果。因此，准确的多元负荷预测方法对IES可靠运行具有重大意义[2]。
IES历史负荷呈现出强烈的非平稳性、非线性的特点，但是局部又表现出周期性的特性[3]，为负荷预测带来了挑战。IES的周期性主要源自季节性和一天之中的能源供应和需求变化[4]，同时也受节假日影响[5]。例如，冬季供暖需求增高，夏季空调制冷需求增高，导致负荷数据呈现季节性波动[6]。一天中不同时间段的能源消耗也呈现一定的规律，能源负荷往往在中午和晚间较为突出[7]。周末和节假日的能源需求通常与工作日有所不同，这也会导致IES运行中的周期性变化[8]：在周末和节假日，工业和商业用电需求通常下降，而家庭用电需求可能会增加。文献[9]虽然对多元负荷进行了分解，但并没有考虑IES数据中存在的多种时间尺度，忽略了IES中负荷变化的周期性规律，没有对输入负荷进行不同尺度的信息提取以分析周期性和趋势性变化的规律。文献[10]虽然通过傅里叶变换将负荷数据转换到频域，但易受高频噪声影响，并且分解结果在边界处不稳定，容易产生边界效应[11]。此外，IES中冷、热、电负荷之间存在着复杂相互依赖关系，分解信息而非实际的物理现象，缺乏可解释性[12-13]。电、冷、热等多元负荷在一年的不同时段呈现不同的波动特征，耦合强度时强时弱，增加了预测的复杂性。同时负荷与天气的相关性加大了预测难度[14]，例如，不仅要考虑风速的影响，还需要考虑湿度、温度、压力、海拔、光照等因素。文献[15]直接进行多元负荷预测，并没有考虑多元负荷间的耦合关系[16]，缺少对多元负荷耦合关系的针对性建模，从而影响预测精度。文献[17]在LSTM(long short-term memory)算法中引入多任务学习模型, 虽然考虑了综合能源系统中不同负荷间的耦合关系，兼顾了不同负荷之间的耦合关系，但缺乏对各负荷不同耦合强度的深入挖掘，难以达到最佳的预测效果。
针对上述问题，本文提出了基于多尺度路由时空注意力的IES多元负荷预测模型。首先，本文分析多元负荷的统计特征、各季节下与日内的耦合性、多元负荷与天气因素的相关性，选取合适的输入特征。然后，利用多核局域分解提取负荷的周期和趋势性信息，充分捕获负荷的周期规律。随后，通过路由时空注意力机制，对周期性信息进行多尺度的周期预测，以充分捕获耦合与相关性，并使用多尺度的编解码层进行周期性预测，生成不同尺度的周期性预测结果。最后，利用循环神经网络进行趋势预测，将两者融合得到最终结果。实验结果显示，该模型与现有模型相比，在不同多元负荷耦合关系下，能够取得更高的预测精度。
1. 多尺度路由时空注意力的IES多元负荷预测模型
1.1 模型框架
本文所提基于多尺度路由时空注意力的IES多元负荷预测模型由多个部分组成，如图1所示。
图 1 多尺度路由时空注意力的综合能源多元负荷预测模型Fig. 1 Model of integrated energy multiple load forecasting for multi-scale routing spatio-temporal attention
下载:
全尺寸图片
1)统计特征、耦合性及相关性分析。首先对多元负荷以年尺度和周尺度进行统计特征分析、不同季节负荷的耦合性分析和负荷与天气相关性分析，选取合适的天气特征作为输入。
2)多核局域分解。对IES电、冷、热负荷历史序列进行多核局域分解，使用多个不同大小的感受野，对多元负荷的局域信息进行不同尺度的分解，并将分解序列与选择的气象特征结合作为模型的输入数据参与训练，以此提取多元负荷在时间尺度上更丰富的周期特征，提升模型的泛化性和稳定性。
3)路由时空注意力机制与编解码层。周期性信息编码后，通过路由时空注意力对周期性信息进行预测，路由时空注意力通过路由聚合与广播改进自注意力机制，捕获时间依赖性[18]与特征依赖性[7]，以更好揭示多元负荷间的耦合性、负荷与天气的相关性。编解码器通过段合并方式逐层将负荷中相邻的两个时间段合并为时间尺度更大的数据段，对不同的周期分别进行多尺度建模，形成层次编码和解码结构，有效地挖掘不同时间尺度的周期性，得到不同尺度的周期性预测结果。
4)多元负荷预测输出。通过循环神经网络对趋势性信息进行预测，并与周期预测结果融合，得到多元负荷最终预测结果。
1.2 多元负荷分析
1.2.1 多元负荷统计特征分析
本文使用亚利桑那州立大学坦佩校区IES数据集，对多元负荷序列的统计特征分析主要从年负荷曲线、周负荷曲线进行定性分析。
年时间尺度的多元负荷情况如图2所示，该综合能源系统中电、冷负荷相对热负荷所占比例较高。在年时间尺度上，电负荷的变化趋势比较平稳，具体表现为夏、秋季电负荷需求较大，春、冬季节的用电量基本持平；热负荷消耗在秋、冬季节达到较高水平，而春、夏季节的热负荷消耗较低，主要原因为低温下供暖负荷需求增加；冷负荷消耗在夏季达到高峰，在冬季达到低谷，主要源于高温时期下的供冷负荷。
图 2 多元负荷年尺度波动曲线Fig. 2 Multiple load annual scale fluctuation curves下载:
全尺寸图片
多元负荷的周时间尺度情况在2023年6月5日(星期一)—2023年6月11日(星期日)的时段内，如图3所示。
图 3 多元负荷周尺度波动曲线Fig. 3 Multiple load weekly scale fluctuation curve下载:
全尺寸图片
由图3可见，电负荷变化在周时间尺度上具有较强的周期性，工作日电负荷持续处于高位消耗，周末时相对较低，且热负荷周末中午期间明显较高；所选时期处于夏季，因此图3中热负荷消耗较低，随着系统内用热需求的变化出现小幅波动，始终处于低消耗水平；对于选取的一周内的冷负荷，其具有极强的周期性，具体表现为中午冷负荷消耗达到顶峰，早、晚冷负荷消耗较低，并且冷负荷消耗工作日相对于休息日稍有增加，推测是因为休息日办公场所的供冷需求减少导致[19]。
1.2.2 多元负荷耦合性分析
IES多元负荷预测中，准确的特征选择对于构建有效的模型至关重要。多元负荷预测受多种因素的影响。特征太少不能完全揭示动态负荷变化[20]，而特征太多可能会增加模型的复杂性，降低模型的效率。因此，平衡特征的数量和质量，识别与负荷变化最密切相关的因素，对于提高预测精度和模型效率尤为关键。最大信息系数(maximal information coefficient，MIC)的计算基于互信息原理，通过联合概率度量变量之间的耦合性，计算多个变量之间的线性和非线性关系[21]，而多种负荷之间存在复杂的线性和非线性关系。
因此，为了更准确地衡量不同季节多个负荷之间的耦合强度，本文采用MIC来计算不同季节电、冷、热负荷之间的耦合性，MIC值越大表示多元负荷之间的耦合强度越强。各季节与日内时段的多个负荷耦合性结果如图4和图5所示。
图 4 各季节多元负荷耦合性Fig. 4 Multiple load coupling in each season下载:
全尺寸图片
图 5 日内各时间段多元负荷耦合性Fig. 5 Multiple load coupling at each time of day下载:
全尺寸图片
1.2.3 多元负荷与天气因素相关性分析
为了有效衡量多元负荷与天气因素之间的非线性相关性[22]，本文选择了斯皮尔曼（Spearman）等级相关系数作为分析工具。与传统的皮尔逊相关系数不同，斯皮尔曼等级相关系数不仅适用于线性关系[23]，还能有效捕捉非线性的单调关系。本文根据相关系数值来选择多元负荷预测的影响因素[24]，通过计算所得的斯皮尔曼秩相关系数如表1所示。
表 1 多元负荷与天气因素Spearman等级Table 1 Multiple loads and weather factors in Spearman rating变量 相关系数 冷负荷 热负荷 电负荷 冷负荷 1.0000 − 0.9166 0.8971 热负荷 − 0.9166 1.0000 0.8173 电负荷 0.8971 0.8173 1.0000 露点 0.5025 − 0.5161 0.5283 温度 0.9542 − 0.8834 0.8311 降水量 0.6493 − 0.6870 4.884 2 气压 − 0.5471 0.5874 − 0.4921 相对湿度 − 0.5743 0.5136 − 0.4385 风速 0.1245 − 0.0092 0.1137 由图4~5和表1可知，电、冷、热3种负荷之间存在极强的耦合性，证明了本文多元负荷联合预测的优越性与合理性[25]。为合理利用天气因素提升多元负荷预测精度，本文选择相关系数绝对值大于0.5的气象因素作为输入特征来训练模型[26]。
1.3 多核局域分解
IES负荷预测中的原始输入通常包含周期和趋势性信息，例如，冷热负荷往往受气候变化影响，具有较强的周期性。文献[27]采用移动平均方法对负荷进行分解，来平滑周期性波动并突出长期趋势，过程如下：
$$ \begin{gathered} {X_{\mathrm{t}}} = {{\mathrm{AvgPool}}} {{\text{(}}{{\mathrm{Padding}}} {\text{(}}X))_k} \\ {X_{\mathrm{s}}} = X - {X_{\mathrm{t}}} \end{gathered} $$ (1) 式中：
$ {X_{\mathrm{t}}} $ 、$ {X_{\mathrm{s}}} $ 分别表示趋势性和周期性信息，$ X $ 表示输入的历史负荷信息，AvgPool函数表示移动平均操作，Padding函数用于保持负荷序列长度不变。但Avgpool函数的内核大小k是人为设定的，代表着时间尺度的大小，不同内核得到的周期和趋势信息往往存在较大差异，难以有效处理负荷的复杂多变性。与上述文献[27]不同，本文设计了多核局域分解，对于输入历史负荷信息，利用Avgpool函数多个不同内核，分解出不同尺度的周期和趋势信息，并进行均值运算。对于输入序列，过程为
$$ \begin{gathered} {X_{\mathrm{t}}} = {{\mathrm{mean}}} \left( {\left\{ {{{\mathrm{AvgPool}}} {{\left( {{{\mathrm{Padding}}} \left( X \right)} \right)}_k}} \right\}_{k = 1}^n} \right) \\ {X_{\mathrm{s}}} = X - {X_{\mathrm{t}}} \end{gathered} $$ (2) 式中mean函数表示平均操作。分解结果示例如图6所示，相较于其他分解方法，本文提出的多核局域分解更能够从历史负荷中提取周期变化规律[28]，帮助减少历史负荷的噪声或异常值的影响，并更清晰地理解负荷的周期性，有助于提升预测的准确性。
图 6 多核局域分解电负荷结果示例Fig. 6 Example of multi-core local decomposition electrical load results下载:
全尺寸图片
1.4 多尺度周期性预测
在进行多元负荷的周期性预测时，为有效理解多元负荷的周期性、耦合性以及与天气因素的相关性，本文设计了路由时空注意力机制对周期性信息进行预测。在注意力权重计算过程中，通过在负荷预测中引入中间路由，减少全局注意力所需计算资源大的问题，并捕捉多元负荷之间的耦合性、负荷与天气因素之间的相关性。同时，构建了分层编解码器结构，通过使用不同尺度的时间段进行建模，以捕捉不同的周期模式。最后将各分支的结果合并，并与趋势预测结果融合，得到最终预测结果。
1.4.1 多元负荷数据的编码嵌入
传统的IES多元负荷预测方法通常将同一时刻的冷、热、电等数据编码嵌入为单一向量[29]，然后利用这些向量间的关系进行预测。这种方法忽略了多元负荷之间的耦合性以及与天气的相关性。同时，对于多元负荷预测，相对于单个时刻的值，相邻时刻值形成的信息模式更为重要[30]。
本文将历史负荷数据的每个特征分别划分为多个长度相同的数据段，然后进行嵌入。嵌入向量表示单个特征的连续数据，而不是传统意义上对单步所有维度值进行嵌入，如图7所示。每个特征上的数据划分为长度为l的数据段：
图 7 多元负荷数据编码嵌入示例Fig. 7 Example of multivariate load data encoding embedding下载:
全尺寸图片
$$ \begin{gathered} x_{m,n}^{({\mathrm{s}})} = \left\{ {x_{t,n}}|(m - 1) \times l < t \leqslant m \times l\right\} \\ {x_{1:T}} = \left\{ x_{m,n}^{({\mathrm{s}})}|1 \leqslant m \leqslant \frac{T}{l},1 \leqslant n \leqslant D \right\} \\ \end{gathered} $$ (3) 式中：
$ {x_{t,n}} $ 为时间段t中特征n的值，$ x_{m,n}^{(\mathrm{s})} $ 是特征n中第m个数据段，D为模型特征数量，T为输入特征的长度，l为数据段的长度。分割为数据段后，进行位置嵌入，并将每个数据段线性投影嵌入到向量中：$$ {{\boldsymbol{h}}_{m,n}} = {\boldsymbol{E}}x_{m,n}^{({\mathrm{s}})} + {\boldsymbol{E}}x_{m,n}^{({\mathrm{pos}})} $$ (4) 式中：E表示线性投影矩阵，
$ {\boldsymbol{E}}x_{m,n}^{({\mathrm{pos}})} $ 中的(m,n) 的表示矩阵中的位置。位置编码能够使模型理解多元负荷中不同数据段的前后顺序关系。将数据段与其位置编码相结合，得到二维数组a={1≤m≤L，1≤n≤D}，其中L和D分别是数据段数和模型特征数量。通过编码嵌入，将多元负荷序列嵌入到二维数组中，同时保留了时间和维度的信息。1.4.2 路由时空注意力机制
在IES的多元负荷预测领域，精准预测一方面高度依赖于过往历史所积累的特征信息[31]；另一方面，仅依靠历史特征还远远不够，各特征之间的复杂相互依赖关系[32]同样不容忽视，对负荷的动态变化起着关键的调控作用。鉴于此，本文创新性地精心设计了路由时空注意力机制，旨在通过该机制对历史特征以及特征间的依赖性进行深度挖掘，从而显著提升多元负荷预测的准确性。
在自注意力机制(multi-head self-attention，MSA)[32]中，特征被分组为Q、K和V，MSA(Q, K, V)通过比较不同位置的Q、K、V为输入分配权重，并通过综合加权值来产生输出。但直接使用自注意力捕捉某个时段上各输入特征的依赖性时，由于输入特征较多，直接计算的时间和空间复杂度较高，因此本文设计了一种路由注意力机制，对同一时段上所有特征进行处理。
路由注意力机制通过将一组额外的AToken引入注意力三元组 (Q, K, V), 产生一个四元组注意力范式 (Q, AToken, K, V)，如图8所示。路由注意力由两个自注意力操作组成。首先将AToken视为查询，并在K和V之间执行自注意力计算，从所有值中聚合特征
$ {{\boldsymbol{V}}_A} $ 。第2个自注意力在三元组 (Q, AToken,$ {{\boldsymbol{V}}_A} $ )上执行，其中$ {{\boldsymbol{V}}_A} $ 是上一步的结果，使用AToken作为第2个自注意力计算中的键, 将全局信息从路由AToken广播到每个Q，并获得最终输出。新引入的AToken可以被视为Q的路由，Q不再需要与原始K和V直接计算权重，因此将AToken称为路由。通过这种方式，避免了Q和K之间的成对相似度的计算，同时通过路由AToken保留每个Q与K之间的信息交换。AToken聚合来自K和V的全局信息，然后将其广播回Q。
图 8 路由注意力机制结构Fig. 8 Structure of the routing attention mechanism下载:
全尺寸图片
路由注意力用于计算各特征间的依赖性，但是计算前需要计算分析时间的依赖性，因此本文设计了路由时空注意力机制。路由时空注意力机制通过自注意力计算多元负荷中同一特征下各时间段的注意力权重，完成时间依赖性的捕捉，并将结果通过路由注意力进行计算，以实现维度依赖性的深度挖掘。具体来说，给定二维数组a作为输入，经过时间维度的全局注意力计算之后，为了继续捕捉特征维度相关性，将得到的输出作为后续特征维度阶段的输入进行路由注意力计算：
$$ \begin{gathered} \hat {\boldsymbol{Z}}_n^{{\mathrm{time}}} = ({{\boldsymbol{Z}}_n} + {\text{MS}}{{\text{A}}^{{\mathrm{time}}}}({{\boldsymbol{Z}}_n},{{\boldsymbol{Z}}_n},{{\boldsymbol{Z}}_n})) \\ {\boldsymbol{Z}}_n^{{\mathrm{time}}} = {\text{LayerNorm}}(\hat {\boldsymbol{Z}}_n^{{\mathrm{time}}} + {\text{MLP}}(\hat {\boldsymbol{Z}}_n^{{\mathrm{time}}})) \\ \end{gathered} $$ (5) 式中：
$ {{\boldsymbol{Z}}_n} $ 表示某一特征的所有数据段，MSA为多头注意力函数，LayerNorm为归一化函数，MLP为多层感知机结构。通过对时间维度上自注意力的输出进行归一化，以改善特征表示的稳定性。所有时间维度的计算用同一个多头注意力层，得到$ \hat {\boldsymbol{Z}}_n^{{\mathrm{time}}} $ ，通过MLP进行非线性变换得到$ {\boldsymbol{Z}}_n^{{\mathrm{time}}} $ 。通过上述步骤，模型捕捉了历史负荷数据中同一负荷内的时间依赖性。然后，使用路由注意力针对特征间依赖性进行计算。$$ {\hat{{\boldsymbol{Z}}}}_{n}^{\mathrm{dim}} = \underset{路由广播}{\underbrace{{\text{MSA}}^{{\mathrm{dim}}} ({{\boldsymbol{Z}}}_{n}^{{\mathrm{time}}}, {\boldsymbol{A}}_{\mathrm{Token}},\underset{路由聚合}{\underbrace{{\text{MSA}}^{{\mathrm{dim}}}({\boldsymbol{A}}_{{\mathrm{Token}}},{{\boldsymbol{Z}}}_{n}^{{\mathrm{time}}}, {\boldsymbol{Z}}_{n}^{{\mathrm{time}}}) }})}} $$ (6) 式中：
$ \hat {\boldsymbol{Z}}_n^{{\mathrm{dim}} } $ 、$ {{\boldsymbol{Z}}^{{\mathrm{time}}}} $ 分别表示最终输出和MLP层的输出，所有特征维度计算时(1≤n≤D) 共享相同的MSA层。通过结合式(5)~(6)，可以将路由时空注意力机制表述为$$ {\boldsymbol{Y}} = {\text{ROT}}({\boldsymbol{Z}}) $$ (7) 式中：Z、Y分别为ROT层的输入和输出矩阵。经过路由时空注意力处理之后，不仅捕捉了负荷随时间的动态变化，还揭示了负荷的耦合性及其与天气的相关性。
1.4.3 多尺度编解码器
多尺度编解码器结构如图9所示，在分层编码器的架构体系中，初始编码层(l=1)将编码嵌入生成的二维矩阵直接作为输入，承担着基础性的输入工作，为后续上级(l>1)编码处理奠定基础。后续层级(l＞1)中通过段合并将相邻的两个数据段合并，从数据完整性的维度考量，能够确保负荷数据在处理过程中保持连贯性，并能够跨越不同的时间尺度，深度挖掘其中蕴含的周期性信息。鉴于不同时间尺度下负荷普遍呈现出周期性特征，为实现对这些周期性变化的精确捕捉，多尺度分层编码器创新性地在每一层均引入了路由时空注意力机制。该机制的具体运行机理为
图 9 多尺度编解码器结构Fig. 9 Multi-scale encoder decoder structure下载:
全尺寸图片
$$ \begin{array}{*{20}{l}} {\hat {\boldsymbol{Z}}{ ^{{\text{enc}},l}} = {{{\boldsymbol{A}}_{\mathrm{rr}}}},l = 1} \\ {\hat {\boldsymbol{Z}}{ ^{{\text{enc}},l}} = {\boldsymbol{M}}{\text{ }}\left[ {\left. {{\boldsymbol{Z}} _{2m - 1,n}^{{\text{enc}},l - 1}} \right\|{\boldsymbol{Z}} _{2m,n}^{{\text{enc}},l - 1}} \right],l > 1} \\ {{\boldsymbol{Z}}{ ^{{\text{enc}},l}} = {\text{ROT }}(\hat {\boldsymbol{Z}}{ ^{{\text{enc}},l}})} \end{array} $$ (8) 式中：a为由编码嵌入模块生成的二维数组，M为可学习的合并矩阵，||为数据段的合并，
$ \hat {\boldsymbol{Z}}_{i,d}^{{\text{enc}},l} $ 为数据段合并后得到的时间尺度更大的数据段，$ {{\boldsymbol{Z}}^{{\text{enc}},l}} $ 为第l层解码器的输出，Arr为编码嵌入后生成的二维矩阵。解码器同样采用多层架构来处理编码器提供的特征，经运算转化为最终预测。在初始解码层(l=0)中，通过位置嵌入完成第一次解码过程。在后续解码层(l＞0)中，本文用路由时空注意力来处理前一层的解码输出，深度挖掘隐藏于数据特征中的潜在依赖关系，具体实现为
$$ \begin{array}{*{20}{l}} {{{{\boldsymbol{\tilde Z}}}^{{\text{dec}},l}} = {\text{ROT}}({{\boldsymbol{E}}^{{\text{dec}}}}),l = 0} \\ {{{{\boldsymbol{\tilde Z}}}^{{\text{dec}},l}} = {\text{ROT}}({{\boldsymbol{Z}}^{{{\mathrm{de}}} {\text{c}},l - 1}}),l > 0} \\ {{{{\boldsymbol{\bar Z}}}^{{\text{dec}},l}} = {\text{MSA}}({{{\boldsymbol{\tilde Z}}}^{{\text{dec}},l}},{\boldsymbol{Z}}_{}^{{\text{enc}},l},{\boldsymbol{Z}}_{}^{{\text{enc}},l})} \\ {{{{\boldsymbol{\hat Z}}}^{{\text{dec}},l}} = {\text{LayerNorm}}({{{\boldsymbol{\tilde Z}}}^{{\text{dec}},l}} + {{{\boldsymbol{\bar Z}}}^{{\text{dec}},l}})} \\ {{{\boldsymbol{Z}}^{{\text{dec}},l}} = {\text{LayerNorm}}({{{\boldsymbol{\hat Z}}}^{{\text{dec}},l}} + {\text{MLP}}({{{\boldsymbol{\hat Z}}}^{{\text{dec}},l}}))} \end{array} $$ (9) 式中：ROT函数的输出
$ {{\boldsymbol{\tilde Z}}^{{\text{dec}},l}} $ 作为MSA层的输入查询，同层编码器的输出$ {{\boldsymbol{Z}}^{{\text{dec}},l}} $ 作为键和值。解码器中针对输出使用LayerNorm函数进行归一化和MLP函数进行线性转换，将解码器层输出的不同时间尺度的特征映射为对应多元负荷的预测。解码器各层输出带有不同时间尺度的特征信息，运用累加融合手段，将来自各个解码器层独立产出的预测结果逐一相加归并，完成最终周期预测。1.5 多元负荷趋势预测
文献[33]提出将分解操作作为模型内部的关键构建模块。其具体做法是，先对原始序列求取平均值，并将这些平均值予以相加。然而，这种方法存在一定的局限性。一方面，它在处理过程中未能充分考量负荷数据所蕴含的时间依赖性以及趋势信息，使模型对数据内在规律的捕捉有所欠缺；另一方面，单纯依靠平均值预测的方式，对于IES负荷所呈现出的动态变化特性而言，适应性欠佳，难以精准反映负荷的实时波动情况，进而可能影响到整个模型的预测精度。因此，本文采用长短期记忆LSTM对趋势周期进行预测， 该模型可以解决循环神经网络可能出现的梯度消失和梯度爆炸问题。LSTM单元结构由输入门i、遗忘门f和输出门o组成，如图10所示。
图 10 基本LSTM单元结构Fig. 10 Unit structure of basic LSTM下载:
全尺寸图片
遗忘门ft将上个时刻的隐藏状态
${{\boldsymbol{h}}_{t - 1}}$ 与当前时刻的输入${{\boldsymbol{x}}_t}$ 合并进行全连接相乘，再经过Sigmoid函数输出遗忘因子，以控制对上个隐藏状态的遗忘程度。计算公式为$$ {{\boldsymbol{f}}_t} = \sigma ({{\boldsymbol{W}}_f} \cdot [{{\boldsymbol{h}}_{t - 1}},{{\boldsymbol{x}}_t}] + {{\boldsymbol{b}}_f}) $$ (10) 输入门
${{\boldsymbol{i}}_t}$ 计算出记忆因子，用于与当前细胞状态相乘来控制候选记忆细胞有多少加载到记忆细胞中，计算公式为$$ {{\boldsymbol{i}}_t} = \sigma \left( {{{\boldsymbol{W}}_i} \cdot \left[ {{{\boldsymbol{h}}_{t - 1}},{{\boldsymbol{x}}_t}} \right] + {{\boldsymbol{b}}_i}} \right) $$ (11) 输出门
${{\boldsymbol{o}}_{t}}$ 用于控制当前记忆细胞的信息保留到网络中的程度，用于更新t时刻隐藏状态$ {{\boldsymbol{h}}_{{t}}} $ ，计算公式为$$ \begin{gathered} {{\boldsymbol{o}}_{t}} = \sigma ({{\boldsymbol{W}}_{o}} \cdot [{{\boldsymbol{h}}_{{t - 1}}},{{\boldsymbol{x}}_{t}}] + {{\boldsymbol{b}}_{o}}) \\ {{\boldsymbol{h}}_{t}} = {{\boldsymbol{o}}_{t}}\tanh ({{\boldsymbol{c}}_{t}}) \\ \end{gathered} $$ (12) 式(10)~(12)中：
${{\boldsymbol{f}}_t}$ 、${{\boldsymbol{i}}_t}$ 、${{\boldsymbol{o}}_{t}}$ 分别为遗忘门、输入门、输出门输出，${{\boldsymbol{W}}_f}$ 和${{\boldsymbol{b}}_f}$ ，${{\boldsymbol{W}}_i}$ 和${{\boldsymbol{b}}_i}$ ，${{\boldsymbol{W}}_{o}}$ 和${{\boldsymbol{b}}_{o}}$ 分别为输入门权重矩阵和偏置，${{\boldsymbol{x}}_{t}}$ 为t时刻数据输入，σ为Sigmoid函数，${{\boldsymbol{c}}_{t}}$ 为t时刻记忆细胞状态。2. 算例分析
2.1 数据集与实验环境
使用亚利桑那州立大学坦佩校区IES数据集作为研究对象。将2023年3月1日—2024年3月1日的数据作为训练集，以1 h为步长，对电、冷、热负荷进行联合预测。
本实验的硬件配置为Intel Core i7-10750H CPU，16 GB内存，采用NVIDIA Geforce RTX 2060 GPU，使用PyTorch框架实现。本模型在每层后添加失活率为0.15的Dropout层，防止过拟合。输入步长为96，批次大小为16，训练轮次为30轮，采用RAdam算法作为优化算法，RAdam算法较Adam算法和传统的梯度下降算法有更强的稳定性，其提供了一个动态启发式方法来实现自动化的方差衰减，从而消除了在训练期间所涉及手动调优的需要。
2.2 模型评价指标
鉴于本模型构建的目标与任务特性，其在运行过程中需要同步针对多个不同的负荷类型展开预测分析工作。基于这一关键前提，为了能够全面、客观且精准地衡量模型的性能表现，本文选用均方根误差RMSE (root mean square error，RMSE)、平均绝对百分比误差MAPE (mean absolute percentage error，MAPE)作为评价指标。这些评价指标各自从不同的维度出发，为评估模型的优劣提供依据。其具体的评价指标表达式为
$$ \begin{aligned} & R_{\mathrm{MSE}}=\sqrt{\frac{1}{N} \displaystyle\sum_{t=1}^N\left(y_t-y_t^{\prime}\right)^2} \\ & M_{\mathrm{APE}}=\frac{1}{N} \displaystyle\sum_{t=1}^N\left|\frac{y_t^{\prime}-y_t}{y_t}\right| \times 100 \text{%} \end{aligned} $$ (13) 2.3 数据预处理
坦佩校区使用传感器进行多元负荷历史数据的采集工作。然而，个别数据出现异常会直接导致模型预测精度大幅降低。因此，本文引入均值校正法，处理这些异常值，减小异常数据带来的不良影响。同时，考虑到负荷数据与天气数据在物理维度上存在着天然差异，本文对负荷数据和天气数据进行了归一化处理，具体运用的归一化公式为
$$ {{\boldsymbol{X}}^i} = ({\boldsymbol{X}} - {\boldsymbol{\mu}} )/({{\boldsymbol{X}}^{\max}} - {{\boldsymbol{X}}^{\min}}) $$ (14) 式中：
$ {\boldsymbol{X}} $ 为输入的特征序列，$ {{\boldsymbol{X}}^i} $ 为归一化后的序列，$ {{\boldsymbol{X}}^{\max}} $ 和$ {{\boldsymbol{X}}^{\min}} $ 分别为样本数据的最大值和最小值。经过归一化后，数据的值都在[0, 1]。2.4 多元负荷耦合性分析实验
为了验证本文模型在多元负荷预测方面的优势，本文分别进行单一负荷预测和多元负荷预测。单一负荷预测指仅使用一种负荷数据与气象数据进行预测，而多元负荷预测则结合所有负荷数据及气象因素进行分析。这一对比实验的目的在于验证本文方法能够有效捕捉多元负荷的耦合性，并提升预测准确度，实验结果如表2所示。
表 2 单一负荷预测与多元负荷预测效果对比Table 2 Comparison of single load forecasting and multiple load forecasting effects预测方式 RMSE MAPE/% 电负荷/kW 冷负荷/Ton 热负荷/(MMBtu/h) 电负荷 冷负荷 热负荷 单一负荷预测 0.15 1010.79 542.38 1.97 2.42 2.56 多元负荷预测 0.14 967.64 456.53 1.86 2.30 2.22 由于多元负荷预测能够更准确地反映出IES的运行状态和需求变化。因此，本文后续的对比分析将采用多元负荷联合预测方法。
2.5 消融实验
为验证多核局域分解和路由时空注意力机制的有效性，进行了消融实验。未采用多核局域分解和路由时空注意力机制的预测模型命名为模型1，采用多核局域分解但未采用路由时空注意力的预测模型命名为模型2。
两种消融模型与本文模型对夏季电冷热负荷的预测结果和模型性能对比如图11和表3所示。可以看出，虽然本文模型训练时间相较于模型1时间稍久，但对比模型2训练速度更快，并且本文模型预测曲线相比于其他两种消融模型更加贴近真实曲线，精度更高。结果表明，多核局域分解可有效捕捉负荷数据的多尺度周期性特征，为预测精度提升奠定基础。由表3 数据可知，路由时空注意力机制需依托多核局域分解发挥作用：其虽未降低模型相较于基础模型1的时间与空间复杂度，但在模型已采用多核局域分解(对比模型 2)的条件下，能够在进一步提升预测精度的同时，显著降低模型的时间和空间复杂度。
图 11 夏季多元负荷消融实验预测结果Fig. 11 Prediction results of multiple load ablation experiment in summer下载:
全尺寸图片
表 3 夏季多元负荷消融结果对比Table 3 Comparison of multiple load ablation results模型 RMSE MAPE/% 训练时间/s 训练参数/个 电负荷/kW 冷负荷/Ton 热负荷/(MMBtu/h) 电负荷 冷负荷 热负荷 模型1 2.98 3.20 2.67 1249.82 565.76 0.22 1249.82 43458 模型2 2.56 2.54 1.83 1045.26 521.03 0.16 1546.26 75824 本文模型 2.37 2.09 1.86 977.58 466.35 0.14 1277.58 54689 2.6 对比实验
本文进行了与LSTM、CNN-GRU(convolutional neural network gated recurrent unit)、Transformer、Autoformer和FEDformer等模型的对比实验与分析。LSTM是一种特殊的循环神经网络，传统的循环神经网络在处理长序列数据时，容易出现梯度消失或梯度爆炸的问题，导致无法有效学习长期依赖关系，LSTM则通过特殊的结构设计，可以更好地捕捉长序列中的信息关联；CNN-GRU则是循环神经网络和卷积神经网络的一种优秀变体。Transformer是一种基于自注意力机制的深度学习模型，它完全摒弃了传统的循环和卷积结构，仅依靠注意力机制来处理序列数据，Autoformer、FEDformer则是Transformer的优秀变体。为保证对比实验的客观性与公平性，均采用多元负荷联合预测的方法，并对各个模型进行最优调参，且实验结果为执行5次后得到的平均值。
为了更直观地比较各模型的预测效果，本文给出了本模型及其他对比算法的预测结果图，如图12~15、表4~7所示，给出了在电、冷、热负荷预测中，各模型预测值与真实值之间的拟合程度，从而直观地验证了本文模型在多元负荷预测上的性能优势。
表 5 夏季6种模型性能对比Table 5 Performance comparison of six models in summer预测方法 RMSE MAPE/% 电负荷/kW 冷负荷/Ton 热负荷/(MMBtu/h) 电负荷 冷负荷 热负荷 LSTM 1374.46 646.54 0.14 3.65 3.28 1.82 Transformer 1074.03 582.73 0.27 2.86 2.61 2.48 CNN-GRU 1193.07 560.43 0.18 3.13 2.84 2.78 Autoformer 1064.45 505.84 0.17 2.47 2.54 2.24 FEDformer 995.93 485.32 0.14 2.56 2.41 2.09 本模型 977.58 466.35 0.15 2.37 2.22 1.86 注：加黑数字为最优结果。 表 6 秋季6种模型性能对比Table 6 Performance comparison of six models in autumn模型 RMSE MAPE/% 电负荷/kW 冷负荷/Ton 热负荷/(MMBtu/h) 电负荷 冷负荷 热负荷 LSTM 1285.54 682.29 0.21 3.49 3.23 3.32 Transformer 1393.40 590.70 0.23 3.34 2.82 2.47 CNN-GRU 1034.59 498.64 0.17 2.28 2.35 2.78 Autoformer 1293.32 528.39 0.26 3.02 2.48 2.54 FEDformer 920.28 428.92 0.19 2.24 2.19 2.09 本模型 921.08 420.34 0.17 2.30 2.12 1.79 注：加黑数字为最优结果。 
图 12 春季多元负荷6种模型预测结果Fig. 12 Prediction results of six models of multi-load in spring下载:
全尺寸图片
图 13 夏季多元负荷6种模型预测效果Fig. 13 Prediction results of six models of multi-load in summer下载:
全尺寸图片
图 14 秋季多元负荷6种模型预测结果Fig. 14 Prediction results of six models of multi-load in autumn下载:
全尺寸图片
图 15 冬季多元负荷6种模型预测结果Fig. 15 Prediction results of six models of multi-load in winter下载:
全尺寸图片
表 4 春季6种模型性能对比Table 4 Performance comparison of models in spring模型 RMSE MAPE/% 电负荷/kW 冷负荷/Ton 热负荷/(MMBtu/h) 电负荷 冷负荷 热负荷 LSTM 1232.89 630.09 0.21 3.92 2.98 3.40 Transformer 1298.17 524.01 0.24 2.83 2.82 2.58 CNN-GRU 1167.52 498.09 0.17 3.31 2.59 2.43 Autoformer 1023.51 413.28 0.15 2.49 2.38 2.49 FEDformer 921.34 428.39 0.13 2.28 2.23 2.33 本模型 923.51 423.28 0.12 2.23 2.21 2.36 注：加黑数字为最优结果。 表 7 冬季6种模型性能对比Table 7 Performance comparison of six models in winter模型 RMSE MAPE/% 电负荷/kW 冷负荷/Ton 热负荷/(MMBtu/h) 电负荷 冷负荷 热负荷 LSTM 1419.76 687.29 0.23 3.90 3.92 2.59 Transformer 1284.42 592.90 0.20 2.92 2.59 2.33 CNN-GRU 1347.24 589.07 0.19 3.48 2.40 2.04 Autoformer 1043.02 523.40 0.21 2.73 2.54 2.41 FEDformer 998.93 489.74 0.18 2.48 2.42 1.96 本模型 989.46 472.98 0.19 2.43 2.34 1.90 注：加黑数字为最优结果。 从图12和表4可以看到，春季预测中本文模型对电、冷、热负荷的预测与其他模型相比，与真实值最为接近，在电、冷这样具有较强的周期性的负荷中，本模型的预测精度达到了更好的效果。
从图13和表5可以看到，夏季预测中本文模型对电、冷负荷的预测与其他模型相比，与真实值最为接近，在电、冷负荷处于周期性波动时，本模型预测效果更为准确。但夏季热负荷消耗处于较低水平，LSTM对热负荷的预测精度略优于本模型。
从图14和表6可以看到秋季时，热负荷消耗相对夏季有所增加，并呈现出一定的周期性，而本模型对热负荷的预测精度相对夏季也有所提升，充分说明了本模型能够捕捉到热负荷的不同尺度周期性。
由图15和表7可见，在冬季条件下，本模型与其他模型相比，对电、冷、热负荷的预测曲线与真实值最为接近，且预测精度更高。在不同的天气类型及多元负荷间耦合强度下,本文提出的多元负荷预测模型相比于其他模型有较高的预测精度，体现了本模型预测的准确性。
3. 结束语
本文提出了一种多尺度路由时空注意力的综合能源多元负荷预测模型。通过多核局域分解，有效捕捉多元负荷的周期性。通过时空双维度注意力机制，发掘多元负荷的耦合性以及与天气因素的相关性，并使用多尺度编解码层捕获不同时间周期的周期性。实验表明，该方法相较于其他IES多元负荷预测方法相比，具有更高的预测精度。综合能源中多元负荷的准确预测仍是难题，未来将尝试使用其他方法降低模型的复杂度，提高模型的预测精度和运行速度。
-
图 1 多尺度路由时空注意力的综合能源多元负荷预测模型
Fig. 1 Model of integrated energy multiple load forecasting for multi-scale routing spatio-temporal attention
下载:
全尺寸图片
图 2 多元负荷年尺度波动曲线
Fig. 2 Multiple load annual scale fluctuation curves
下载:
全尺寸图片
图 3 多元负荷周尺度波动曲线
Fig. 3 Multiple load weekly scale fluctuation curve
下载:
全尺寸图片
图 4 各季节多元负荷耦合性
Fig. 4 Multiple load coupling in each season
下载:
全尺寸图片
图 5 日内各时间段多元负荷耦合性
Fig. 5 Multiple load coupling at each time of day
下载:
全尺寸图片
图 6 多核局域分解电负荷结果示例
Fig. 6 Example of multi-core local decomposition electrical load results
下载:
全尺寸图片
图 7 多元负荷数据编码嵌入示例
Fig. 7 Example of multivariate load data encoding embedding
下载:
全尺寸图片
图 8 路由注意力机制结构
Fig. 8 Structure of the routing attention mechanism
下载:
全尺寸图片
图 9 多尺度编解码器结构
Fig. 9 Multi-scale encoder decoder structure
下载:
全尺寸图片
图 10 基本LSTM单元结构
Fig. 10 Unit structure of basic LSTM
下载:
全尺寸图片
图 11 夏季多元负荷消融实验预测结果
Fig. 11 Prediction results of multiple load ablation experiment in summer
下载:
全尺寸图片
图 12 春季多元负荷6种模型预测结果
Fig. 12 Prediction results of six models of multi-load in spring
下载:
全尺寸图片
图 13 夏季多元负荷6种模型预测效果
Fig. 13 Prediction results of six models of multi-load in summer
下载:
全尺寸图片
图 14 秋季多元负荷6种模型预测结果
Fig. 14 Prediction results of six models of multi-load in autumn
下载:
全尺寸图片
图 15 冬季多元负荷6种模型预测结果
Fig. 15 Prediction results of six models of multi-load in winter
下载:
全尺寸图片
表 1 多元负荷与天气因素Spearman等级
Table 1 Multiple loads and weather factors in Spearman rating
变量 相关系数 冷负荷 热负荷 电负荷 冷负荷 1.0000 − 0.9166 0.8971 热负荷 − 0.9166 1.0000 0.8173 电负荷 0.8971 0.8173 1.0000 露点 0.5025 − 0.5161 0.5283 温度 0.9542 − 0.8834 0.8311 降水量 0.6493 − 0.6870 4.884 2 气压 − 0.5471 0.5874 − 0.4921 相对湿度 − 0.5743 0.5136 − 0.4385 风速 0.1245 − 0.0092 0.1137 表 2 单一负荷预测与多元负荷预测效果对比
Table 2 Comparison of single load forecasting and multiple load forecasting effects
预测方式 RMSE MAPE/% 电负荷/kW 冷负荷/Ton 热负荷/(MMBtu/h) 电负荷 冷负荷 热负荷 单一负荷预测 0.15 1010.79 542.38 1.97 2.42 2.56 多元负荷预测 0.14 967.64 456.53 1.86 2.30 2.22 表 3 夏季多元负荷消融结果对比
Table 3 Comparison of multiple load ablation results
模型 RMSE MAPE/% 训练时间/s 训练参数/个 电负荷/kW 冷负荷/Ton 热负荷/(MMBtu/h) 电负荷 冷负荷 热负荷 模型1 2.98 3.20 2.67 1249.82 565.76 0.22 1249.82 43458 模型2 2.56 2.54 1.83 1045.26 521.03 0.16 1546.26 75824 本文模型 2.37 2.09 1.86 977.58 466.35 0.14 1277.58 54689 表 5 夏季6种模型性能对比
Table 5 Performance comparison of six models in summer
预测方法 RMSE MAPE/% 电负荷/kW 冷负荷/Ton 热负荷/(MMBtu/h) 电负荷 冷负荷 热负荷 LSTM 1374.46 646.54 0.14 3.65 3.28 1.82 Transformer 1074.03 582.73 0.27 2.86 2.61 2.48 CNN-GRU 1193.07 560.43 0.18 3.13 2.84 2.78 Autoformer 1064.45 505.84 0.17 2.47 2.54 2.24 FEDformer 995.93 485.32 0.14 2.56 2.41 2.09 本模型 977.58 466.35 0.15 2.37 2.22 1.86 注：加黑数字为最优结果。 表 6 秋季6种模型性能对比
Table 6 Performance comparison of six models in autumn
模型 RMSE MAPE/% 电负荷/kW 冷负荷/Ton 热负荷/(MMBtu/h) 电负荷 冷负荷 热负荷 LSTM 1285.54 682.29 0.21 3.49 3.23 3.32 Transformer 1393.40 590.70 0.23 3.34 2.82 2.47 CNN-GRU 1034.59 498.64 0.17 2.28 2.35 2.78 Autoformer 1293.32 528.39 0.26 3.02 2.48 2.54 FEDformer 920.28 428.92 0.19 2.24 2.19 2.09 本模型 921.08 420.34 0.17 2.30 2.12 1.79 注：加黑数字为最优结果。 表 4 春季6种模型性能对比
Table 4 Performance comparison of models in spring
模型 RMSE MAPE/% 电负荷/kW 冷负荷/Ton 热负荷/(MMBtu/h) 电负荷 冷负荷 热负荷 LSTM 1232.89 630.09 0.21 3.92 2.98 3.40 Transformer 1298.17 524.01 0.24 2.83 2.82 2.58 CNN-GRU 1167.52 498.09 0.17 3.31 2.59 2.43 Autoformer 1023.51 413.28 0.15 2.49 2.38 2.49 FEDformer 921.34 428.39 0.13 2.28 2.23 2.33 本模型 923.51 423.28 0.12 2.23 2.21 2.36 注：加黑数字为最优结果。 表 7 冬季6种模型性能对比
Table 7 Performance comparison of six models in winter
模型 RMSE MAPE/% 电负荷/kW 冷负荷/Ton 热负荷/(MMBtu/h) 电负荷 冷负荷 热负荷 LSTM 1419.76 687.29 0.23 3.90 3.92 2.59 Transformer 1284.42 592.90 0.20 2.92 2.59 2.33 CNN-GRU 1347.24 589.07 0.19 3.48 2.40 2.04 Autoformer 1043.02 523.40 0.21 2.73 2.54 2.41 FEDformer 998.93 489.74 0.18 2.48 2.42 1.96 本模型 989.46 472.98 0.19 2.43 2.34 1.90 注：加黑数字为最优结果。 -
[1] 鲁斌, 霍泽健, 俞敏. 基于LSTNet-Skip的综合能源系统多元负荷超短期预测[J]. 中国电机工程学报, 2023, 43(6): 2273−2283. LU Bin, HUO Zejian, YU Min. Multi load ultra short-term forecasting of integrated energy system based on LSTNet-skip[J]. Proceedings of the CSEE, 2023, 43(6): 2273−2283. [2] 骆钊, 吴谕侯, 朱家祥, 等. 基于多尺度时间序列块自编码Transformer神经网络模型的风电超短期功率预测[J]. 电网技术, 2023, 47(9): 3527−3537. LUO Zhao, WU Yuhou, ZHU Jiaxiang, et al. Wind power forecasting based on multi-scale time series block auto-encoder Transformer neural network model[J]. Power system technology, 2023, 47(9): 3527−3537. [3] TONG Haozhuo, KONG Lingyun, LIU Jie, et al. Segmented frequency-domain correlation prediction model for long-term time series forecasting using Transformer[J]. IET software, 2024, 2024(1): 2920167. doi: 10.1049/2024/2920167 [4] 黄冬梅, 余京朋, 崔承刚, 等. 多时间尺度深度强化学习光储配电网电压优化[J]. 中国电机工程学报, 2024, 45(17): 6709−6722. HUANG Dongmei, YU Jingpeng, CUI Chenggang, et al. Voltage optimization for PV-ES distribution network with multi-timescale deep reinforcement learning method[J]. Proceedings of CSEE, 2024, 45(17): 6709−6722. [5] 张帅, 刘文霞, 唐浩洋, 等. 一种基于Transformer多特征融合的短期负荷预测方法[J]. 华北电力大学学报(自然科学版), 2025, 52(3): 68−83. ZHANG Shuai, LIU Wenxia, TANG Haoyang, et al. A short-term load forecasting method based on multi-feature fusion using Transformer[J]. Journal of North China Electric Power University(natural science edition), 2025, 52(3): 68−83. [6] 李云松, 张智晟. 考虑综合需求响应的Transformer-图神经网络综合能源系统多元负荷短期预测[J]. 电工技术学报, 2024, 39(19): 6119−6128. LI Yunsong, ZHANG Zhisheng. Transformer based multi load short-term forecasting of integrated energy system considering integrated demand response[J]. Transactions of China electrotechnical society, 2024, 39(19): 6119−6128. [7] 张延宇, 张智铭, 刘春阳, 等. 基于动态自适应图神经网络的电动汽车充电负荷预测[J]. 电力系统自动化, 2024, 48(7): 86−93. ZHANG Yanyu, ZHANG Zhiming, LIU Chunyang, etal. Electric vehicle charging load prediction based on dynamic adaptive graph neural network[J]. Automation of electric power systems, 2024, 48(7): 86−93. [8] 林盛振. 考虑负荷特征分析的综合能源系统多能负荷短期预测研究[D]. 广州: 华南理工大学, 2022. LIN Shengzhen. Study on short-term forecasting of multi-energy load of integrated energy system considering load characteristic analysis[D]. Guangzhou: South China University of Technology, 2022. [9] 姜飞, 林政阳, 王文烨, 等. 考虑最小平均包络熵负荷分解的最优Bagging集成超短期多元负荷预测[J]. 中国电机工程学报, 2024, 44(5): 1777−1789. JIANG Fei, LIN Zhengyang, WANG Wenye, et al. Optimal bagging ensemble ultra short term multi-energy load forecasting considering least average envelope entropy load decomposition[J]. Proceedings of the CSEE, 2024, 44(5): 1777−1789. [10] 叶剑华, 曹旌, 杨理, 等. 基于变分模态分解和多模型融合的用户级综合能源系统超短期负荷预测[J]. 电网技术, 2022, 46(7): 2610−2622. YE Jianhua, CAO Jing, YANG Li, et al. Ultra short-term load forecasting of user level integrated energy system based on variational mode decomposition and multi-model fusion[J]. Power system technology, 2022, 46(7): 2610−2622. [11] 张玉敏, 孙猛, 吉兴全, 等. 基于模态分解与多任务学习模型的综合能源系统多元负荷短期预测[J]. 高电压技术, 2025, 51(7): 3488−3499. ZHANG Yumin, SUN Meng, JI Xingquan, et al. Short-term load forecasting of integrated energy system based on modal decomposition and multi-task learning model[J]. High voltage engineering, 2025, 51(7): 3488−3499. [12] LI Zhenyu, ZHANG Xikun, DONG Zhenbiao. TSF-transformer: a time series forecasting model for exhaust gas emission using transformer[J]. Applied intelligence, 2022: 1−15. [13] 王凤随, 陈金刚, 王启胜, 等. 自适应上下文特征的多尺度目标检测算法[J]. 智能系统学报, 2022, 17(2): 276−285. WANG Fengsui, CHEN Jingang, WANG Qisheng, et al. Multi-scale target detection algorithm based on adaptive context features[J]. CAAI transactions on intelligent systems, 2022, 17(2): 276−285. [14] 梁李芳, 关东海, 张吉, 等. 基于时空注意力机制的多元时间序列异常检测[J]. 计算机科学, 2023, 50(S2): 450−457. LIANG Lifang, GUAN Donghai, ZHANG Ji, et al. Anomaly detection of multivariate time series based on spatio-temporal attention mechanism[J]. Computer science, 2023, 50(S2): 450−457. [15] 王昊, 周建涛, 郝昕毓, 等. 基于特征再抽象(FRA)的多元时序预测方法[J]. 计算机科学, 2023, 50(S2): 662−669. WANG Hao, ZHOU Jiantao, HAO Xinyu, et al. Multivariate time series prediction method based on feature re-abstraction (FRA)[J]. Computer science, 2023, 50(S2): 662−669. [16] SHEN Li, WEI Yuning, WANG Yangzhu. GBT: two-stage Transformer framework for non-stationary time series forecasting[J]. Neural networks, 2023, 165: 953−970. doi: 10.1016/j.neunet.2023.06.044 [17] 张大海, 孙锴, 倪平浩. 基于耦合关系挖掘及渐进式分层提取多任务学习网络的风−光−荷短期预测[J]. 电网技术, 2023, 47(9): 3537−3547. ZHANG Dahai, SUN Kai, NI Pinghao. Wind-photovoltaic-load short-term forecast based on coupling relation mining and progressive layered extraction of multi-task learning network[J]. Power system technology, 2023, 47(9): 3537−3547. [18] 韩璐, 霍纬纲, 张永会, 等. 基于多尺度特征融合与双注意力机制的多元时间序列预测[J]. 计算机工程, 2023, 49(9): 99−108. HAN Lu, HUO Weigang, ZHANG Yonghui, et al. Multivariate time series forecasting based on multi-scale feature fusion and dual-attention mechanism[J]. Computer engineering, 2023, 49(9): 99−108. [19] 刁涵彬, 李培强, 吕小秀, 等. 考虑多元储能差异性的区域综合能源系统储能协同优化配置[J]. 电工技术学报, 2021, 36(1): 151−165. DIAO Hanbin, LI Peiqiang, LYU Xiaoxiu, et al. Coordinated optimal allocation of energy storage in regional integrated energy system considering the diversity of multi-energy storage[J]. Transactions of China electrotechnical society, 2021, 36(1): 151−165. [20] 蔡屹. 计及多能耦合关系的小样本综合能源系统多元负荷预测方法研究[D]. 吉林: 东北电力大学, 2024. CAI Yi. Research on multi-load forecasting method of small sample comprehensive energy system considering multi-energy coupling relationship[D]. Jilin: Northeast Dianli University, 2024. [21] 何李杰, 高茂庭. 基于交叉注意力的点击率预测模型[J]. 计算机工程与应用, 2025, 61(7): 353−360. HE Lijie, GAO Maoting. Click through rate prediction model based on cross attention[J]. Computer engineering and applications, 2025, 61(7): 353−360. [22] 雷博. 综合能源系统多元负荷预测的混合深度学习模型研究[D]. 太原: 太原科技大学, 2024. LEI Bo. Study on hybrid deep learning model for multivariate load forecasting of integrated energy system[D]. Taiyuan: Taiyuan University of Science and Technology, 2024. [23] 吴军英, 路欣, 刘宏, 等. 基于Spearman-GCN-GRU模型的超短期多区域电力负荷预测[J]. 中国电力, 2024, 57(6): 131−140. WU Junying, LU Xin, LIU Hong, etal. Ultra-short-term multi-region power load forecasting based on spearman-GCN-GRU model[J]. Electric power, 2024, 57(6): 131−140. [24] 陈明昊, 孙毅, 谢志远. 基于双层深度强化学习的园区综合能源系统多时间尺度优化管理[J]. 电工技术学报, 2023, 38(7): 1864−1881. CHEN Minghao, SUN Yi, XIE Zhiyuan. The multi-time-scale management optimization method for park integrated energy system based on the bi-layer deep reinforcement learning[J]. Transactions of China electrotechnical society, 2023, 38(7): 1864−1881. [25] 郭顺宁, 马雪, 杨帆, 等. 基于最优Copula相关性分析的短期风速预测方法[J]. 电网与清洁能源, 2024, 40(2): 63−72. GUO Shunning, MA Xue, YANG Fan, et al. A short-term wind speed prediction method based on optimal Copula correlation analysis[J]. Power system and clean energy, 2024, 40(2): 63−72. [26] 赵洪山, 吴雨晨, 潘思潮, 等. 基于TCN和高斯过程残差建模学习的净负荷概率预测方法[J]. 太阳能学报, 2024, 45(12): 588−595. ZHAO Hongshan, WU Yuchen, PAN Sichao, et al. Probabilistic net load forecasting based on TCN and GAUSSIAN process-enabled residual modeling learning approach[J]. Acta energiae solaris sinica, 2024, 45(12): 588−595. [27] 孙玉芹, 王亚文, 朱威, 等. 基于考虑气温影响的门限自回归移动平均模型居民日用电负荷预测[J]. 电力建设, 2022, 43(9): 117−124. SUN Yuqin, WANG Yawen, ZHU Wei, et al. Residential daily power load forecasting based on threshold ARMA model considering the influence of temperature[J]. Electric power construction, 2022, 43(9): 117−124. [28] 林静怀, 范士雄, 徐郑崎, 等. 基于模糊层次分析法和LSTM-注意力机制的电网运行态势感知评估模型[J]. 电力信息与通信技术, 2020, 18(4): 58−66. LIN Jinghuai, FAN Shixiong, XU Zhengqi, et al. A situation awareness model for power grid operation based on fuzzy analytic hierarchy process and LSTM-attention mechanism[J]. Electric power information and communication technology, 2020, 18(4): 58−66. [29] 吕佳炜, 张沈习, 程浩忠, 等. 考虑互联互动的区域综合能源系统规划研究综述[J]. 中国电机工程学报, 2021, 41(12): 4001−4021. LYU Jiawei, ZHANG Shenxi, CHENG Haozhong, et al. Review on district-level integrated energy system planning considering interconnection and interaction[J]. Proceedings of the CSEE, 2021, 41(12): 4001−4021. [30] 范航舟, 梅红岩, 赵勤, 等. 融合双注意力机制的GNN多维时间序列预测[J]. 智能系统学报, 2024, 19(5): 1277−1286. FAN Hangzhou, MEI Hongyan, ZHAO Qin, et al. Multivariate time series forecasting with a graph neural network and dual attention mechanism[J]. CAAI transactions on intelligent systems, 2024, 19(5): 1277−1286. [31] WANG Weina, SHAO Jiapeng, JUMAHONG H. Fuzzy inference-based LSTM for long-term time series prediction[J]. Scientific reports, 2023, 13(1): 20359. doi: 10.1038/s41598-023-47812-3 [32] VASWANI A, SHAZEER N M, PARMAR N, et al. Attention is all you need [J]. Advances in neural information processing systems, 2017, 30. [33] CHEN Lifang, GE Hongze, LI Jiawei. CrossFormer: multi-scale cross-attention for polyp segmentation[J]. IET image processing, 2023, 17(12): 3441−3452. doi: 10.1049/ipr2.12875
