Spatiotemporal prediction of telecommunications network fraud crime with multidimensional feature fusion
-
摘要: 对空间内电信网络诈骗犯罪发案进行预测能够有效提升精准反诈工作效能。然而，现有方法受到发案时序数据存在稀疏性和周期性的影响，以及空间环境特征因子异质性限制的挑战，导致面向电信网络诈骗发案量的预测效果不佳。为此，提出一种融合多维特征的电信网络诈骗犯罪时空预测模型(multidimensional feature-integrated telecom fraud spatiotemporal prediction model, MF-TSP)。结合区域空间拓扑图构建空间环境特征因子筛选模块，有效融合预测目标空间的邻域发案特征；运用时间滑动窗口技术，并引入多维时序特征捕捉模块和倒置Transformer(inverted transformers, iTransformer)模块，克服了发案时序数据稀疏问题，同步实现了对序列周期性、全局依赖关系及多变量间复杂相关性的有效捕捉；通过进一步深度时空特征融合和非线性映射，显著提升了犯罪发案量的预测精度。实验结果表明，提出的MF-TSP模型在B市电信网络诈骗犯罪发案真实数据集上，在3种不同输入时间步长条件下均表现最佳，明显优于7种对比模型。Abstract: Spatiotemporal prediction of telecommunications fraud crimes can substantially enhance targeted antifraud efforts. However, existing methods suffer from poor performance due to sparse and periodic incident time-series data, as well as the heterogeneity of spatial environmental factors. Aiming to address these challenges, this paper proposes a multidimensional feature-integrated telecom fraud spatiotemporal prediction (MF-TSP) model. First, a spatial feature selection module was constructed by integrating regional topological graphs to effectively incorporate neighborhood crime patterns. A time-sliding window technique, combined with a multidimensional temporal feature extraction module and an inverted Transformer, addresses data sparsity while capturing periodicity, global dependencies, and complex multivariate correlations. Furthermore, deep spatiotemporal fusion and nonlinear mapping notably improve prediction accuracy. Experiments on real-world telecom fraud data from City B demonstrate that MF-TSP outperforms seven baseline models under three different input time-step conditions.
-
当前，电信网络诈骗年发案量占据所有刑事犯罪案件的 50%以上，已然成为当下发案最多、涉及面最广、人民群众反映最强烈的“顽症痼疾”。基于真实发案数据构建高效算法模型，对目标空间内电信网络诈骗犯罪的发案量进行前置性预测，让有关部门对犯罪态势“先知先觉”，从而科学投放警力资源并制定精准预防策略，已经成为遏制此类犯罪的有效路径。
针对电信网络诈骗犯罪发案量的预测方法研究，本质上是要探索构建融合多维特征因子的犯罪时空预测模型。目前，针对网络诈骗犯罪预测方法这一特定场域的研究成果较少，但面向更为广义的犯罪时空预测技术探索已有一定积累，能够为电信网络诈骗犯罪预测提供有益借鉴。
目前，犯罪时空预测方法研究主要聚焦于两个方向：一是仅从时间维度切入，探讨不同尺度下的预测方法，二是从“时间−空间”二元视角探索犯罪时空预测的技术方法。在时间维度上，侯苗苗等[1]使用传统的时间序列统计方法，以北方某大型城市的一般伤害、抢劫和抢夺3类犯罪案件为研究对象，建立SARIMA(seasonal autoregressive integrated moving average)时间序列预测模型，发现一般伤害案件的数量存在周期性波动,且没有明显的增减趋势，得到了较好的预测效果；随着传统机器学习的兴起。颜靖华等[2]以日盗窃犯罪为研究对象，运用长短期记忆网络(long short-term memory network, LSTM)对日盗窃犯罪的发案量长期时序特征进行提取，预测了日盗窃犯罪的发案趋势。而卢业成等[3]进一步对传统机器学习方法进行改进，以北方某大型城市的抢劫、入室盗窃、抢夺和诈骗类犯罪的日犯罪数据为研究对象，提出了一种基于混沌分析的长短期记忆预测方法，对符合混沌特征的犯罪时间序列进行序列重建，预测效果得到明显提升。但仅关注时间维度的变化难以应对非线性、非平稳性及多尺度依赖问题，且对于预测结果的可解释性较弱，难以针对犯罪案件发生的真实因素进行有效应对，所以越来越多研究人员开始从“时间−空间”二元视角探索犯罪时空预测的技术方法。如随着卷积网络在深度学习领域的兴起，王勋等[4]以美国洛杉矶犯罪案件为研究对象，将研究区域用16×16的网格进行划分，提出利用堆叠的3D卷积层和多个连续的2D卷积层分别提取临近的时间特征和空间特征，构建出深度时空三维卷积神经网络(spatial-temporal three-di-mensional convolutional neural network, ST-3DNet)，实现了较好的犯罪时空预测效果。然而卷积神经网络受限于局部感受野的固有特性，注意力机制的提出有效弥补了这个缺陷，通过自适应的全局关联计算，实现全局特征的适应性建模，有效提升犯罪预测准确率，如石拓等[5]以北方某大型城市的盗窃案件为研究对象，提出了本文提出一种基于自注意力和多尺度视角特征动态融合的盗窃犯罪预测模型(a theft crime prediction model based on the dynamic fusion of self attention and multi-scale perspective features, DF-SAMS)，并验证了在不同尺度栅格下该模型的性能，优于对比模型。图神经网络的出现，为犯罪时空预测领域带来了革命性突破，实现了对犯罪事件发生空间的关联性捕捉以及对犯罪热点形成的潜在机制的揭示，如赵丹等[6]以兰州市主城区的盗窃犯罪为研究对象，按照月尺度对犯罪数据进行划分匹配到对应街区，构建出街区案件时序图，融合图自编码器(graph autoencoder, GAE)与循环神经网络(gated recurrent unit, GRU)，构建出用于盗窃犯罪时空分布预测的图自编码循环神经网络(graph auto encoder recurrent neural network, GAERNN)，显著提高了犯罪预测精度，显示出兰州主城区未来犯罪热点分布，为犯罪预防提供有效参考。
现有犯罪时空预测方法研究为电信网络诈骗的发案预测提供了新视角和新方法。但电信网络诈骗作属于非接触网络犯罪，要实现对电信网络诈骗犯罪的发生进行有效预测，还有以下3个问题需要解决： 1)电信网络诈骗案件的发生与特定的受害人口特征以及受害人活动特征相关，以往利用深度学习进行犯罪时空预测是将所有空间特征输入模型，由模型进行特征筛选与提取，而将所有空间特征输入模型会带来不必要的“噪声”，影响最终预测效果。2)电信网络诈骗预测需要更细粒度的时间尺度，以往针对电信网络诈骗犯罪的预测多是以周或月份为统计单位，但若想要进一步针对各个地区每天的电信网络诈骗犯罪进行预测，就会面临案件数据稀疏性问题，受限于电信网络诈骗案件数据零值过多这一特点，以往常用的卷积神经网络会存在无效特征传播问题。3)犯罪时序数据往往受到多维特征影响，以往的电信网络诈骗犯罪时空预测方法通常为单一的卷积神经网络和图神经网络通过串并联实现对时空特征的捕捉，而仅利用单一结构模型无法有效捕捉案件数据的所有特征关系，例如：LSTM、GRU等序列结构模型难以捕捉长距离依赖，且存在记忆力不足遗忘前面时间步的信息的问题，无法有效地处理长时间序列数据以及捕捉多变量时间序列中变量之间的依赖关系；卷积神经网络(convolutional neural network, CNN)、时间卷积网络(temporal convolutional network, TCN)和图卷积网络(graph convolutional network, GCN)等模型，由于局部感受野的限制无法有效捕捉全局时空特征[7]。上述问题在以往的电信网络诈骗犯罪时空预测研究中并没有得到很好的解决。
针对以上问题，本文提出一种融合多维特征的电信网络诈骗犯罪时空预测模型(multidimensional feature-integrated telecom fraud spatiotemporal prediction model, MF-TSP)，主要贡献如下：
1)构建了空间特征因子筛选模块。为了进一步提高犯罪预测精度，本文模型利用多元回归方法筛选出与电信网络诈骗案件发生显著相关的影响因子，作为空间特征变量，相较于将所有空间特征输入模型，可以帮助有效减少无关因子带来的噪声影响，提高电信网络诈骗犯罪预测的准确率。
2)利用了时间滑动窗口技术。相较于其他常用的处理稀疏数据方式，本文提出运用时间滑动窗口技术对电信网络诈骗犯罪时序数据进行数据增强，它可以有效聚合时序发案数据信息，避免案件数据中存在零值造成的异常影响，从而有效缓解发案时序数据稀疏性限制的影响，提升预测效率。
3)为进一步捕捉电信网络诈骗犯罪时空维度的高阶信息，使用卷积神经网络捕捉时序数据的不同周期的时间特征，避免局部感受野的局限性，适应数据中的多尺度复杂模式；利用改进的iTransformer-Trm模块，有效融合时序数据全局以及多变量之间的依赖关系，该模块在进行时序预测方面相较于传统的LSTM、GRU等序列模型，以及Transformer、Autofomer和Crossformer等基于自注意力机制的序列模型拥有最佳预测效果[8]；利用图注意力网络捕捉目标空间的相邻节点和全局空间特征。
1. 模型框架
本文提出了一种融合多维特征的电信网络诈骗犯罪时空预测模型(MF-TSP)，其整体架构如图1所示。模型主要由3个核心单元组成：空间特征融合单元、时序特征处理单元以及时空向量拼接与预测单元。首先，模型通过空间特征融合单元中的空间影响因子筛选模块，筛选出与案件显著相关的空间影响因子，结合区域空间拓扑图，嵌入到向量空间以获得空间特征数据，并通过空间特征融合模块融合各节点的空间特征，生成融合的空间特征数据。接着，利用时间滑动模块对原始案件时序数据进行聚合，并通过多维时序特征捕捉模块和iTransformer-Trm模块进行时序特征提取和表示。最终，将得到的时序数据与空间数据进行向量拼接，并输入全连接层，生成最终的预测结果。
图 1 融合多维特征的电信网络诈骗犯罪时空预测模型Fig. 1 Predictive model for telecom fraud crime based on the integration of multi-dimensional spatiotemporal features
下载:
全尺寸图片
1.1 空间特征融合单元
为解决非必要空间特征带来的“噪声”问题并融合邻域空间特征增加预测精度，本单元将筛选所有潜在影响因子，并根据实际各区域的地理关系，构建空间拓扑图，向量化表示各空间节点影响因子数据，采用图神经网络对各节点向量进行特征融合，最终得到融合邻域空间特征的节点向量数据。该单元由空间影响因子筛选模块与空间特征融合模块组成。
1.1.1 空间影响因子筛选模块
为满足本文数据特征，使预测结果满足犯罪研究所需强解释性，确保模型泛化能力，本研究选用多元负二项与逐步回归结合的方法来筛选影响因子。多元负二项公式为
$$ \log \left( {E\left( {{Y_i}} \right)} \right) = {\beta _0} + {\beta _1}{X_{i1}} + {\beta _2}{X_{i2}} + \cdots + {\beta _p}{X_{ip}} $$ 式中：
$ {Y}_{i} $ 表示第$ i $ 个观测值的响应变量(即电信网络诈骗案件数量)；$ {X}_{i1},{X}_{i2},\cdots ,{X}_{ip} $ 表示第$ i $ 个观测值的$ p $ 个预测变量；$ {\beta }_{0},{\beta }_{1},\cdots ,{\beta }_{p} $ 是待估计的回归系数。逐步回归综合前向选择(forward selection)和后向消除(backward slimination)方法，在每一步中添加显著变量或移除不显著变量，步骤为
$$ {\text{Forward selection: }}{M_{k + 1}} = {M_k} + {X_{{j^*}}} $$ $$ {\text{Backward slimination: }}{M_{k + 1}} = {M_k} - {X_{{j^*}}} $$ $$ {\text{where }}{j^*} = {\mathop {\arg \max}\limits _j}\{ {\text{Statistical significance}}\} $$ 式中：
$ {M}_{k} $ 表示第$ k $ 步的回归模型，$ {X}_{{j}^{*}} $ 表示索引为$ {j}^{*} $ 的变量。结合两种方法，按照以下步骤进行：1)针对潜在影响因子构建初始模型。2)使用逐步回归方法选择显著变量。3)选定变量后，使用多元负二项回归模型进行参数估计。最终模型公式为
$$ \log \left( {E({Y_i})} \right) = {\beta _0} + {\beta _{{j_1}}}{X_{i{j_1}}} + {\beta _{{j_2}}}{X_{i{j_2}}} + \cdots + {\beta _{{j_k}}}{X_{i{j_k}}} $$ 式中
$ {j}_{1},{j}_{2},\cdots ,{j}_{k} $ 是逐步回归选择出的显著变量索引。通过以上步骤，可以构建一个结合多元负二项回归和逐步回归的模型，有效筛选出电信网络诈骗犯罪的关键影响因子，确保模型的解释力和预测能力。
1.1.2 空间特征融合模块
为考虑临近区域空间特征对预测区域电信网络诈骗犯罪发案率的影响，将筛选得到的影响因子数据，结合空间拓扑分布，进行向量化表示，得到表示各派出所辖区空间特征的图数据，送入空间特征融合模块进行处理。
在空间特征融合模块中主要选用图注意力网络 (graph attention network, GAT)[9]实现特征融合，相比于常用的GCN[10]存在固定权重分配、全局信息捕捉能力弱和受节点度数影响等缺陷，GAT使用注意力机制为每个节点的邻居动态分配权重，能更好地捕捉和融合节点之间的多层次关系信息，且可以自适应调整权重，在处理不同度数节点时更加稳定，同时，使用多头注意力机制(如图2所示)，能够捕捉更丰富的节点间关系信息，大大增强了特征融合的效果和模型的鲁棒性[11–13]。
图 2 GAT多头注意力机制Fig. 2 GAT multi-head attention mechanism下载:
全尺寸图片
单层GAT网络，对于第
$ k $ 个注意力头，将输入图的每个节点的特征向量$ {\boldsymbol{h}}_{i} $ 利用权重矩阵$ {\boldsymbol{W}}^{\left(k\right)} $ 进行线性变换，得到新的特征表示$ {\boldsymbol{h}}_{i}^{\left(k\right)} $ ，并将相邻节点$ i $ 和$ j $ 的特征向量进行拼接，与注意力权重向量$ {\boldsymbol{\alpha}}^{\left(k\right)} $ 相乘，利用$ \text{LeakyReLU} $ 激活函数进行处理，计算它们之间的注意力系数$ {e}_{ij}^{\left(k\right)} $ ，之后对每个节点使用softmax函数对其所有邻居节点的注意力系数进行归一化处理，得到节点$ i $ 和节点$ j $ 之间的归一化注意力权重$ {\alpha }_{ij}^{\left(k\right)} $ ，使用归一化注意力权重对邻居节点的特征进行加权求和，用ReLU激活函数$ \sigma (\cdot) $ 变换后，得到每个注意力头的输出$ {\boldsymbol{h}}_{i}^{\left(k\right)\prime} $ ，最后将所有注意力头的输出进行连接或平均，形成最终的节点表示$ {\boldsymbol{h}}_i' $ 。计算过程为$$ {\boldsymbol h}_i^{(k)} = {{\boldsymbol{W}}^{(k)}}{{\boldsymbol h}_i} $$ $$ e_{ij}^{(k)} = {\text{LeakyReLU}}\left(({{\boldsymbol{\alpha}}^{(k)})^{\text{T}}}[{\boldsymbol h}_i^{(k)}||{\boldsymbol{h}}_j^{(k)}]\right) $$ $$ \alpha _{ij}^{(k)} = \frac{{\exp \left( {e_{ij}^{(k)}} \right)}}{{\displaystyle\sum\limits_{l \in \mathcal{N}(i)} \exp \left( {e_{il}^{(k)}} \right)}} $$ $$ {\boldsymbol h}_i^{(k)\prime} = \sigma \left( {\sum\limits_{j \in {\mathcal{N}}(i)} {\alpha _{ij}^{(k)}} {\boldsymbol{h}}_j^{(k)}} \right) $$ $$ {\boldsymbol h}_i' = ||_{k = 1}^K{\boldsymbol h}_i^{(k)\prime} $$ 式中
$||_{k = 1}^K$ 表示从1到$ K $ 的聚合运算。为实现图结构数据的高阶抽象特征提取与多尺度特征融合，本模型设计使用堆叠式图注意力网络架构。该架构采用多头图注意力网络(multi-head GAT)，通过层级间的特征传递机制，将第k层图注意力层的隐状态输出作为第k+1层的输入张量，确保浅层局部特征与深层全局语义的有效融合。最终通过L层堆叠进行全局感受野的动态构建，实现节点嵌入向量的空间特征融合。
1.2 时序特征处理单元
为实现对多维时序特征的处理与融合，时序特征处理单元利用时间滑动窗口聚合生成新时序数据，并利用多维时序特征捕捉模块捕捉时序数据局部特征得到多维时序特征向量，最终输入iTransformer-Trm模块捕捉全局依赖。该单元由3部分组成：时间滑动窗口、多维时序特征捕捉模块以及iTransformer-Trm模块。
1.2.1 时间滑动窗口
为解决电信网络诈骗犯罪发案量时序数据存在稀疏性特征问题，本文设计实现时间滑动窗口[14-15]，如图3所示。时间滑动窗口将给定原时间序列
$ \{{x}_{t}{\}}_{t=1}^{T} $ 以周为时间维度进行聚合，窗口大小设置为7，每次滑动1步，直至窗口覆盖整个时间序列，得到新的时间序列$ \left\{{y}_{t}\right\} $ ，长度为$ T-6 $ ，计算公式为
图 3 时间滑动窗口Fig. 3 Time sliding window下载:
全尺寸图片
$$ {y_t} = \sum\limits_{i = 0}^6 {{x_{t + i}}} ,t = 1,2, \cdots ,T - 6 $$ 1.2.2 多维时序特征捕捉模块
为了捕捉不同维度的时序特征，采用CNN[16]处理经过时间滑动窗口聚合后得到的时间序列
$ {{\boldsymbol{S}}}_{1}:{\boldsymbol{y}}=[{y}_{1},{y}_{2},\cdots ,{y}_{T}] $ ，利用大小为1×$ n $ 的卷积核进行一维卷积，图4中$ {\boldsymbol S}_{1} $ 上的绿色块和蓝色块分别代表大小为1×2和1×4的卷积核，$ {\boldsymbol S}_{1} $ 下方的黑色箭头代表两个卷积核的移动方向，$ {\boldsymbol S}_{1} $ 与$ {\boldsymbol S}_{2}、{\boldsymbol S}_{3} $ 之间的连接线代表对$ {\boldsymbol S}_{1} $ 分别利用大小为1×2和1×4的卷积核进行一维卷积操作。为了保持输出序列长度与原序列长度一致，在输入序列两端进行填充，填充数量为$ p $ 的0值，公式为
图 4 基于CNN的多维特征捕捉与拼接操作Fig. 4 Multi-dimensional feature capture and concatenation based on CNN下载:
全尺寸图片
$$ p = \left\lfloor {\frac{{n - 1}}{2}} \right\rfloor ,n = 2,4 $$ 式中：
$ n $ 表示卷积核在时间维度上跨越$ n $ 个时间步，填充后输入序列长度为$ T+2p\text{。} $ 利用卷积核权重矩阵$ \boldsymbol{W} $ 与卷积核内每一个时间步的特征向量逐元素相乘，并累加得到一个标量，最后加上偏置项$ b $ ，并通过ReLU激活函数进行非线性变换。卷积操作公式为$$ y_t' = {\text{ReLU}}\left( {\sum\limits_{j = 0}^{n - 1} {\sum\limits_{i = 1}^d {{w_{j,i}}} } \cdot {y_{t + j - p,i}} + b} \right) $$ 式中
$ {w}_{j,i} $ 是卷积核$ \boldsymbol{W} $ 中的权重，表示第$ j $ 个时间步第$ i $ 个特征的权重，$ {y}_{t+j-p,i} $ 是填充后的输入序列中第$ t+j-p $ 个时间步的第$ i $ 个特征。之后，将经过卷积操作得到的时间序列
$ {\boldsymbol S}_{2}、{\boldsymbol S}_{3} $ 与原时间序列$ {\boldsymbol S}_{1} $ 在时间变量的数量维度上进行向量拼接操作，最终得到多维时序特征向量。1.2.3 iTransformer-Trm模块
为更有效利用Transformer架构捕捉多变量时序数据的全局依赖，本研究提出利用iTransformer-Trm架构处理拼接后的多维时序数据[8,17–20]。不同于传统Transformer架构[21]针对时间序列同一时间步的不同变量的表示和处理，iTransformer-Trm架构[8](如图5所示)对拼接后时序向量中单个变量的整个时间序列
$ {X}_{:,n} $ 进行嵌入(Embedding)表示为单个变量的时间序列向量$ {\boldsymbol{h}}_{n}^{0} $ 。随后，在TrmBlock中，对每个时间序列$ {\boldsymbol{H}}=\left\{{{\boldsymbol{h}}}_{1},{{\boldsymbol{h}}}_{2},\cdots ,{{\boldsymbol{h}}}_{N}\right\}\in {\mathbf{R}}^{N\times D} $ 通过自注意力机制通过线性投影变换获取查询、键和值$ {\boldsymbol{Q}}_{i},{\boldsymbol{K}}_{j},{\boldsymbol{V}}_{k}\in {\mathbf{R}}^{N\times {d}_{k}} $ ，其中$ {d}_{k} $ 是投影维数；利用softmax函数处理并计算各变量注意力得分$ \text{Attention} ({\boldsymbol{Q}}_{i},{\boldsymbol{K}}_{j},{\boldsymbol{V}}_{k}) $ ，捕捉多变量的相关性关系，高度相关的变量将在下一次表示与值$ {\boldsymbol{V}}_{k} $ 的交互中获得更大的权重。
图 5 iTransformer-Trm架构Fig. 5 iTransformer-Trm architecture下载:
全尺寸图片
在原始Transformer中，前馈神经网络(Feed-forward)在同一时间戳下的多变量组合形成的令牌可能存在错位且过于局部化，难以充分揭示预测所需的信息，而iTransformer通过前馈神经网络提取每个变量的时间序列的复杂表示，即利用多层感知机(multilayer perceptron, MLP)实现对每个变量时间序列向量的回归处理，实现对未来的时间序列向量表示。其中MLP由输入层、隐藏层和输出层构成，输入层接收特征向量
$ \boldsymbol{x}\in {\mathbf{R}}^{d} $ 后输入隐藏层，多层隐藏层之间进行非线性处理后层层传递，最后一层隐藏层将输出传递给输出层，输出层利用激活函数对隐藏层传递结果进行处理得到结果向量，多层感知机层与层之间全连接，隐藏层第$ l $ 层的计算过程公式为$$ {{\boldsymbol{z}}^{(l)}} = {{\boldsymbol{W}}^{(l)}}{{\boldsymbol{x}}^{(l - 1)}} + {{\boldsymbol{b}}^{(l)}} $$ $$ {{\boldsymbol{a}}^{(l)}} = f\left( {{{\boldsymbol{z}}^{(l)}}} \right) $$ 式中：
$ {\boldsymbol{W}}^{\left(l\right)}\in {\mathbf{R}}^{{n}_{l}\times {n}_{l-1}} $ 表示权重矩阵，$ {\boldsymbol{b}}^{\left(l\right)}\in {\mathbf{R}}^{{n}_{l}} $ 表示偏置向量，$ f(\cdot ) $ 表示激活函数。接着使用残差连接和层归一化(LayerNorm)方法将每个变量的时间序列向量归一化为高斯分布，解决序列存在的不一致性和不平稳问题。最终经过TrmBlock处理后的时间序列向量通过投影层(Projection)即全连接层实现高维向量向低维映射的处理，得到每个变量的未来序列$ {{\boldsymbol{Y}}}_{:,n} $ 。具体流程公式为$$ {\boldsymbol{h}}_n^0 = {\text{Embedding}}({{\boldsymbol{X}}_{:,n}}) $$ $$ \begin{array}{c} {\text{LayerNorm}}({\boldsymbol{H}}) = \left\{ \dfrac{{{{\boldsymbol{h}}_n} - {\text{Mean}}({{\boldsymbol{h}}_n})}}{{\sqrt {{\text{Var}}({{\boldsymbol{h}}_n})} }}|n = 1,2, \cdots ,N\right\} \\ {{\boldsymbol{H}}^{l + 1}} = {\text{TrmBlock}}({{\boldsymbol{H}}^l}),l = 0,1, \cdots ,L - 1 \end{array}$$ $$ {{\boldsymbol{Y}}_{:,n}} = {\text{Projection}}({\boldsymbol{h}}_L^n) $$ 式中：
$ {\boldsymbol{H}}=\left\{{{\boldsymbol{h}}}_{1},{{\boldsymbol{h}}}_{2},\cdots ,{{\boldsymbol{h}}}_{N}\right\}\in {\mathbf{R}}^{N\times D} $ 包含维度为$ D $ 的$ N $ 个嵌入tokens，上脚标表示层的索引。嵌入：$ {\mathbf{R}}^{{\mathrm{T}}}\to {\mathbf{R}}^{{\mathrm{D}}} $ 和投影：$ {\mathbf{R}}^{{\mathrm{D}}}\to {\mathbf{R}}^{{\mathrm{S}}} $ 都由MLP实现。得到的变量tokens通过自注意力进行相互作用，并在每个TrmBlock中独立处理。1.3 时空向量拼接与预测单元
为融合时间特征向量和空间特征向量，实现电信网络诈骗时空预测，需将融合空间特征的节点向量
$ {\boldsymbol{h}}_{i} $ 与对应节点的时间向量$ {\boldsymbol{t}}_{i} $ 进行拼接(即$ \mathrm{c}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}(\cdot ) $ )，如图6所示，将融合得到的多维空间特征向量进行转置得到$ {\boldsymbol{h}}_{i}^{\mathrm{T}} $ ，并与时间特征向量$ {\boldsymbol{t}}_{i} $ 进行拼接(图中黑色小箭头表示向量拼接操作)，最终得到时空特征向量$ {\boldsymbol{z}}_{i} $ 。将时空特征向量$ {\boldsymbol{z}}_{i} $ 送入Prdecition层进行映射，得到最终电信网络诈骗犯罪时空预测结果$ {\hat{y}}_{i} $ 。具体流程公式为
图 6 时空向量拼接Fig. 6 Spatiotemporal vector concatenation下载:
全尺寸图片
$$ {{\boldsymbol{z}}_i} = {\text{concat}}({{\boldsymbol h}_i},{{\boldsymbol{t}}_i}) $$ $$ {\hat y_i} = {\text{Prediction}}({{\boldsymbol{z}}_i}) $$ 式中：
$ i $ 表示第$ i $ 个空间拓扑图节点，$ \mathrm{P}\mathrm{r}\mathrm{e}\mathrm{d}\mathrm{i}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n} $ 功能由MLP实现。2. 实验结果及分析
2.1 实验数据集及评价标准
本实验采用北方某大型城市B市2021年1月1日—2023年12月31日共1 095 d的电信网络诈骗犯罪案件情况作为研究数据，以B市人口相对集中的8个城区的派出所辖区作为研究单元，将案件数据按派出所辖区划分，以天为单位统计发案量作为电信网络诈骗犯罪时空预测的时序数据。以派出所辖区定义节点，以派出所辖区实际地理关系定义边，构建出反映研究区域实际派出所辖区分布的空间拓扑图，为了能更直观展示派出所辖区分布空间拓扑图，图中用3种不同颜色表示相邻节点进行有效区分，如图7所示。
图 7 B市八城区派出所辖区空间拓扑图Fig. 7 Spatial topology map of police precincts in the eight districts of City B下载:
全尺寸图片
将B市的兴趣点(point of interest, POI)数据通过经纬度转换映射到各派出所辖区，利用Arc地理信息系统(Arc geographical information system, ArcGIS)软件统计各辖区中各类POI数量(如生活住宅数量、公司企业数量等)、“珞珈一号”夜间灯光强度和北京路网密度作为建成环境维度的空间影响因子，并结合由B市公安局提供的辖区人口特征数据构成电信网络诈骗犯罪空间影响因子数据集，筛选后空间影响因子的方差膨胀因子(variance inflation factor, VIF)值均小于5，说明各影响因子之间不存在多重共线性，Z检验p值均小于0. 1，说明各影响因子对电信网络诈骗犯罪发案量均有显著解释意义，筛选后空间影响因子如表1所示。
表 1 筛选后空间影响因子Table 1 Filtered spatial influence factors影响因子维度 筛选后空间
影响因子描述 系数 VIF 建成环境 生活住宅数量 商业楼盘、别墅区、产业园住宿公寓等生活住宅场所的数量 0.442*** 3.44 公司企业数量 有限责任公司、股份有限公司、个人独资企业等公司企业的数量 −0.124** 2.64 医疗场所数量 医院、诊所等医疗场所的数量 0.139*** 1.86 夜间灯光强度 基于“珞珈一号”夜间灯光数据，统计得到的辐射亮度总和，反应经济活动强度 0.123*** 1.89 路网密度 路网总长度与空间单元面积比值 0.236*** 2.49 人口特征 流动人口比例 户籍不在对应辖区的人口占总人口比例 0.428*** 1.72 注：“***”代表p<0. 01, “**”代表p<0. 05, “*”代表p<0. 1。 电信网络诈骗犯罪时空预测本质上是回归问题，因此本文选择平均绝对误差(mean absolute error, MAE)、均方误差(mean squared error, MSE)和对称平均绝对百分比误差(symmetric mean absolute percentage error, SMAPE)作为评价指标来衡量预测模型的误差和准确性。各指标公式为
$$ {M_{{\text{AE}}}} = \frac{1}{n}\sum\limits_{i = 1}^n | {y_i} - {\hat y_i}| $$ $$ {M_{{{\text{SE}}}}} = \frac{1}{n}\sum\limits_{i = 1}^n {{{({y_i} - {{\hat y}_i})}^2}} $$ $$ {S_{{\text{MAPE}}}} = 100 \text{%} \times \frac{1}{{{n}}}\sum\limits_{{{i}} = 1}^{{n}} {\frac{{|{{\hat y}_{{i}}} - {y_{{i}}}|}}{{(|{{\hat y}_{{i}}}| + |{y_{{i}}}|)/2}}} $$ 式中：
$ n $ 是样本的数量，$ {y}_{i} $ 是实际值，$ {\hat{y}}_{i} $ 是预测值。2.2 实验环境
本文的实验环境如表2所示，所有模型均在该实验环境中运行。在实验中调用一块A100 GPU实现训练、验证以及推理过程，调用一块CPU进行评价指标计算。
表 2 实验环境Table 2 Experimental environment环境 型号或参数 CPU Intel(R) Xeon(R) Gold 6240 CPU @ 2.60 GHz GPU NVIDIA A100-PCIE-40 GB 操作系统 Ubuntu 20.04.6 显存/GB 40 内存/GB 128 PyTorch 2.1.0 CUDA 12.1 2.3 实验参数设置
为测试本文模型对不同长度时间序列的预测效果，将输入时间步长分别设为15、30、60，并固定预测时间步长为3进行对比实验[22]。由于不同模型拟合速度不一致，故在各模型对比实验中动态调整Epoch大小，来测试各模型在本文数据集上所能达到的平均最优效果，具体实验参数设置如表3所示。
表 3 实验参数Table 3 Experimental parameters参数 取值 原始时间序列长度 1 095 空间拓扑图节点数量 259 输入时间步长 15、30、60 预测时间步长 3 时间聚合滑动窗口大小 1×7 滑动时间步长 1 聚合后时间序列长度 1 089 卷积核大小 1×2、1×4 批量样本尺寸 16 GAT层数 3 Epoch 0~150 2.4 实验结果分析
2.4.1 对比实验结果与分析
为了评估本文模型的性能优劣，选取2个时间预测模型GRU[23]、TCN[24]和5个时空预测模型CNN+LSTM[25]、STGCN[26]、DCRNN[27]、AGCRN[28]、DGCRN[29]，在本文构建的电信网络诈骗数据集上进行实验效果对比。
针对时序预测模型，将电信网络诈骗犯罪的日发案量时序数据作为输入；针对时空预测模型，将空间特征数据和日发案量时序数据作为输入。实验组分别按照15、30、60的输入时间步长进行划分。实验结果如图8~10所示，本文提出的模型MF-TSP在电信网络诈骗犯罪预测任务中表现出色，各项评价指标均优于其他模型。在不同输入时间步长下，该模型始终保持领先地位，展现了优异的性能和稳定性。
图 8 各模型在不同输入时间步长下的MAEFig. 8 MAE of each model at different input time steps下载:
全尺寸图片
图 9 各模型在不同输入时间步长下的MSEFig. 9 MSE of each model at different input time steps下载:
全尺寸图片
图 10 各模型在不同输入时间步长下的SMAPEFig. 10 SMAPE of each model at different input time steps下载:
全尺寸图片
图8~10实验结果表明，传统时序模型效果普遍劣于时空预测模型，是由于GRU和TCN作为时间序列模型无法直接建模空间依赖关系，仅能处理时间序列，难以有效捕捉城市不同区域之间的犯罪传播模式；且对TCN来说，电信网络诈骗犯罪案件的发生通常是稀疏的，而TCN的卷积操作容易受到数据不均衡影响，所以导致了更大的预测偏差。CNN+LSTM随着输入时间步长的增加，效果逐渐变差，是由于LSTM难以有效捕捉超长时间依赖；且随着时间步增加，CNN提取的局部空间特征可能难以对长期预测提供足够支持。STGCN效果劣于其他时空预测模型，是由于其依赖静态图结构，难以适应犯罪模式的动态变化；且犯罪数据通常具有突发性，STGCN可能无法很好地适应突发性犯罪模式的变化。DCRNN使用扩散卷积，相较于STGCN更灵活，但在复杂的城市犯罪预测任务中，犯罪热点可能不仅受邻近区域影响，还可能受远距离区域的影响，而扩散卷积在长距离依赖建模上存在局限。AGCRN主要依赖GCN建模局部邻域的犯罪传播，而犯罪数据往往包含较多异常值，AGCRN在自动学习空间关系时可能受到异常数据影响，导致错误的空间依赖建模，不如DGCRN具备动态空间依赖调整能力，从而影响预测效果。DGCRN更关注短期的空间依赖变化，而犯罪预测任务往往涉及长期因素影响，模型可能难以捕捉长期犯罪趋势。
MF-TSP在所有步长下均表现出色，特别是在长步长(60)下表现最优。这表明本研究提出的空间影响因子筛选、多维时序特征捕捉和iTransformer架构引入等改进方法相较于传统时空预测模型在精度方面有了巨大提升，使得MF-TSP依靠空间影响因子筛选模块和GAT网络可以有效捕捉全局以及局部的空间特征，减少无效空间影响因子的干扰，并且依赖多维时序特征捕捉模块和iTransformer架构可以有效捕捉电信网络诈骗犯罪时序数据在不同时间尺度下的时序特征，实现对电信网络诈骗犯罪的长期有效预测，保证了MF-TSP卓越的预测性能和稳定性。
综上所述，不同时间步长对模型性能影响显著，各模型在不同时间尺度下表现差异明显。本文模型在各时间步长下均展现了优异的性能，验证了其在电信网络诈骗预测任务中的有效性和适用性。
2.4.2 消融实验结果与分析
为了验证本文模型中各模块对于模型效果提升的有效性，本研究通过系统的消融实验，深入探讨了所提出模型的各个组成部分对预测性能的影响，消融实验结果如表4所示，其中Baseline表示基线模型iTransformer-Trm，A表示空间影响因子筛选模块，B表示多维时序特征处理模块，C表示空间特征融合模块在消融实验中，固定输入时间步长为30，输出时间步长为3。
表 4 消融实验结果Table 4 Ablation experiment results模型 MAE MSE SMAPE BaseLine 1.151 0 2.367 2 36.641 3 BaseLine+A 1.120 9 2.345 9 35.650 4 BaseLine+B 1.091 1 2.141 3 35.788 4 BaseLine+C 1.102 7 2.259 5 35.320 3 BaseLine+A+C 1.053 5 2.051 3 34.677 7 BaseLine+A+B 1.069 2 2.051 6 35.453 9 BaseLine+C+B 1.048 3 1.978 2 34.771 6 BaseLine+A+B+C 1.000 9 1.822 2 34.318 8 实验结果表明，本文提出的模型在各项评估指标上均显著优于基线模型及其变体。与基线模型相比，本文模型在MAE、MSE和SMAPE上分别降低了
0.0501 、0.5450 和2.3225 ，预测精度显著提升。为评估各模块的贡献，研究逐步引入不同模块。首先，在Baseline的基础上分别单独加入空间影响因子筛选模块、多维时序特征处理模块和空间特征融合模块后，MAE、MSE和SMAPE均出现了明显下降，说明各模块均可以帮助有效提升电信网络诈骗犯罪预测效果，相比只处理案件时序特征进行预测，同时综合案件发生的时空特征对预测效果有巨大的提升，证明了时间和空间模块的联合使用更加有效。其次，在Baseline基础上分别同时引入两个模块效果均远优于加入单一模块模型，且均劣于本文模型。因此可以表明，各模块间存在协同作用，对模型预测精度的提升都产生了积极影响，这也进一步说明了空间影响因子模块在识别关键特征、减少冗余信息方面具有重要作用，对减少全量空间特征“噪声”干扰十分有效；空间特征融合模块通过图注意力网络(GAT)有效调整邻域节点权重，更有效捕捉空间特征，提升融合效果，增强模型鲁棒性；多维时序处理模块融合不同周期和全局的时序特征，可以帮助模型学习时序变化规律，提高预测精度。而在Baseline的基础上同时加入3个模块后取得了最优的实验结果，进一步验证了3个模块间对于提升模型效果的协同作用。
综上所述，消融实验验证了本文模型的有效性和先进性。空间影响因子筛选、空间特征融合和多维时序特征处理模块之间的协同作用，不仅提高了预测精度，还增强了模型的可解释性和泛化能力。
3. 结束语
本文针对当前电信网络诈骗犯罪发案量远大于传统接触型犯罪的严峻现状，以及公安部门对电信网络诈骗犯罪的预防需要，提出了融合多维特征的电信网络诈骗犯罪时空预测模型。该模型从时间和空间两个角度出发，捕捉不同维度下的时空特征，以提高模型的精度与可解释性。在空间特征方面，本文模型利用空间影响因子筛选减少不相关特征带来的干扰；采用GAT动态调整邻域节点权重，更高效地捕捉空间特征。在时间特征方面，采用时间滑动模块聚合方法形成新时序数据，解决数据稀疏问题；引入iTransformer-Trm模块改为处理单一变量的整个时间序列，有效表示多变量间和较长时序数据长期依赖关系。实验结果表明，本文提出的模型在电信网络诈骗案件预测任务中表现出色，相较于其他常用的犯罪预测神经网络模型，具有更优的特征提取能力并以此获得了更优的预测性能。
未来研究将围绕进一步优化模型结构展开，如探索引入更多相关特征(例如人口流动、经济指标等)，优化特征筛选算法，以及精度更高的特征融合方法。同时将致力于提升模型的可解释性，以便更好地支持实际决策过程。
-
图 1 融合多维特征的电信网络诈骗犯罪时空预测模型
Fig. 1 Predictive model for telecom fraud crime based on the integration of multi-dimensional spatiotemporal features
下载:
全尺寸图片
图 2 GAT多头注意力机制
Fig. 2 GAT multi-head attention mechanism
下载:
全尺寸图片
图 3 时间滑动窗口
Fig. 3 Time sliding window
下载:
全尺寸图片
图 4 基于CNN的多维特征捕捉与拼接操作
Fig. 4 Multi-dimensional feature capture and concatenation based on CNN
下载:
全尺寸图片
图 5 iTransformer-Trm架构
Fig. 5 iTransformer-Trm architecture
下载:
全尺寸图片
图 6 时空向量拼接
Fig. 6 Spatiotemporal vector concatenation
下载:
全尺寸图片
图 7 B市八城区派出所辖区空间拓扑图
Fig. 7 Spatial topology map of police precincts in the eight districts of City B
下载:
全尺寸图片
图 8 各模型在不同输入时间步长下的MAE
Fig. 8 MAE of each model at different input time steps
下载:
全尺寸图片
图 9 各模型在不同输入时间步长下的MSE
Fig. 9 MSE of each model at different input time steps
下载:
全尺寸图片
图 10 各模型在不同输入时间步长下的SMAPE
Fig. 10 SMAPE of each model at different input time steps
下载:
全尺寸图片
表 1 筛选后空间影响因子
Table 1 Filtered spatial influence factors
影响因子维度 筛选后空间
影响因子描述 系数 VIF 建成环境 生活住宅数量 商业楼盘、别墅区、产业园住宿公寓等生活住宅场所的数量 0.442*** 3.44 公司企业数量 有限责任公司、股份有限公司、个人独资企业等公司企业的数量 −0.124** 2.64 医疗场所数量 医院、诊所等医疗场所的数量 0.139*** 1.86 夜间灯光强度 基于“珞珈一号”夜间灯光数据，统计得到的辐射亮度总和，反应经济活动强度 0.123*** 1.89 路网密度 路网总长度与空间单元面积比值 0.236*** 2.49 人口特征 流动人口比例 户籍不在对应辖区的人口占总人口比例 0.428*** 1.72 注：“***”代表p<0. 01, “**”代表p<0. 05, “*”代表p<0. 1。 表 2 实验环境
Table 2 Experimental environment
环境 型号或参数 CPU Intel(R) Xeon(R) Gold 6240 CPU @ 2.60 GHz GPU NVIDIA A100-PCIE-40 GB 操作系统 Ubuntu 20.04.6 显存/GB 40 内存/GB 128 PyTorch 2.1.0 CUDA 12.1 表 3 实验参数
Table 3 Experimental parameters
参数 取值 原始时间序列长度 1 095 空间拓扑图节点数量 259 输入时间步长 15、30、60 预测时间步长 3 时间聚合滑动窗口大小 1×7 滑动时间步长 1 聚合后时间序列长度 1 089 卷积核大小 1×2、1×4 批量样本尺寸 16 GAT层数 3 Epoch 0~150 表 4 消融实验结果
Table 4 Ablation experiment results
模型 MAE MSE SMAPE BaseLine 1.151 0 2.367 2 36.641 3 BaseLine+A 1.120 9 2.345 9 35.650 4 BaseLine+B 1.091 1 2.141 3 35.788 4 BaseLine+C 1.102 7 2.259 5 35.320 3 BaseLine+A+C 1.053 5 2.051 3 34.677 7 BaseLine+A+B 1.069 2 2.051 6 35.453 9 BaseLine+C+B 1.048 3 1.978 2 34.771 6 BaseLine+A+B+C 1.000 9 1.822 2 34.318 8 -
[1] 侯苗苗, 胡啸峰. 基于时间序列模型SARIMA的犯罪预测研究[J]. 中国人民公安大学学报(自然科学版), 2021, 27(2): 67−73. HOU Miaomiao, HU Xiaofeng. Study on crime prediction based on the time-series model SARIMA[J]. Journal of people’s public security university of China (science and technology), 2021, 27(2): 67−73. [2] 颜靖华, 侯苗苗. 基于LSTM网络的盗窃犯罪时间序列预测研究[J]. 数据分析与知识发现, 2020, 4(11): 84−91. YAN Jinghua, HOU Miaomiao. Predicting time series of theft crimes based on LSTM network[J]. Data analysis and knowledge discovery, 2020, 4(11): 84−91. [3] 卢业成, 陈鹏, 江欢, 等. 犯罪时间序列的混沌特征分析与短期预测[J]. 科学技术与工程, 2023, 23(11): 4693−4701. doi: 10.12404/j.issn.1671-1815.2023.23.11.04693 LU Yecheng, CHEN Peng, JIANG Huan, et al. Chaos characteristic analysis and short-term prediction of crime time series[J]. Science technology and engineering, 2023, 23(11): 4693−4701. doi: 10.12404/j.issn.1671-1815.2023.23.11.04693 [4] 王勋, 董齐芬, 李玉. 基于深度时空三维卷积神经网络的短时犯罪预测研究[J]. 浙江警察学院学报, 2023(1): 90−103. doi: 10.3969/j.issn.1674-3040.2023.01.011 WANG Xun, DONG Qifen, LI Yu. A forecast research of short-time crime based on deep spatial-temporal three-dimensional convolutional neural network[J]. Journal of Zhejiang Police College, 2023(1): 90−103. doi: 10.3969/j.issn.1674-3040.2023.01.011 [5] 石拓, 张齐, 石磊. 多尺度视角特征动态融合的盗窃犯罪预测模型[J]. 智能系统学报, 2022, 17(6): 1104−1112. doi: 10.11992/tis.202203016 SHI Tuo, ZHANG Qi, SHI Lei. Prediction model of theft crime based on the dynamic fusion of multiscale perspective characteristics[J]. CAAI transactions on intelligent systems, 2022, 17(6): 1104−1112. doi: 10.11992/tis.202203016 [6] 赵丹, 杜萍, 刘涛, 等. 融合图自编码器与GRU的城市盗窃犯罪时空分布预测模型[J]. 地球信息科学学报, 2023, 25(7): 1448−1463. ZHAO Dan, DU Ping, LIU Tao, et al. Spatio-temporal distribution prediction model of urban theft by fusing graph autoencoder and GRU[J]. Journal of geo-information science, 2023, 25(7): 1448−1463. [7] 梁宏涛, 刘硕, 杜军威, 等. 深度学习应用于时序预测研究综述[J]. 计算机科学与探索, 2023, 17(6): 1285−1300. LIANG Hongtao, LIU Shuo, DU Junwei, et al. Review of deep learning applied to time series prediction[J]. Journal of frontiers of computer science and technology, 2023, 17(6): 1285−1300. [8] LIU Yong, HU Tengge, ZHANG Haoran, et al. iTransformer: inverted Transformers are effective for time series forecasting[EB/OL]. (2023−10−10)[2024−12−21]. https://arxiv.org/abs/2310.06625. [9] VELIČKOVIĆ P, CUCURULL G, CASANOVA A, et al. Graph attention networks[EB/OL]. (2017−10−30)[2024−12−21]. https://arxiv.org/abs/1710.10903. [10] KIPF T N, WELLING M. Semi-supervised classification with graph convolutional networks[EB/OL]. (2016−09−09)[2024−12−21]. https://arxiv.org/abs/1609.02907. [11] 王贝贝, 万怀宇, 郭晟楠, 等. 融合局部和全局时空特征的交通事故风险预测[J]. 计算机科学与探索, 2021, 15(9): 1694−1702. WANG Beibei, WAN Huaiyu, GUO Shengnan, et al. Local and global spatial-temporal networks for traffic accident risk forecasting[J]. Journal of frontiers of computer science and technology, 2021, 15(9): 1694−1702. [12] 冯爱棋, 吴小俊, 徐天阳. 融合注意力机制和上下文信息的实时交通标志检测算法[J]. 计算机科学与探索, 2023, 17(11): 2676−2688. doi: 10.3778/j.issn.1673-9418.2212065 FENG Aiqi, WU Xiaojun, XU Tianyang. Real-time traffic sign detection algorithm combining attention mechanism and contextual information[J]. Journal of frontiers of computer science and technology, 2023, 17(11): 2676−2688. doi: 10.3778/j.issn.1673-9418.2212065 [13] 李汉章, 严宣辉, 李镇力, 等. 面向多变量时间序列异常检测的双图注意力网络模型[J]. 计算机科学与探索, 2025, 19(4): 1048−1064. LI Hanzhang, YAN Xuanhui, LI Zhenli, et al. Dual graph attention model for multivariate time series anomaly detection[J]. Journal of frontiers of computer science and technology, 2025, 19(4): 1048−1064. [14] 刘金平, 匡亚彬, 赵爽爽, 等. 长短滑窗慢特征分析与时序关联规则挖掘的过渡过程识别[J]. 智能系统学报, 2023, 18(3): 589−603. doi: 10.11992/tis.202205048 LIU Jinping, KUANG Yabin, ZHAO Shuangshuang, et al. Transition process identification based on the long and short sliding windowed slow feature analysis and time series association rule mining[J]. CAAI transactions on intelligent systems, 2023, 18(3): 589−603. doi: 10.11992/tis.202205048 [15] 李峰, 肖建华. 时间序列相似性分析中滑动窗口宽度的确定[J]. 计算机科学与探索, 2009, 3(1): 105−112. doi: 10.3778/j.issn.1673-9418.2009.01.010 LI Feng, XIAO Jianhua. How to get effective slide-window size in time series similarity search[J]. Journal of frontiers of computer science & technology, 2009, 3(1): 105−112. doi: 10.3778/j.issn.1673-9418.2009.01.010 [16] 张国豪, 刘波. 采用CNN和Bidirectional GRU的时间序列分类研究[J]. 计算机科学与探索, 2019, 13(6): 916−927. doi: 10.3778/j.issn.1673-9418.1812059 ZHANG Guohao, LIU Bo. Research on time series classification using CNN and bidirectional GRU[J]. Journal of frontiers of computer science and technology, 2019, 13(6): 916−927. doi: 10.3778/j.issn.1673-9418.1812059 [17] ZENG Ailing, CHEN Muxi, ZHANG Lei, et al. Are Transformers effective for time series forecasting?[C]//Proceedings of the AAAI Conference on Artificial Intelligence. Washington DC: AAAI, 2023: 11121−11128. [18] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30: 5998−6008. [19] WU Haixu, XU Jiehui, WANG Jianmin, et al. Autoformer: decomposition transformers with auto-correlation for long-term series forecasting[C]//Proceedings of the 35th International Conference on Neural Information Processing Systems. Vancouver: Curran Associates Inc., 2021: 22419−22430. [20] ZHOU Tian, MA Ziqing, WEN Qingsong, et al. Fedformer: frequency enhanced decomposed Transformer for long-term series forecasting[C]//International Conference on Machine Learning. Baltimore: PMLR, 2022: 27268−27286. [21] 孟祥福, 石皓源. 基于Transformer模型的时序数据预测方法综述[J]. 计算机科学与探索, 2025, 19(1): 45−64. MENG Xiangfu, SHI Haoyuan. Survey of transformer-based model for time series forecasting[J]. Journal of frontiers of computer science and technology, 2025, 19(1): 45−64. [22] SHI Tuo, FU Jie, HU Xiaofeng. TSE-Tran: prediction method of telecommunication-network fraud crime based on time series representation and Transformer[J]. Journal of safety science and resilience, 2023, 4(4): 340−347. doi: 10.1016/j.jnlssr.2023.07.001 [23] CHUNG J, GULCEHRE C, CHO K, et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[EB/OL]. (2014−12−11)[2024−12−21]. https://arxiv.org/abs/1412.3555v1. [24] BAI Shaojie, KOLTER J Z, KOLTUN V, et al. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling[EB/OL]. (2018−03−04)[2024−12−21]. https://arxiv.org/abs/1803.01271v2. [25] MUTHAMIZHARASAN M, PONNUSAMY R. Forecasting crime event rate with a CNN-LSTM model[C]//Innovative Data Communication Technologies and Application. Singapore: Springer Nature Singapore, 2022: 461−470. [26] YU Bing, YIN Haoteng, ZHU Zhanxing. Spatio-temporal graph convolutional networks: a deep learning framework for traffic forecasting[C]//Proceedings of the 27th International Joint Conference on Artificial Intelligence. Stockholm: AAAI Press, 2018: 3634−3640. [27] LI Yaguang, YU R, SHAHABI C, et al. Diffusion convolutional recurrent neural network: data-driven traffic forecasting[EB/OL]. (2017−07−06)[2024−12−21]. https://arxiv.org/abs/1707.01926. [28] BAI Lei, YAO Lina, LI Can, et al. Adaptive graph convolutional recurrent network for traffic forecasting[EB/OL]. (2020−07−06)[2024−12−21]. https://arxiv.org/abs/2007.02842v2. [29] LI Fuxian, FENG Jie, YAN Huan, et al. Dynamic graph convolutional recurrent network for traffic prediction: benchmark and solution[EB/OL]. (2021−04−30)[2024−12−21]. https://arxiv.org/abs/2104.14917v2.
