文章快速检索     高级检索
  大地测量与地球动力学  2021, Vol. 41 Issue (9): 911-915, 944  DOI: 10.14075/j.jgg.2021.09.005

引用本文  

汤俊, 李垠健, 钟正宇, 等. EOF-LSTM神经网络的电离层TEC预报模型[J]. 大地测量与地球动力学, 2021, 41(9): 911-915, 944.
TANG Jun, LI Yinjian, ZHONG Zhengyu, et al. Prediction Model of Ionospheric TEC by EOF and LSTM Neural Network[J]. Journal of Geodesy and Geodynamics, 2021, 41(9): 911-915, 944.

项目来源

国家自然科学基金(41761089);江西省教育厅科技项目(GJJ190345);江西省研究生创新专项基金(YC2020-S358)。

Foundation support

National Natural Science Foundation of China, No. 41761089; Scientific Research Project of the Education Department of Jiangxi Province, No. GJJ190345; Special Innovation Fund Designated for Graduate Students of Jiangxi Province, No. YC2020-S358.

第一作者简介

汤俊,博士,副教授,主要从事GNSS数据处理和电离层建模研究,E-mail: tj928@163.com

About the first author

TANG Jun, PhD, associate professor, majors in GNSS data processing and ionosphere model estimation, E-mail: tj928@163.com.

文章历史

收稿日期:2020-11-06
EOF-LSTM神经网络的电离层TEC预报模型
汤俊1,2     李垠健1,2     钟正宇1,2     高鑫1,2     
1. 华东交通大学土木建筑学院,南昌市双港东大街808号,330013;
2. 华东交通大学土木工程国家实验教学示范中心,南昌市双港东大街808号,330013
摘要:为有效利用电离层总电子含量序列的时间信息,提出一种经验正交函数分解与长短期记忆神经网络组合的预报模型,利用IGS提供的云南地区TEC格网数据,分别对不同地点和不同时段的电离层进行建模预报。实验结果表明,该模型在同一时段预报5 d的TEC值均方根误差最优达1.83 TECu,较单一模型减小16%,其平均相对精度最优达91.56%,较单一模型增加7%;在同一地点预报5 d的TEC值均方根误差最优达1.86 TECu,较单一模型减小25%,其平均相对精度最优达90.74%,较单一模型增加7%。
关键词经验正交函数长短期记忆神经网络电离层总电子含量预报模型

电离层总电子含量(TEC)是研究电离层结构特征的重要参数,其变化趋势具有非线性、不平稳性及周期性等特点。准确预报TEC变化对卫星导航定位、航天器的控制和安全及自然灾害探测具有重要意义。

电离层TEC预报模型主要分为经验模型和数理统计模型,经验模型是根据电离层的结构和物理性质通过大量观测资料建立的,通常用于长期预报,预报精度较低[1-2];而数理统计模型是通过数学方法对TEC时间序列进行拟合建立的,在短期预报领域精度较高[3-9]

随着人工智能的兴起,研究人员发现,深度学习在电离层TEC预报领域具有得天独厚的优势[10-12]。长短期记忆(LSTM)神经网络通过独特的设计避免了长期依赖问题,特别适合处理和预报长时间的TEC序列,但单一的神经网络预报模型难以完全利用时间信息,易受冗余信息影响导致预报误差偏大。因此,本文利用经验正交函数(empirical orthogonal function,EOF)有效分解时间特征与空间特征的特性[13],与LSTM神经网络相结合构建一种新的电离层TEC预报模型,简称EOF-LSTM模型。

1 模型原理 1.1 EOF分解

EOF分解是一种分析矩阵数据结构特征并提取主要信息的方法,在因子场统计组合、动力模型参数化、因子时间序列分析中已得到广泛应用,在统计预报领域往往作为统计组合的基础[14]。EOF分解可以将场的时间序列分解为不随时间变化的空间特征和随时间变化的时间系数,继而通过方差贡献率剔除冗余信息,提取集中在若干个模态分量的主要信息。主要步骤为:

1) 设变量场Xm个测站的n组观测数据组成,可表示为矩阵形式:

$ \boldsymbol{X}_{m \times n}=\left[\begin{array}{cccc} x_{11} & x_{12} & \cdots & x_{1 n} \\ x_{21} & x_{22} & \cdots & x_{21} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m 1} & x_{m 2} & \cdots & x_{m n} \end{array}\right] $ (1)

2) 将X转置并计算交叉积得到:

$ \boldsymbol{C}_{m \times m}=\frac{1}{n} \boldsymbol{X} \times \boldsymbol{X}^{\mathrm{T}} $ (2)

3) 计算方阵C的特征值λ(λ1, λ2, …, λm)和特征向量V,将特征值λ按大小顺序排列,即λ1>λ2 > … > λm,此时每个非0的特征值即代表对应的空间特征向量,称为EOF。将空间特征向量投影到原始资料上,得到时间系数Y

$ \boldsymbol{Y}=\boldsymbol{V}^{\mathrm{T}} \times \boldsymbol{X} $ (3)

4) 利用各时间系数的方差贡献率剔除冗余信息,计算公式为:

$ P_{i}=\lambda_{i} / \sum\limits_{i=1}^{m} \lambda_{i} $ (4)
1.2 EOF-LSTM预报模型

LSTM神经网络是一种特殊的循环神经网络(recurrent neural network,RNN),其在RNN的基础上增加了隐藏神经元,解决了长序列训练过程中的梯度消失和梯度爆炸的问题[15],其内部结构如图 1所示。

图 1 LSTM神经网络内部结构 Fig. 1 Internal structure of LSTM neural network

LSTM神经网络单元通过遗忘门、输入门和输出门共同决定数据信息的流动,其中遗忘门的作用是筛选冗余信息,即将xtht压缩为0~1之间的数字以表示“遗忘”信息的程度,0表示“遗忘”所有信息,1表示保留所有信息。具体计算公式为:

$ f_{t}=\sigma\left(\boldsymbol{w}_{f} \cdot\left[h_{t-1}, x_{t}\right]+b_{f}\right) $ (5)

式中,ht-1为前一时刻的神经元输入,xt为当前时刻的输入,wf为遗忘门的权重矩阵,bf为偏置项。

输入门利用sigmoid函数决定需要的信息并与tanh函数共同创建一个更新候选值Ct,然后将遗忘门保留下来的信息、上个单元的状态信息及更新候选值相加得到的新的候选值Ct。具体计算公式为:

$ i_{t}=\sigma\left(\boldsymbol{w}_{i} \cdot\left[h_{t-1}, x_{t}\right]+b_{i}\right) $ (6)
$ \widetilde{C}_{t}=\tanh \left(\boldsymbol{w}_{C} \cdot\left[h_{t-1}, x_{t}\right]+b_{C}\right) $ (7)
$ C_{t}=f_{t} \cdot C_{t-1}+i_{t} \cdot \widetilde{C}_{t} $ (8)

式中,$ \widetilde{C}$为神经元更新量,it为更新系数。

输出门则通过sigmoid函数决定单元状态中的输出部分,通过tanh函数将单元状态压缩在0~1之间,再乘以sigmoid函数运行结果得到单元的输出。具体计算公式为:

$ o_{t}=\sigma\left(\boldsymbol{w}_{o} \cdot\left[h_{t-1}, x_{t}\right]+b_{o}\right) $ (9)
$ h_{t}=o_{t} \cdot \tanh \left(C_{t}\right) $ (10)

经过遗忘门、输入门和输出门等一系列运算反复训练后,可得出数据序列之间的函数关系,最后将隐藏层的输入值进行全连接运算得到预报值。具体计算公式为:

$ y_{t}=\boldsymbol{W}_{h y} h_{t}+b_{y} $ (11)

EOF-LSTM预报模型的具体步骤为:

1) 将区域格网点的TEC时间序列组成矩阵并进行EOF分解,得到空间特征矩阵和时间系数向量;

2) 分别计算各时间系数的方差贡献率,剔除方差贡献率小于0.001的冗余信息,并利用LSTM神经网络预测主成分时间系数向量;

3) 将空间特征矩阵与预测得到的主成分向量重构,得到各格网点的TEC预测值。

2 实验结果与分析 2.1 数据选取与评定指标

本文利用欧洲定轨中心(CODE)提供的GIM产品进行分析,通过内插得到云南及其周边地区(98°~106°E,22°~28°N)20个格网点数据,空间分辨率为2°×2°。研究区位于中低纬度地区,全年光照充足,TEC的昼夜变化较大,可代表中低纬度地区的TEC变化规律。分别选取3月、6月、9月及12月前20 d时间分辨率为1 h的TEC数据进行分析,对应年积日为60~79、152~171、244~263及335~354,利用4个时段内前15 d的数据构建模型预测后5 d的TEC变化趋势,并利用均方根误差(RMSE)、平均残差(Δ)及平均相对精度(P)3个指标对结果的精度进行评定。具体计算公式为:

$ \mathrm{RMSE}=\sqrt{\frac{1}{n} \sum\limits_{i=1}^{n}\left(\hat{x}_{i}-x_{i}\right)^{2}} $ (12)
$ \varDelta=\frac{1}{n} \sum\limits_{i=1}^{n}\left|\hat{x}_{i}-x_{i}\right| $ (13)
$ P=1-\sum\limits_{i=1}^{n} \frac{\left|\hat{x}_{i}-x_{i}\right|}{x_{i}} $ (14)

式中,n为预测数据长度,xi为原始数据,$ \hat{x}$为预测数据。

2.2 预报结果分析

为验证模型精度,分别利用单一LSTM神经网络模型和EOF-LSTM预报模型对20个格网点4个时段的数据进行预测。首先将20个格网点的TEC序列组成矩阵;然后利用EOF分解为空间特征和时间系数,并对时间系数剔除掉方差贡献率小于0.001的冗余信息,其余主要时间系数利用LSTM神经网络进行预报;最后用空间特征矩阵乘以时间系数的预报结果得到20个格网点的预测结果。受篇幅所限,文本仅选取部分结果进行展示。

图 2图 3分别为2种模型在(98°E,22°N)、(100°E,24°N)、(102°E,26°N)及(104°E,28°N)等4个格网点年积日为259~263共5 d的预测结果和残差分布。从图 2可以看出,随着纬度的增加,TEC呈减小趋势,最大值在后2 d发生扰动,5 d内的最小值均保持稳定,2种预报模型的预测值分布在实际值两侧,均可较准确地预测TEC的变化趋势,与单一的LSTM神经网络模型相比,EOF-LSTM预报模型的TEC预测结果与实际值更吻合。从图 3的残差分布来看,2种模型的预报残差基本分布在5 TECu以内,单一LSTM神经网络模型的部分残差接近10 TECu,与其相比,EOF-LSTM预报模型的总体残差更小,预测效果更稳定。

图 2 不同格网点预报效果 Fig. 2 Schematic diagram of forecast effect of different grid points

图 3 不同格网点TEC残差分布 Fig. 3 TEC residual distribution of different grid points

表 1为4个格网点预测值与实际值的精度评价,可以看出,单一LSTM神经网络模型的RMSE均在2 TECu以上,最大为2.49 TECu,最小为2.18 TECu;而EOF-LSTM预报模型的RMSE均小于2 TECu,最大为1.88 TECu,最小为1.83 TECu,仅相差0.05 TECu,表明EOF-LSTM预报模型的预测效果更稳定。单一LSTM神经网络模型的平均残差最大为1.79 TECu,最小为1.56 TECu;EOF-LSTM预报模型的平均残差均小于1.5 TECu,最大为1.33 TECu,最小为1.21 TECu。在预报准确度方面,单一LSTM神经网络模型的最优精度为87.04%,最低精度为84.63%;EOF-LSTM预报模型的平均相对精度均在90%左右,最优精度为91.56%,最低精度为89.35%,明显优于单一LSTM神经网络模型。综上所述,EOF-LSTM预报模型的3个精度评价指标均优于单一LSTM神经网络模型,验证了该模型的预测结果具有更稳定的可靠性和更高的精度。

表 1 不同经纬度地区2种预报模型的评价指标 Tab. 1 Evaluation indexes of two forecasting models in different latitude and longitude areas

地磁活动指数Kp和太阳活动指数F10.7是影响TEC变化的2个重要因素。图 4为4个时段的KpF10.7变化情况,可以看出,在年积日为60~79时段的后5 d中,Kp指数有1 d大于2,在年积日为335~354时段的后5 d中Kp指数有1 d大于2、1 d接近于2,其他2个时段中均仅有1 d的Kp指数大于2。表明年积日为60~79时段的地磁活动最为剧烈,年积日为335~354时段的地磁活动较剧烈,其他2个时段的地磁活动相对平静。而F10.7指数只有在年积日为152~171时段中的后2 d超过80,其余时段均在80以下,说明4个时段的太阳活动均不剧烈。

图 4 不同时段的Kp指数和F10.7指数 Fig. 4 Kp index and F10.7 index in different time periods

为进一步验证本文预报模型的可靠性,选取4个不同时段的预测结果进行分析。图 5图 6分别为4个不同时段的预测结果和残差分布。可以看出,在地磁活动剧烈的2个时段,TEC变化有明显波动,与磁静日相比在极大值处扰动剧烈,日周期性更显无序,预测结果在极值点处的误差明显偏大,反映地磁活动对电离层TEC的日变化有很大影响。从图 6还可看出,地磁活动剧烈的2个时段的预报残差明显比地磁平静时期的预报残差大,单一LSTM神经网络模型的预报残差最高达15 TECu,EOF-LSTM预报模型的预报残差则基本稳定在10 TECu以内。

图 5 (104°E,24°N)观测点预报效果 Fig. 5 Schematic diagram of forecast effect at observation point (104°E, 24°N)

图 6 (104°E,24°N)观测点不同时段TEC残差分布 Fig. 6 TEC residual distribution diagram in different time periods at observation point (104°E, 24°N)

计算4个时段的精度评定指标和残差百分比,统计结果见表 2表 3(单位%)。可以看出,在地磁活动最剧烈的时段(年积日75~79),单一LSTM神经网络模型预测结果的RMSE为4.47 TECu,平均相对精度为82.27%,平均残差为3.31 TECu,|Δ| > 4.0的预报值高达34%;而同一时段EOF-LSTM预报模型预测结果的RMSE为3.55 TECu,平均相对精度为84.53%,平均残差为2.46 TECu,|Δ| > 4.0的预报值仅为20%。在地磁活动较为剧烈的时段(年积日350~354),单一LSTM神经网络模型与EOF-LSTM预报模型预测结果的RMSE分别为2.62 TECu和1.93 TECu,平均残差分别为1.75 TECu和1.33 TECu,平均相对精度分别为83.88%和87.11%,|Δ| > 4.0的预报值分别为13%和9%,进一步验证在地磁活动剧烈的条件下,EOF-LSTM预报模型具有更高的可靠性。

表 2 不同时段2种预报模型的评价指标 Tab. 2 Evaluation indexes of two forecasting models in different time periods

表 3 不同时段残差百分比统计 Tab. 3 Statistical table of residual percentage in different time periods

在地磁活动较平静的时段(年积日167~171和259~263),EOF-LSTM预报模型预测结果的RMSE分别为2.22 TECu和1.86 TECu,平均残差分别为1.55 TECu和1.29 TECu,平均相对精度分别为87.62%和90.74%;而单一LSTM神经网络模型预测结果的RMSE分别为2.71 TECu和2.48 TECu,平均残差分别为1.92 TECu和1.83 TECu,平均相对精度分别为83.59%和84.24%。就残差分布而言,2个时段EOF-LSTM预报模型|Δ| < 1.0的预报值分别为48%和58%,1.0≤|Δ| < 2.0的预报值均为23%,高于单一LSTM神经网络模型;当平均残差较大时,2个时段EOF-LSTM预报模型2.0≤|Δ| < 3.0的预报值分别为11%和8%,3.0≤|Δ| < 4.0的预报值分别为10%和7%,|Δ|≥4.0的预报值分别为8%和4%,均小于单一LSTM神经网络模型,说明在地磁平静时期,EOF-LSTM预报模型预测结果的残差分布基本在±2 TECu以内,优于单一LSTM神经网络模型。

3 结语

本文针对区域格网点电离层TEC的预测提出EOF-LSTM预报模型,并利用CODE提供的TEC数据对云南及周边地区的TEC值进行预报分析,得出结论:

1) 首先利用EOF分解将TEC格网数据矩阵分解为空间特征和时间系数,剔除时间系数冗余信息,只针对主要时间向量进行预测重构,提高了计算效率并可更好地把握TEC序列的时间性。

2) 通过对同一时段不同地点及同一地点不同时段的TEC值进行预报分析发现,EOF-LSTM预报模型在不同经纬度、不同地磁活动和不同太阳活动条件下的预测结果均能体现出TEC的变化趋势,精度和稳定性均优于单一LSTM神经网络模型。

参考文献
[1]
李启航, 王剑, 刘瑞华. 45°(N)纬度带的Klobuchar-Like电离层延迟季节修正模型与评估[J]. 中国空间科学技术, 2019, 39(6): 30-37 (Li Qihang, Wang Jian, Liu Ruihua. A Modified Klobuchar-Like Model of Ionosphere Delay with Consideration for Seasons for 45°(N) Latitude Belt[J]. Chinese Space Science and Technology, 2019, 39(6): 30-37) (0)
[2]
程胡华, 詹彩菊, 赵亮, 等. IRI2016参考电离层模型在高度60~100 km的精度分析[J]. 测绘学报, 2020, 49(1): 42-54 (Cheng Huhua, Zhan Caiju, Zhao Liang, et al. Accuracy Analysis of IRI2016 International Reference Ionosphere at Altitude of 60-100 km[J]. Acta Geodaetica et Cartographica Sinica, 2020, 49(1): 42-54) (0)
[3]
Inyurt S, Kashani M H, Sekertekin A. Ionospheric TEC Forecasting Using Gaussian Process Regression(GPR) and Multiple Linear Regression(MLR) in Turkey[J]. Astrophysics and Space Science: An International Journal of Astronomy, Astrophysics and Space Science, 2020, 365(6): 1-17 DOI:10.1007/s10509-020-03817-2 (0)
[4]
Shi H L, Lan G W. A Grey Model for Short-Term Prediction of the Ionospheric TEC[C]. International Conference on Geomatics in the Big Data Era, Guilin, 2019 (0)
[5]
毛文军, 常文龙. 基于灰色组合模型的电离层电子含量预报[J]. 测绘科学, 2016, 41(1): 39-43 (Mao Wenjun, Chang Wenlong. Prediction of Ionospheric VTEC Using Grey Time Series Combination Model[J]. Science of Surveying and Mapping, 2016, 41(1): 39-43) (0)
[6]
张小红, 任晓东, 吴风波, 等. 自回归移动平均模型的电离层总电子含量短期预报[J]. 测绘学报, 2014, 43(2): 118-124 (Zhang Xiaohong, Ren Xiaodong, Wu Fengbo, et al. Short-Term TEC Prediction of Ionosphere Based on ARIMA Model[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(2): 118-124) (0)
[7]
Syed S, Gampala S, Madhav B T P, et al. Implementation of VARMA Model for Ionospheric TEC Forecast over an Indian GNSS Station[C]. 5th International Conference on Devices, Circuits and Systems(ICDCS), Coimbatore, 2020 (0)
[8]
谢劭峰, 陈军, 黄良珂, 等. 基于Holt-Winters的电离层总电子含量预报[J]. 大地测量与地球动力学, 2017, 37(1): 72-76 (Xie Shaofeng, Chen Jun, Huang Liangke, et al. Ionospheric TEC Prediction Based on Holt-Winters Models[J]. Journal of Geodesy and Geodynamics, 2017, 37(1): 72-76) (0)
[9]
陈雨田, 刘立龙, 刘中流, 等. 纬度因素对季节性时序TEC短期预报模型的影响分析[J]. 大地测量与地球动力学, 2018, 38(6): 581-586 (Chen Yutian, Liu Lilong, Liu Zhongliu, et al. Analysis of the Influence of Latitude Factors on Seasonal Time Series TEC Short-Term Forecast Model[J]. Journal of Geodesy and Geodynamics, 2018, 38(6): 581-586) (0)
[10]
刘淑琼, 高鑫, 李长春. EEMD-RBF神经网络的电离层TEC预报模型[J]. 测绘工程, 2020, 29(3): 15-19 (Liu Shuqiong, Gao Xin, Li Changchun. Prediction Models of Ionospheric TEC by EEMD and Radial Basis Function Neural Network[J]. Engineering of Surveying and Mapping, 2020, 29(3): 15-19) (0)
[11]
袁天娇, 陈艳红, 刘四清, 等. 基于深度学习递归神经网络的电离层总电子含量经验预报模型[J]. 空间科学学报, 2018, 38(1): 48-57 (Yuan Tianjiao, Chen Yanhong, Liu Siqing, et al. Prediction Model for Ionospheric Total Electron Content Based on Deep Learning Recurrent Neural Network[J]. Chinese Journal of Space Science, 2018, 38(1): 48-57) (0)
[12]
李淑慧, 彭军还, 徐伟超, 等. 利用神经网络预报短期电离层TEC变化[J]. 测绘科学, 2013, 38(1): 8-9 (Li Shuhui, Peng Junhuan, Xu Weichao, et al. Short-Term Ionospheric TEC Change Prediction by Neural Network[J]. Science of Surveying and Mapping, 2013, 38(1): 8-9) (0)
[13]
Li C, Peng H, Huang L K, et al. Research on Short-Term Ionospheric Prediction Combining with EOF and ARIMA Model over Guangxi Area[C]. International Conference on Geomatics in the Big Data Era(ICGBD), Guilin, 2020 (0)
[14]
苏育嵩. 经验正交分解法的基本原理及其在场预报中的应用[J]. 山东海洋学院学报, 1979(2): 50-62 (Su Yusong. The Basic Principle of Empirical Orthogonal Decomposition Method and Its Application in Field Prediction[J]. Periodical of Ocean University of China, 1979(2): 50-62) (0)
[15]
吉长东, 王强, 王贵朋, 等. 深度学习LSTM模型的电离层总电子含量预报[J]. 导航定位学报, 2019, 7(3): 76-81 (Ji Changdong, Wang Qiang, Wang Guipeng, et al. TEC Prediction of Ionosphere Based on Deep Learning LSTM Model[J]. Journal of Navigation and Positioning, 2019, 7(3): 76-81) (0)
Prediction Model of Ionospheric TEC by EOF and LSTM Neural Network
TANG Jun1,2     LI Yinjian1,2     ZHONG Zhengyu1,2     GAO Xin1,2     
1. School of Civil Engineering and Architecture, East China Jiaotong University, 808 East-Shuanggang Street, Nanchang 330013, China;
2. National Experimental Teaching Demonstration Center of Civil Engineering, East China Jiaotong University, 808 East-Shuanggang Street, Nanchang 330013, China
Abstract: In order to effectively utilize the time information of the ionospheric total electron content (TEC) series, we propose a prediction model combining the empirical orthogonal function decomposition and the neural network of long and short memory. We use the TEC grid data of Yunnan region provided by IGS to model and forecast the ionosphere at different locations and different periods. The experimental results of the prediction model in this paper show that the optimal root mean square error of TEC values for 5 days in the same period of time is 1.83 TECu, which is reduced by 16% compared with the single model, and the optimal average relative accuracy is 91.56%, which is increased by 7% compared with the single model. The optimal root mean square error of TEC values at the same location for 5 days is 1.86 TECu, which is 25% less than that of the single model, and the optimal average relative accuracy is 90.74%, which is 7% more than that of the single model.
Key words: empirical orthogonal function; LSTM neural network; TEC; prediction model