文章快速检索     高级检索
  大地测量与地球动力学  2023, Vol. 43 Issue (10): 1020-1025  DOI: 10.14075/j.jgg.2023.10.006

引用本文  

李磊, 黎竞, 杨晨. 基于KF-LSTM组合模型的短期电离层TEC预测[J]. 大地测量与地球动力学, 2023, 43(10): 1020-1025.
LI Lei, LI Jing, YANG Chen. Short-Term Ionospheric TEC Prediction Based on KF-LSTM Combination Model[J]. Journal of Geodesy and Geodynamics, 2023, 43(10): 1020-1025.

项目来源

国家自然科学基金(61601078);辽宁省教育厅基金(201601072)。

Foundation support

National Natural Science Foundation of China, No.61601078; Fund of Education Department of Liaoning Province, No.201601072.

第一作者简介

李磊,博士,教授,主要从事GNSS数据处理研究,E-mail: lilei@dlmu.edu.cn

About the first author

LI Lei, PhD, professor, majors in GNSS data processing, E-mail: lilei@dlmu.edu.cn.

文章历史

收稿日期:2022-12-29
基于KF-LSTM组合模型的短期电离层TEC预测
李磊1     黎竞1     杨晨1     
1. 大连海事大学理学院,大连市凌海路1号,116026
摘要:针对电离层总电子含量(TEC)时间序列非线性、非平稳性等特点,提出以卡尔曼滤波对电离层TEC数据进行预处理为基础,融合长短期记忆神经网络模型,构建KF-LSTM短期电离层组合模型预测TEC的方法,并利用该模型预测2016年和2018年4个时段的高、中、低纬度及赤道地区36个格网点提前1 d的电离层TEC。结果表明,KF-LSTM组合模型预测效果优于传统BP神经网络模型和单纯的LSTM模型。在赤道地区,其预测效果与C1PG模型相当;在15°~75°N地区,其预测效果优于C1PG模型。
关键词电离层TEC卡尔曼滤波长短期记忆神经网络短期预测

电离层作为近地空间的重要组成部分,一直是与人类社会发展和生活息息相关的重要环境区域[1]。电离层总电子含量(total electron content, TEC)是描述电离层性质的重要参量之一,测量电离层总电子含量,研究其变化规律,并对其进行预测,是电离层研究的重要内容[2],因此建立高精度的电离层TEC短期预报模型具有重要的科学和应用价值[3]。根据建模方法的不同,基于时间序列的电离层TEC短期预测模型通常分为经典数学统计法和人工智能法两大类,其中经典数学统计法模型主要包括时间序列法、相关分析法、自回归移动平均模型等[1-3];人工智能法有模糊理论、支持向量机、灰度模型、反向传播神经网络、递归神经网络、门限循环单元神经网络、长短期记忆神经网络等[4-7]。由于电离层TEC数据具有非线性、非平稳性等特点,人工智能法凭借较强的学习能力及处理非线性与时变性问题的巨大优势,近年来在电离层TEC短期建模中得到越来越多的应用。其中,长短期记忆神经网络(long short-term memory, LSTM)是一种特殊结构的神经网络模型,解决了长序列数据训练过程中的梯度消失和梯度爆炸问题,适合处理和预报电离层TEC序列[4-8]

卡尔曼滤波(Kalman filter, KF)是利用线性系统状态方程对系统状态进行最优估计的算法,作为一种基于时域离散的自回归优化算法,能够有效去除噪声并还原数据,减少随机噪声对观测数据的影响,可在去除突变数据的同时保持数据原有的变化趋势,是应用非常广泛的数据预处理方法[2]。与均值滤波和中值滤波相比,卡尔曼滤波的数据平滑效果更好,具有更强的普适性[9]。因此,卡尔曼滤波适合处理包含随机噪声的电离层TEC数据。

本文采用卡尔曼滤波对电离层TEC数据进行预处理,并对处理后的数据采用LSTM建模,构建一种新的电离层TEC短期预测模型(KF-LSTM组合模型),通过与其他3种模型的预测结果进行比较,分析该模型在不同纬度地区的预测效果及特点。

1 模型基本原理 1.1 卡尔曼滤波

利用卡尔曼滤波算法,只要获知上一时刻状态的估计值及当前状态的观测值,就可以通过反馈环路计算出当前状态的估计值。反馈环路包含预测和更新两个部分,其中预测部分公式为:

$ \hat{\boldsymbol{y}}_t^{\prime}=\boldsymbol{A} \hat{\boldsymbol{y}}_{t-1} $ (1)
$ \begin{gathered} \hat{\boldsymbol{P}}_t^{\prime}=\boldsymbol{A} \hat{\boldsymbol{P}}_{t-1} \boldsymbol{A}^{\mathrm{T}}+\boldsymbol{Q}_t \end{gathered} $ (2)

预测部分中,新的预测结果$ \hat{\boldsymbol{y}}_t^{\prime}$是根据上一时刻最优预测结果$\hat{\boldsymbol{y}}_{t-1} $得到的。同样,新的协方差矩阵$\hat{\boldsymbol{P}}_t^{\prime} $可以由上一时刻最优协方差矩阵$ \hat{\boldsymbol{P}}_{t-1} $加上噪声Qt的干扰计算得到。式中,A为目标状态转移矩阵。

更新部分中,首先计算卡尔曼增益Kt,然后计算该时刻的最优预测结果$ \hat{\boldsymbol{y}}_t$和最优协方差矩阵$ \hat{\boldsymbol{P}}_t$。更新部分公式为:

$ \begin{gathered} \boldsymbol{K}_t=\hat{\boldsymbol{P}}_t^{\prime}\left(\hat{\boldsymbol{P}}_t^{\prime}+\hat{\boldsymbol{R}}_t\right)^{-1} \end{gathered} $ (3)
$ \hat{\boldsymbol{y}}_t=\hat{\boldsymbol{y}}_t^{\prime}+\boldsymbol{K}_t\left(\hat{\boldsymbol{z}}_t-\hat{\boldsymbol{y}}_t^{\prime}\right) $ (4)
$ \hat{\boldsymbol{P}}_t=\left(\boldsymbol{I}-\boldsymbol{K}_t\right) \hat{\boldsymbol{P}}_t^{\prime} $ (5)

式中,$ \hat{\boldsymbol{R}}_t$为噪声,$ \hat{\boldsymbol{z}}_t$为该时刻观测值[10]

在本文TEC模型构建过程中,以$ \hat{\boldsymbol{y}}_t$值为预测模型的输入值,完成组合模型的建立。

1.2 LSTM

与传统递归神经网络(recurrent neural network, RNN)和一般神经网络相比,LSTM连接神经元的方式具有显著不同的特点。在RNN基础上,LSTM增加了输入门、遗忘门和输出门3个逻辑控制单元门,这3种门结构分别执行不同的功能,主要通过sigmoid(σ) 函数和tanh函数实现对信息的控制和保护,并根据历史状态不断更新调节输出数据[11]

LSTM神经元工作过程主要包括4步,具体见文献[10]。本文在LSTM模型设计时,激活函数采用tanh函数,损失函数采用均方误差(mean-square error,MSE),优化器采用Adam优化器。

1.3 电离层TEC预测模型的构建

采用预测结果均方误差最小的原则构建KF-LSTM组合模型,对电离层TEC进行短期预测。具体流程如下:

1) 数据获取。选取格网点位置连续42 d的TEC小时数据,将其分为训练集数据和预测集数据。

2) 卡尔曼滤波预处理。利用卡尔曼滤波算法对TEC数据进行预处理,平滑TEC数据,减小TEC数据中随机噪声对组合模型建立和预测的影响,提升TEC数据的质量。

3) 超参数选优。选取同一时段的TEC数据,构建不同超参数的KF-LSTM组合模型预测电离层TEC。结合模型复杂度、训练时间等因素,比较不同超参数模型的预测效果,选择最优超参数。

4) 模型训练与预测。根据最优超参数构建KF-LSTM组合模型,输入训练集数据进行模型训练,利用训练后的KF-LSTM组合模型预测测试集数据。

5) 预测结果比较分析。将KF-LSTM组合模型的TEC预测结果与BP神经网络、LSTM、C1PG(CODE′s 1-daypredicted GIM)产品的预测结果进行比较,分析模型预测效果。

2 实验数据与结果分析 2.1 实验数据

本文所用数据为欧洲定轨中心(CODE)发布的全球电离层TEC数据。CODE基于IGS全球GNSS台站的观测数据,利用球谐函数构建了全球电离层TEC地图,其经纬度分辨率为5°×2.5°,时间分辨率为1 h。为验证组合模型的有效性,分别选取高、中、低纬度及赤道共6个不同纬度(75°N、60°N、45°N、30°N、15°N、0°)与6个不同经度(15°E、60°E、120°E、40°W、90°W、160°W)进行组合,总共得到36个网格点288组数据,时间范围为2016年和2018年的4个时段(doy40~81、67~108、220~261、247~288)。

2.2 KF-LSTM组合模型超参数选优

选取2018年doy67~108不同位置的9个格网点TEC数据确定KF-LSTM组合模型超参数,超参数及其选取范围分别为隐藏层数L∈[1, 2, 3]、隐藏层神经元个数S∈[50, 100, 200, 400]、输入数据长度R∈[120, 168, 240]。以此参数设置为基础,以预测结果均方根误差最小为目标,确定KF-LSTM组合模型的最优超参数。

表 1给出不同超参数的KF-LSTM组合模型预测结果对比,由表中数据可知,输入数据长度R=168(7 d)的模型预测效果优于输入数据长度R=120(5 d)和R=240(10 d)的模型预测效果。计算结果表明,L=2、S=200的模型训练时间较短且精度较高,因此将其设定为优选参数。

表 1 KF-LSTM组合模型的前5组最优参数组合及其均方根误差 Tab. 1 The first five optimal parameter combinations and root mean square error of KF-LSTM model

基于上述结果,本文选用4层LSTM模型,具体设置为隐藏层2层,第1、2层隐藏神经元个数均为200个;输入神经元个数为168个,即前7 d TEC数据;输出神经元个数为24个,即预测数据为1 d(24 h);模型迭代次数为500次。

2.3 单站电离层TEC预测

为分析KF-LSTM组合模型预测电离层TEC的效果,在2016年和2018年各选取4个时间段,从高、中、低纬度及赤道地区选取不同的经度,总计36个格网点共288组数据,分别采用BP神经网络模型、LSTM模型、KF-LSTM组合模型进行TEC建模和预测,同时引入CODE发布的C1PG产品,对4种模型的TEC预测结果进行对比。图 1为4种模型对2018年doy77共18个格网点TEC的预测结果。

图 1 4种模型在不同地区对TEC的预测结果对比 Fig. 1 The comparison of overall prediction results in different geographical locations by BP neural network, LSTM, C1PG and KF-LSTM models

总体而言,各模型都能较好地预测电离层TEC在24 h内的变化。为定量分析各模型预测TEC的效果,引入均方根误差(root mean square error, RMSE)、平均绝对误差(mean absolute error, MAE)和平均绝对百分比误差(mean absolute percentage error, MAPE)3个指标评价预测结果。各指标计算方法如下:

$ \text { RMSE }=\sqrt{\frac{\sum\limits_{i=1}^N\left(\mathrm{TEC}_i-\mathrm{TEC} m_i\right)^2}{N}} $ (6)
$ \text { MAE }=\frac{\sum\limits_{i=1}^N\left(\left|\mathrm{TEC}_i-\mathrm{TEC}_i\right|\right)}{N} $ (7)
$ \begin{array}{r} \text { MAPE }=\frac{\sum\limits_{i=1}^N\left(\frac{\left|\mathrm{TEC} c_i-\mathrm{TEC} m_i\right|}{\mathrm{TEC} c_i}\right)}{N} \end{array} $ (8)

式中,TECci为某时刻的CODE-TEC数据,TECmi为某模型对该时刻的预测值,N为预测TEC的样本个数。

表 2(单位TECu)为各模型对36个格网点288组TEC数据预测的均方根误差、平均绝对误差和平均绝对百分比误差统计结果。可以看出,从均方根误差角度而言,KF-LSTM组合模型预测TEC的RMSE值为2.867 TECu,与C1PG预测结果的差值仅为0.047 TECu,整体上比BP神经网络模型、LSTM模型分别小0.549 TECu和0.179 TECu,减小幅度分别为16.1%和5.9%。从平均绝对误差角度来说,KF-LSTM组合模型预测TEC的MAE值为1.794 TECu,与BP神经网络模型、LSTM模型、C1PG模型相比分别减少了0.348 TECu、0.173 TECu和0.112 TECu,降低幅度分别为16.2%、8.8%和5.9%。从平均绝对百分比误差来看,KF-LSTM组合模型预测TEC的MAPE值为16.8%,同BP神经网络模型、LSTM模型、C1PG模型相比,分别减少了3.5%、1.6%和3.4%。

表 2 4种模型的误差统计结果 Tab. 2 Comparison of CODE-TEC and TEC predicted by BP neural network, LSTM, C1PG and KF-LSTM models

综上分析,在电离层TEC短时预测方面,LSTM模型优于BP神经网络模型,与熊波等[12]的测试结果一致。KF-LSTM组合模型在3项评估指标上均优于BP神经网络模型和LSTM模型,预测效果总体上优于C1PG模型。说明通过KF-LSTM组合模型预测电离层TEC是可行的,其预测结果在4种模型中也是最佳的。

2.4 不同纬度地区电离层TEC预测

为进一步评估各模型在不同纬度地区的预测效果,引入绝对误差Δ和相对误差Ur对TEC的预测结果进行评价,其定义分别为:

$ \Delta=\left|\mathrm{TEC}_i-\mathrm{TEC} m_i\right| $ (9)
$ U_r=\frac{\Delta}{\mathrm{TEC}_i}=\frac{\left|\mathrm{TEC}_{c_i}-\mathrm{TEC} m_i\right|}{\mathrm{TEC}_i} \times 100 \% $ (10)

式中,TECci为某时刻的CODE-TEC数据,TECmi为某模型对该时刻的预测值。

表 3(单位%)给出4种模型预测TEC的绝对误差和相对误差的分类百分比统计结果,图 2为分布直方图,可以看出,对于不同纬度地区,4种模型预测TEC的效果显著不同。从绝对误差角度分析,KF-LSTM组合模型显示出最好的预测效果,82.93%的预测绝对误差控制在Δ < 3.0 TECu之内,分别比C1PG模型、BP神经网络模型、LSTM模型高2.35%、4.9%和5.73%;其中,KF-LSTM组合模型TEC预测数据的48.41%控制在Δ < 1.0 TECu的较高精度范围内,分别比C1PG模型、BP神经网络模型、LSTM模型高5.15%、6.74%和8.51%。

表 3 4种模型预测TEC的绝对误差Δ和相对误差Ur的分类统计 Tab. 3 Percentage statistics of relative error and absolute error of TEC predictions for four models in different locations

图 2 4种模型预测TEC的绝对误差和相对误差的分类百分比统计 Fig. 2 Percentage statistics of relative error and absolute error of TEC predictions for four models in different locations

从相对误差角度分析,KF-LSTM组合模型同样具有最好的预测效果,86.26%的预测相对误差控制在Ur < 30%,分别比LSTM模型、BP神经网络模型、C1PG模型高2.94%、6.44%和6.60%;其中,KF-LSTM组合模型TEC预测数据的23.00% 控制在Ur < 5%的较高精度范围内,分别比C1PG模型、LSTM模型、BP神经网络模型高1.91%、2.56%和3.48%。

综上,无论从绝对误差还是相对误差的角度分析,KF-LSTM组合模型预测电离层TEC的效果均优于其他3种模型。

表 3数据可得,除赤道地区外,对于Δ < 1.0 TECu、Δ < 2.0 TECu的数据占全部统计数据的比例,KF-LSTM组合模型均高于其他3种模型;对于赤道地区,KF-LSTM组合模型的预测结果仅低于C1PG模型,高于LSTM模型和BP神经网络模型。对于Δ < 3.0 TECu的数据统计情况,除15°N和赤道地区外,KF-LSTM组合模型同样高于其他模型;而对于30°N、45°N、75°N来说,KF-LSTM组合模型中Δ < 3.0 TECu的数据占比范围为82.81%~96.96%,明显高于其他模型的77.17%~95.22%。对于15°N和赤道地区,4种模型TEC预测结果中Δ < 3.0 TECu的数据,KF-LSTM组合模型仍仅低于C1PG模型,高于LSTM模型和BP神经网络模型。由表 3还可以看出,相对于C1PG模型,KF-LSTM组合模型预测TEC的绝对误差在赤道区域较大,随着纬度的升高,绝对误差逐渐变小,相对于LSTM模型和BP神经网络模型来说,KF-LSTM组合模型预测电离层TEC更为准确。

从相对误差角度分析,除赤道地区外,Ur < 5%、Ur < 10%、Ur < 15%、Ur < 20%、Ur < 25%、Ur < 30%的数据中,KF-LSTM组合模型占比高于其他3种模型;对于赤道地区来说,与绝对误差统计结果一致,KF-LSTM组合模型的占比仅低于C1PG模型,高于LSTM模型和BP神经网络模型。对于Ur < 30%的数据,除赤道地区外,KF-LSTM模型的比例最低为76.04%,最高可达93.57%,明显优于其他3种模型。在赤道地区,KF-LSTM模型Ur < 30%的数据占比为89.32%,比C1PG模型低3.13%。同样,对于Ur < 5%的高精度来说,在赤道地区,KF-LSTM模型的比例较C1PG模型低2.08%。总体来说,KF-LSTM组合模型预测TEC的相对误差在赤道区域略低于C1PG模型,优于LSTM模型和BP神经网络模型,但在其他纬度地区,KF-LSTM组合模型的预测效果更优。

3 结语

本文选取2016年和2018年4个时间段36个格网点共288组CODE-TEC数据,利用卡尔曼滤波对数据进行预处理,并融合LSTM神经网络模型,构建KF-LSTM短期电离层组合模型预测TEC。将预测结果与BP神经网络模型、LSTM模型、C1PG模型的预测结果进行对比,结果显示:

1) 从均方根误差角度分析,KF-LSTM组合模型与C1PG模型预测结果相当,整体上优于BP神经网络模型和LSTM模型;从平均绝对误差和平均绝对百分比误差角度来说,KF-LSTM组合模型预测结果好于BP神经网络模型、LSTM模型和C1PG模型。总体来说,KF-LSTM组合模型的预测效果更优。

2) 利用绝对误差和相对误差评估4种模型在不同纬度地区的预测效果,总体来说,KF-LSTM组合模型预测电离层TEC的效果均要优于其他3种模型。但从各模型对不同纬度的具体预测效果分析来看,在赤道地区,KF-LSTM组合模型预测结果的相对误差和绝对误差略低于C1PG模型,优于LSTM模型和BP神经网络模型;对于15°N~75°N地区,KF-LSTM组合模型预测电离层TEC更为准确。

致谢: 感谢欧洲定轨中心提供的数据支持。

参考文献
[1]
张小红, 任晓东, 吴风波, 等. 自回归移动平均模型的电离层总电子含量短期预报[J]. 测绘学报, 2014, 43(2): 118-124 (Zhang Xiaohong, Ren Xiaodong, Wu Fengbo, et al. Short-Term TEC Prediction of Ionosphere Based on ARIMA Model[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(2): 118-124) (0)
[2]
王建敏, 黄佳鹏, 祝会忠, 等. 电离层TEC预报模型的卡尔曼滤波改进方法[J]. 导航定位学报, 2018, 6(1): 27-33 (Wang Jianmin, Huang Jiapeng, Zhu Huizhong, et al. Improvement of Forecasting Models of Ionospheric TEC by Kalman Filter[J]. Journal of Navigation and Positioning, 2018, 6(1): 27-33) (0)
[3]
李磊. 基于GNSS的电离层总电子含量的预测与应用研究[D]. 大连: 大连海事大学, 2015 (Li Lei. Prediction and Application of Ionospheric Total Electron Content Based on GNSS[D]. Dalian: Dalian Maritime University, 2015) (0)
[4]
张海涛, 杨小明, 陈阵, 等. 基于增强双向长短时记忆神经网络的测井数据重构[J]. 地球物理学进展, 2022, 37(3): 1 214-1 222 (Zhang Haitao, Yang Xiaoming, Chen Zhen, et al. Log Data Reconstruction Method Based on Enhanced Bidirectional Long Short-Term Memory Neural Network[J]. Progress in Geophysics, 2022, 37(3): 1 214-1 222) (0)
[5]
Wen Z C, Li S H, Li L H, et al. Ionospheric TEC Prediction Using Long Short-Term Memory Deep Learning Network[J]. Astrophysics and Space Science, 2021, 366(1): 1-11 DOI:10.1007/s10509-020-03909-z (0)
[6]
Tang R X, Zeng F T, Chen Z, et al. The Comparison of Predicting Storm-Time Ionospheric TEC by Three Methods: ARIMA, LSTM, and Seq2Seq[J]. Atmosphere, 2020, 11(4): 316 DOI:10.3390/atmos11040316 (0)
[7]
Ruwali A, Sravan Kumar A J, Prakash K B, et al. Implementation of Hybrid Deep Learning Model(LSTM-CNN) for Ionospheric TEC Forecasting Using GPS Data[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(6): 1 004-1 008 DOI:10.1109/LGRS.2020.2992633 (0)
[8]
吴晗, 黄玲, 刘立龙, 等. 基于SSA-LSTM的短期电离层TEC组合预报模型[J]. 大地测量与地球动力学, 2022, 42(6): 626-630 (Wu Han, Huang Ling, Liu Lilong, et al. Short Term Prediction Model of Ionospheric TEC Based on SSA-LSTM[J]. Journal of Geodesy and Geodynamics, 2022, 42(6): 626-630) (0)
[9]
张江辉, 陈翠华, 宁全利, 等. 几种滤波在数据自动平滑处理中的对比分析[J]. 四川兵工学报, 2013(4): 101-103 (Zhang Jianghui, Cheng Cuihua, Ning Quanli, et al. Analysis and Comparison of the Quality of Average, Median and Kalman Filter in Automatic Data Smoothing[J]. Journal of Sichuan Ordnance, 2013(4): 101-103) (0)
[10]
戴礼灿, 刘欣, 张海瀛, 等. 基于卡尔曼滤波算法展开的飞行目标轨迹预测[J]. 系统工程与电子技术, 2023, 45(6): 1 814-1 820 (Dai Lican, Liu Xin, Zhang Haiying, et al. Kalman Filter Unfolding Neural Network for Air Target Track Prediction[J]. Systems Engineering and Electronics, 2023, 45(6): 1 814-1 820) (0)
[11]
汤俊, 李垠健, 钟正宇, 等. EOF-LSTM神经网络的电离层TEC预报模型[J]. 大地测量与地球动力学, 2021, 41(9): 911-915 (Tang Jun, Li Yinjian, Zhong Zhengyu, et al. Prediction Model of Ionospheric TEC by EOF and LSTM Neural Network[J]. Journal of Geodesy and Geodynamics, 2021, 41(9): 911-915) (0)
[12]
熊波, 李肖霖, 王宇晴, 等. 基于长短时记忆神经网络的中国地区电离层TEC预测[J]. 地球物理学报, 2022, 65(7): 2 365-2 377 (Xiong Bo, Li Xiaolin, Wang Yuqing, et al. Prediction of Ionospheric TEC over China Based on Long and Short-Term Memory Neural Network[J]. Chinese Journal of Geophysics, 2022, 65(7): 2 365-2 377) (0)
Short-Term Ionospheric TEC Prediction Based on KF-LSTM Combination Model
LI Lei1     LI Jing1     YANG Chen1     
1. School of Science, Dalian Maritime University, 1 Linghai Road, Dalian 116026, China
Abstract: In view of the nonlinear and non-stationary characteristics of the ionospheric total electron content(TEC), this paper proposes a short-term ionospheric TEC forecast model, KF-LSTM, based on the long short-term memory(LSTM) neural network. In data processing, Kalman filtering is introduced to preprocess the ionospheric TEC data of the Center for Orbit Determination in Europe(CODE). Meanwhile, the model is used to predict regional ionospheric TEC at 36 grid points in the global high, middle, low latitudes and equatorial regions in 2016 and 2018. The results indicate that the KF-LSTM prediction performance is superior to traditional BP neural network models and LSTM models in different latitude regions. In the equatorial region, its predictive performance is comparable to the C1PG model; in the 15°N-75°N region, the prediction effect is better than the C1PG model.
Key words: ionospheric total electron content(TEC); Kalman filter; long- and short-term memory(LSTM); short-term prediction