气象学报  2021, Vol. 79 Issue (1): 1-14   PDF    
http://dx.doi.org/10.11676/qxxb2021.002
中国气象学会主办。
0

文章信息

周康辉, 郑永光, 王婷波. 2021.
ZHOU Kanghui, ZHENG Yongguang, WANG Tingbo. 2021.
利用深度学习融合NWP和多源观测数据的闪电落区短时预报方法
Very short-range lightning forecasting with NWP and observation data: A deep learning approach
气象学报, 79(1): 1-14.
Acta Meteorologica Sinica, 79(1): 1-14.
http://dx.doi.org/10.11676/qxxb2021.002

文章历史

2020-08-12 收稿
2020-11-17 改回
利用深度学习融合NWP和多源观测数据的闪电落区短时预报方法
周康辉 , 郑永光 , 王婷波     
国家气象中心,北京,100081
摘要: 强对流短时预报(2—6 h)具有较大难度。一方面,基于观测数据的外推已基本不可用;另一方面,高分辨率数值模式(High-resolution Numerical Weather Prediction,HNWP)的预报性能有待提升。利用深度学习方法,将卫星、雷达、云-地闪电(简称闪电)等观测数据和高分辨率数值模式预测数据进行融合,得到更有效的闪电落区短时预报结果。基于多源观测数据和高分辨率数值天气预报数据的特性,构建了一个双输入单输出的深度学习语义分割模型(LightningNet-NWP),使用了包括闪电密度、雷达组合反射率拼图、卫星成像仪6个红外通道,以及GRAPES_3km模式预报的雷达组合反射率等共9个预报因子。深度学习模型使用了编码-解码的经典全卷卷积结构,并使用池化索引共享的方式,尽可能保留不同尺度特征图上的细节特征信息;利用三维卷积层提取观测数据时间和空间上的变化特征。结果表明,LightningNet-NWP能够较好地实现0—6 h的闪电落区预报,具备比单纯使用多源观测数据、高分辨率数值模式预报数据更好的预报结果。深度学习能够有效实现多源观测数据和数值天气预报数据的融合,在2—6 h时效预报效果优于单独使用观测数据或数值天气预报数据;预报时效越长,融合的优势体现得越明显。
关键词: 强对流    短时预报    深度学习    观测数据    数值模式预报    
Very short-range lightning forecasting with NWP and observation data: A deep learning approach
ZHOU Kanghui , ZHENG Yongguang , WANG Tingbo     
National Meteorological Centre,Beijing 100081,China
Abstract: The very short-range (VSR, 2—6 h) convective weather forecasting is still a great challenge. On the one hand, the extrapolation of observation data is no longer available. On the other hand, the High-resolution Numerical Weather Prediction (HNWP) performance needs to be further improved. To address the above issues, a semantic segmentation deep learning network named LightningNet-NWP is implemented to merge the multi-source observation data with HNWP data to get better VSR lightning forecasts. The predictors of the LightningNet-NWP include lightning density, radar reflectivity, 6 infrared bands of Himawari-8 and the radar composite reflectivity from GRAPES_3km. Because the observations and HNWP data differ a lot, two encode-decode symmetry sub-networks were designed to extract future information from the above two data sources. The pooling index is shared in upsampling process, so that the details of shallow feature maps are transmitted and fully used. Three dimensional convolutional layers are utilized to extract spatial and temporal features. The experimental results show that the LightningNet-NWP can effectively combine observations and HNWP data and yield a good lightning prediction for the next 0—6 hours. The performance of the LightningNet-NWP combined with observations and HNWP data is much better than that solely using observations or HNWP data. The longer the prediction period, the more advantageous the combinational use of observations and HNWP data.
Key words: Convective weather    Short-term forecast    Deep learning    Observation data    Numerical weather prediction    
1 引 言

强对流天气,包括冰雹、雷暴大风、短时强降水、龙卷等,具有极强的易致灾性,对人民生命财产造成重大的威胁。然而由于强对流天气的中小尺度属性,强对流监测和预报都具有较大难度(Wilson,et al,2010郑永光等,2015)。

在短时预报时段(2—6 h),强对流天气预报挑战性尤其凸出。一方面,在2 h之后,对流系统已经发生较大的变化,已有的对流系统基本消散,同时不断有新的对流系统生成,对流系统形态会发生较大的变化。因此,利用观测数据进行传统外推的方法,往往不能对上述变化做出较好的判断(Wilson,et al,1998)。另一方面,目前的高分辨率数值天气预报(High-resolution Numerical Weather Prediction,HNWP)虽然使用了雷达资料同化等手段已经显著提升了预报能力,但短时预报的性能与业务需求之间依然存在较大差距(Sun,et al,2014)。

从不同预报方法的预报性能(图1)来看,依托观测数据的外推方法在0—2 h具备较大的优势,性能明显优于高分辨率数值模式;超过2 h,高分辨率数值模式的预报性能优势开始展现,并在第4—5 h时效,预报性能超越外推方法。

图 1  不同预报方法的预报性能随预报时效的变化 (Browning,1980Brunet,et al,2015 Fig. 1  Performance of different methods for forecasts at different leading times(Browning,1980;Brunet,et al,2015)

由此可见,单纯依赖外推或者数值天气预报结果,预报性能均难以达到最佳。若想有效实现2—6 h时效内的对流预报,如何有效将观测数据和高分辨率数值模式进行融合成为一个可能的解决办法。

目前,使用较多的融合方法主要有3种(郑永光等,2010):(1)根据外推预报和数值预报的检验结果,计算其各自的权重,如Golding(1998)Pierce等(2000)杨丹丹等(2010)程丛兰等(2013),一般此方法可根据不同的预报时效,调整权重,预报时效越长,数值天气预报的权重越高;(2)趋势融合方法,利用数值天气预报的落区和强度趋势变化,对外推产品进行修正(Wilson,et al,2006);(3)计算当前时刻的数值天气预报落区和强度的误差,然后通过相关方法将其预报进行对应误差的修正,如Yeung等(2009)程丛兰等(2013)龙清怡等(2014)

程丛兰等(2019)对目前流行的两种融合算法—INCA(Integrated Nowcasting and Comprehensive Analysis System)算法及RAPIDS(Rains torm Analysis and Prediction Integrated Data- processing System)算法进行了分析和对比试验。RAPIDS算法的核心是用自动气象站雨量融合雷达估测得到的定量降水对模式预报的降水强度和位置进行修正;INCA算法则是用数值模式预报的风场修正外推技术的降水移动矢量。两种方法在0—6 h预报时效内,外推预报的权重均逐渐减小,模式预报的权重逐渐增大,从而实现外推预报和模式预报的平滑过渡。试验结果表明,两种方法对降水带和降水强度的预报均优于单一的外推预报或模式预报。

尽管融合方法相对单一的外推预报和模式预报性能有一定提升,但是仍然具有一定的局限性。3种方法都将观测数据和数值天气预报数据分开处理,根据两者的差异,实现数值上的统一,没有真正地实现观测数据和数值天气预报数据的有机融合。应用机器学习方法,一定程度上能够实现两类数据的更有效融合和充分利用。目前,中外研究者针对观测数据和高分辨率数值模式综合应用,已经开展了部分工作。

在临近预报方面,Mecikalski等(2015)利用随机森林和逻辑回归方法,提取25个相关的预测因子,结合GOES卫星和数值天气预报数据,实现北美地区0—60 min的对流初生预报,结果表明,融合数值天气预报和卫星观测数据的预报效果优于单独使用卫星观测数据的预报效果。其中,Mecikalski等(2015)的工作将预报因子按照重要性进行了排序,结果发现他们工作中最重要的5个预报因子分别为地面抬升抑制能量、最不稳定抑制能量、地面抬升对流有效位能、从最不稳定层抬升的不稳定能量、卫星的10.7 μm红外通道亮温。Apke等(2015)则用机器学习方法分析了对流环境对于对流初生的作用,研究是否可以将对流参数引入,改进利用卫星观测资料做对流初生的预报效果,并应用主成分分析(principal component analysis,PCA)和二次判别分析(quadratic discriminant analysis,QDA)进行了相关性分析。结果发现,对流有效位能和对流抑制能量对于改进对流初生预报具有积极的作用。在高对流有效位能、低对流抑制能量的环境下,对流初生具有更高的可预报性。用QDA方法验证了在实现卫星观测数据和数值天气预报数据变量融合应用的情况下,对流初生预报效果更好。Ahijevych等(2016)则采用随机森林方法(Random forest),利用雷达、卫星和高分辨率数值模式数据,实现未来2 h的中尺度对流系统初生预报。结果表明,总数550个观测的初生中尺度对流系统,有效识别率超过99%(预测和实况距离50 km内则认为识别正确)。

短时预报方面,Geng等(2019)Lin等(2019)利用WRF(Weather Research and Forecasting)和闪电观测实况资料,构建了基于ConvLSTM(Convolutional long short-term memory)的深度学习模型,用于提取数值模式预报数据和观测数据的时、空变化特征,进而实现未来6或12 h的闪电预报。由于深度学习有效融合了观测数据和数值预报模式预测数据的信息,因此其预报性能显著优于单纯依赖数值预报模式对流参数化方案的预报效果;且利用深度学习融合观测数据和数值预报模式预测数据的预报效果,明显优于深度学习使用单一类型数据的效果。

以上研究表明,利用机器学习等方法有效综合应用了观测数据和高分辨率数值模式预测数据,实现二者中对流初生、对流发展等有效信息的提取,可实现更准确的对流天气预报。

近期,Zhou等(2020)采用深度语义分割模型,提取卫星、雷达、闪电探测仪等多源观测数据,有效实现了多源观测数据的融合,闪电0—1 h的预报效果较好。在其工作基础上,如何进一步利用深度学习融合多源观测数据和高分辨率数值模式预测数据,实现更好的闪电落区短时预报,目前中外尚未有相关的工作。因此,基于强对流系统的发生、发展特征,针对多源观测数据和高分辨率数值模式预测数据,在已有深度学习语义分割模型基础上进一步优化完善模型,提取这两类数据中的有效对流预报信息,进而实现更准确的闪电短时预报。同时,对比了不同预报方法在不同时效的预报性能,为更好地使用这些预报产品提升业务预报能力,提供参考。

2 数据和方法 2.1 卫星观测数据

葵花8号是日本于2014年10月发射,并于2015年7月业务化的新一代静止气象卫星。葵花8号搭载了AHI(Advanced Himawari Imager)探头,包含3个可见光通道、2个近红外通道以及10个红外通道(其中3个为水汽通道)。该观测数据具有较高的时、空分辨率,其可见光通道空间分辨率达0.5 km,红外通道达2 km,全圆盘观测更新的时间间隔为10 min。除了这些观测通道产品,日本气象厅还提供了丰富的二次开发产品,包括云相态、云类型、云顶高度等(Yumimoto,et al,2016)。考虑到二次产品是基于基本产品开发,而深度学习具备强大的特征学习能力,能够直接从基本产品中提取对流特征,故文中仅使用基本产品作为特征数据(表1)。

表 1  基于多源数据的预报因子选取 Table 1  Selected satellite,radar and lightning predictors for lightning forecasting
数据类型 预报因子 物理特性 时间分辨率
(min)
空间分辨率
(°)
通道号 中心波长(μm)
观测数据 卫星 8 6.2 中层和上层水汽 10 0.05
10 7.3 中层和底层水汽
11 8.6 云相态
13 10.4 云图,云顶信息
15 12.4 云图,海表温度
16 13.3 云顶高度
雷达 组合反射率(dBz) 云内降水粒子数量和大小 6 0.01
闪电 闪电定位数据 闪电活动强度 <1 <0.01
高分辨率数值模式 雷达组合反射率(dBz) GRAPES 3 km预报的云内降水粒子数量和大小 60 0.03

由于可见光通道只在日间有数据,夜间没有观测数据。为了训练一个全天24 h可用的模型,故未采用可见光通道。红外通道中,根据每个通道的观测物理特性,选取了其与对流发生、发展相关的6个通道(Bessho,et al,2016),具体见表1

本研究所用数据从日本宇宙航空研究开发机构(Japan Aerospace Exploration Agency,JAXA)P-Tree 系统下载,数据为等经纬度网格数据,水平分辨率为0.05°×0.05°,大致相当于5 km。

2.2 中国雷达拼图数据

中国雷达拼图数据采用的是中国气象局气象探测中心推送的业务产品,包括基本反射率拼图数据、液态水含量数据等。数据水平分辨率为0.01°×0.01°,时间分辨率为10 min,覆盖中国中、东部大部分地区。试验区域内,包含有139部业务天气雷达。其中C波段雷达的探测范围为200 km,S波段雷达探测范围为230 km。139部雷达分布的最小距离、中位数距离、平均距离、最大距离分别为50.46、112.43、113.66和244.04 km。这些雷达覆盖了试验区域的绝大部分。所有雷达均使用体扫VCP21(Volume Coverage Pattern 21)观测模式,并对雷达回波数据采用了类似Chen等(2012)的方法进行质量控制。

2.3 闪电定位数据

闪电定位数据来自国家雷电监测网提供的云-地闪电(简称闪电)观测数据。国家雷电监测网2016年投入业务考核的站点达到394站,较好地覆盖了除青藏高原、内蒙古中西部地区外的中国大部分区域。

闪电定位信息包括地闪回击二维空间信息、发生时间、闪电强度、闪电陡度、定位方式、定位误差等丰富信息。整套系统网内定位精度优于300 m,探测效率≥80%,单站探测范围≥300 km(Xia,et al,2015Yang,et al,2015)。经过长期的业务化运行,整套系统较为稳定,能够不间断地对覆盖范围进行地闪监测。

闪电观测数据属于离散数据,因此需要进行格点化处理。使用格点邻近的方法对其进行处理。闪电作为预报因子时,如果某个格点周围R km范围内有n个闪电发生,则该格点闪电数量记为n,得到格点上的闪电密度值;闪电作为标记时,如果某个格点周围R km范围内有闪电发生,则这个格点就标记为1,否则标记为0。考虑到闪电天气具有γ中尺度对流系统(Orlanski,1975)的分布特征,R被设置为20 km。但需要指出的是,如果R太小,则漏报会较多;如果R太大,虚警会严重。

2.4 高分辨率数值模式预测数据

所用的高分辨率数值模式预测数据来自中国气象局数值预报中心研发的GRAPES_3km(Global/Regional Assimilation and Prediction Enhanced System)模式数据。GRAPES_3km于2015年开始业务运行,每日起报两次,起报时间为08和20时(北京时,下同),预报时效为0—36 h。时间和空间分辨率分别为1 h、0.03°(约为3 km),覆盖的空间范围为(17°—50°N,102°—135°E)。

GRAPES_3km提供了较为丰富的物理量可供选择。考虑到深度学习模型较大、训练参数多,预报因子越多,图形处理器(GPU,Graphics Processing Unit)训练内存开销越大。为了使模型能够顺利运行,选取了GRAPE_3km模式输出的能够直接反映对流生消演变的变量—雷达组合反射率作为输入深度学习模型的预报因子。

本研究中,深度学习模型的输入和输出分辨率均为0.05°,GRAPES_3km预报场的分辨率为0.03°,采用双线性插值的方法,将其插值至0.05°的分辨率。

2.5 地理范围选取

考虑到雷达与闪电定位系统的观测覆盖区域和暖季强对流天气活跃程度,选取了(20°—40°N,102°—120°E)作为预报方法试验区,水平分辨率为0.05°×0.05°,网格数为360×400。选取范围主要包括华北、江淮、江汉、黄淮、江南、西南地区东部、华南等地区(图2)。

图 2  选取的试验范围 (白色方框为选取的试验区域 (20°—40°N,102°—120°E);色阶为海拔分布,单位:km;黑色三角形为雷达站点,红色圆点为闪电定位仪站点) Fig. 2  Distribution of topography (shaded,unit:km),NLDN sensors (red points),and radar stations (black triangles)(The white rectangle denotes the selected area(20°—40°N,102°—120°E))
3 深度学习模型

闪电落区预报可以看作一个逐像素分割的语义分割问题。逐像素的语义分割是深度学习的一个活跃的研究领域。众多的深度学习语义分割算法,包括FCN(fully convolutional network)(Shelhamer,et al,2017)、U-Net(Ronneberger,et al,2015)、SegNet(Badrinarayanan,et al,2017)以及Deeplab(Chen,et al,2018)等能够根据图像特征有效进行逐像素的语义分割,在癌症检测、自动驾驶、图片搜索等领域得到了广泛应用(Garcia-Garcia,et al,2018)。SegNet是一个成熟的深度学习语义分割模型,具有良好的语义分割效果。借鉴经典的SegNet语义分割模型,基于选取的多源观测数据和高分辨率数值模式预测数据的预报因子,构建了相应的深度学习模型,将其命名为LightningNet-NWP(图3)。

图 3  利用多源观测数据和高分辨率数值模式预测数据进行闪电落区预报的深度学习模型示意 (模型为双输入单输出的结构,模型分为Obs_Network和NWP_Network两部分,均采用编码-解码的对称结构) Fig. 3  The deep learning architecture for lightning forecasting with multi-source observation data and HNWP data (There are 2 inputs and 1 output for DL model with classical encode-decode architecture;It consists of Obs_Network and NWP_Network)
3.1 模型输入

LightningNet-NWP是一个双输入单输出模型,观测数据和高分辨率数值模式预测数据分别输入模型。

多源观测数据包含8个预报因子,分别为葵花8号的6个红外通道、组合反射率拼图、闪电密度等(表1)。多源观测数据为时序的4维数据(3×360×400×8),包含了观测数据的时间维度信息。每个样本包含了Tn个连续时刻的观测数据。经过测试表明,当Tn取3时,深度学习模型能够在计算时间和预报性能中实现一个较好的平衡。因此,本工作中利用过去3个时次的多源观测数据,进行闪电活动预测(Zhou,et al,2020)。

高分辨率数值模式预报因子包含GRAPES_3km的雷达反射率预报场,不包含时序变化信息,为二维变量(360×400×1)。只选取与预报时次对应的雷达反射率预报场进入LightningNet-NWP,如将GRAPES_3km预报的第(T+3)h雷达反射率作为预报因子,进行(T+3)h的闪电预报。

标记因子为对应预报时效的闪电格点观测数据。如将(T+2)—(T+3)h的闪电数据,作为标记因子,训练的模型则具备未来(T+2)—(T+3)h预报能力。标记因子构成360×400的矩阵。测试集中,(T+n)h时效的标记因子,则是预报(T+n)h闪电的检验真值。

3.2 深度学习模型结构

LightningNet-NWP是在Zhou等(2020)提出的LightningNet模型基础上的延伸。在LightningNet基础上,LightningNet-NWP添加了处理高分辨率数值模式预测数据的模块。由于多源观测数据和高分辨率数值模式预测数据具有较大差异,LightningNet-NWP为具有双输入单输出的深度学习语义分割模型。对于观测数据预报因子和数值天气预报因子的部分,采用不同的网络结构提取其相关特征,分别称之为Obs_Network和NWP_Network。

Obs_Network框架与LightningNet保持一致。NWP_Network编码和解码结构与Obs_Network一致,由于高分辨率数值模式预报因子为二维变量,NWP_Network采用二维卷积层。此外,Obs_Network和NWP_Network均可单独训练,得到闪电落区预报结果,当Obs_Network单独训练时,其效果等同于LightningNet。具体模型结构可参考Zhou等(2020)

LightningNet-NWP的预报产品为有、无闪电的落区预报,目前暂未包含闪电频次、强度等信息的预报。

3.3 训练集和测试集

本工作中,利用2017—2018年5—8月的观测数据,构建了1530个样本。每个样本范围覆盖中国中、东部地区和南方地区,因此训练样本中包含了各种类型的天气过程,如无闪电活动的弱降水过程和强降水过程(雷达回波强,但是无闪电或少量闪电)等。

所有样本被划分为两个独立的子样本集—训练集和测试集。测试集包含了2018年8月的所有样本,数量为274个。训练集则包含了其余所有样本,样本量为1256个。验证集则在训练过程中从训练集中随机选择,其数量占训练集总数的20%。训练过程中,采用数据增广的方法(Zhou,et al,2020)来增加有效样本数量。采用了4个数据增广的方法,分别为水平翻转、90°旋转,180°旋转和270°旋转。需要说明的是,在旋转或翻转预报因子矩阵中的空间维度的同时,标记因子矩阵也按同样的策略进行操作。最后得到原训练样本数量5倍(6280,即1256×5)的样本集。

3.4 训练过程

LightningNet-NWP训练设置100个迭代周期,采用早停策略,当模型的损失连续超过10个迭代周期停止减小时则自动停止,保存验证集上损失最小的权重。损失函数选用了二分类交叉熵损失函数(Golik,et al,2013)。训练过程中,采用ADAM 优化器(Kingma,et al,2014),其中学习率设置为10−4,其余设置则为缺省值(Perol,et al,2017)。批次大小为4,每个训练周期的迭代次数为1570。

训练过程中,使用了图形处理器(GPU)显示进行运算加速。软件方面,配置NVIDIA CUDA(Compute Unified Device Architecture),硬件则使用 NVIDIA Tesla V100显卡。测试结果表明,在0.05°×0.05°分辨率上,中国中东部2—6 h的闪电落区预报可以在5 min内完成,达到了业务化应用的要求。

4 预报结果检验 4.1 批量预报结果检验

在2018年8月的预报测试集中,对比了不同预报时效(0—6 h)、不同预报方法的预报性能(表2)。目前普遍认可40 dBz的高度超过0℃层的情况下闪电发生概率极大(Buechler,et al,1990Vincent,et al,2003Mosier,et al,2011)。GRAPES_3km无直接的闪电预报,故将GRAPES_3km预报的40 dBz的高度超过0℃层变量用于衡量GRAPES_3km对闪电的预报能力。

表 2  深度学习方法使用多源观测数据和数值天气预报融合、单独使用观测数据、单独使用高分辨率数值模式数据预报不同时效的闪电检验结果 (光流法基于过去2 h的闪电小时密度,利用稠密光流算法,进行未来逐小时的闪电落区预报;hmfc分别代表命中、漏报、虚警和真反例(correct negatives), $ {h_{{\rm{random}}}} = (h + f) \times (h + m)/(h + m + f + c)$ Table 2  The performance of DL with different data sources,optical flow extrapolation with lightning data,and HNWP's output for convective weather (The lightning observation data of the previous 2 hours are used by optical flow method to forecast lightning activities of the next 0—6 hours.hmf,and c indicate the hits,misses,false alarms,and correct negatives,respectively,and $ {h_{{\rm{random}}}} = (h + f) \times (h + m)/(h + m + f + c)$
方法 时效 POD FAR Bias ETS TS
$ \dfrac{h}{h+m} $ $\dfrac{f}{h+f} $ $ \dfrac{h+f}{h+m} $ $\dfrac{h-{h}_{\rm{random}}}{h+m+f-{h}_{\rm{random}}} $ $ \dfrac{h}{h+m+f} $





观测数据
和高分辨率
数值模式
1 h 0.618 0.389 1.012 0.401 0.444
2 h 0.550 0.530 1.169 0.295 0.340
3 h 0.524 0.634 1.432 0.223 0.275
4 h 0.484 0.682 1.523 0.184 0.238
5 h 0.49 0.738 1.873 0.150 0.206
6 h 0.463 0.746 1.826 0.145 0.196
观测数据 1 h 0.633 0.386 1.031 0.416 0.453
2 h 0.533 0.558 1.206 0.277 0.319
3 h 0.457 0.652 1.312 0.200 0.246
4 h 0.429 0.733 1.610 0.145 0.197
5 h 0.402 0.783 1.850 0.111 0.164
6 h 0.372 0.824 2.112 0.083 0.136
高分辨率
数值模式
1 h 0.501 0.782 2.300 0.117 0.179
2 h 0.537 0.795 2.612 0.108 0.175
3 h 0.473 0.792 2.229 0.107 0.173
4 h 0.472 0.791 2.254 0.106 0.170
5 h 0.474 0.790 2.255 0.110 0.171
6 h 0.457 0.803 2.318 0.103 0.160
基于闪电数据的
光流法外推预报
1 h 0.413 0.475 0.787 0.269 0.301
2 h 0.249 0.645 0.701 0.138 0.171
3 h 0.186 0.736 0.567 0.088 0.123
4 h 0.126 0.810 0.661 0.047 0.082
5 h 0.094 0.860 0.676 0.025 0.060
6 h 0.076 0.894 0.717 0.013 0.046
GRAPES_3km
(40 dBz超过0℃层)
0—6 h 0.291 0.862 2.378 0.098 0.123

表2中观察各种预报方法的性能对比,可以得到以下结论:

(1)不论是使用多源观测数据,还是使用观测数据融合高分辨率数值模式预测数据,闪电的预报性能随着预报时效的延长都呈现下降的趋势。随着时效延长,命中率、TS和POD呈现明显的下降,同时FAR和Bias呈现明显的上升。显然,由于对流系统的发展演变是非线性的复杂过程,可预报性随着预报时效的延长逐渐降低。可以看到,0—6 h预报时效内,随着时效的延长,高分辨率数值模式的性能会出现小幅度下降。然而,相对LightningNet-NWP,高分辨率数值模式的预报性能随着时效延长变化并不明显。随着预报时效的延长,实时观测数据中的预报有效信息量迅速减少,是导致LightningNet-NWP预报性能出现明显下降的主要原因。

(2)2—6 h时效,多源观测数据融入高分辨率数值模式预测数据后,深度学习模型预报性能有了明显的改善。当加入高分辨率数值模式预测数据作为预报因子之后,POD、FAR、TS等指标均有明显的提升。如6 h预报,加入高分辨率数值模式预测数据前,POD、FAR、TS分别为0.372、0.824、0.136,加入高分辨率数值模式预测数据后,分别变为0.463、0.746、0.196。整体而言,加入高分辨率数值模式预测数据后的深度学习预报性能相当于延长了2 h。

(3)随着预报时效的延长,加入高分辨率数值模式预测数据对于预报的改善更明显。如第3 h,加入数值天气预报前、后的TS之差为0.029,改进了11.7%;第6 h,加入高分辨率数值模式预测数据前、后的TS之差为0.06,改进了44.1%。由此可见,超过2 h后,高分辨率数值模式预测对对流预报起的作用越来越显著。

为了方便对比,将不同预报方法的预报结果,随预报时效变化的分布情况,进行可视化(图4)。从图中可以更清晰地看到各种预报方法的预报性能变化情况:

图 4  不同预报方法在不同预报时效 (1—6 h) 的预报性能变化 Fig. 4  Performance of different methods,including DL method,optical flow extrapolation and HNWP forecasts,for the next 1—6 h

①1 h预报时效,对于深度学习方法,是否加入高分辨率数值模式预报因子,预报性能基本没有变化。这是因为在0—1 h对流系统形态还未发生太大的变化,且卫星观测数据中又包含对流初生的有效信息,单纯依靠观测数据即能有效实现对流的有效预报(Zhou,et al,2020)。该时段内高分辨率数值模式预测性能较低,无法为对流预报提供有效的信息。

②不管深度学习方法使用观测数据或融合观测数据和高分辨率数值模式预测数据,在1—6 h,其预报性能始终明显优于光流法闪电外推方法。光流法属于线性或者准线性的预报方法(曹春燕等,2015),而深度学习方法具有一定的非线性演变识别和预报能力,因此,上述结果进一步证明了深度学习方法在融合多源观测数据、高分辨率数值模式预测数据方面的作用。

③5—6 h时效,利用深度学习方法,融合观测数据和高分辨率数值模式预测数据的预报性能仍然最佳,而以高分辨率数值模式预测作为预报因子的预报性能超过以多源观测数据为预报因子的预报性能。由此可见,在0—5 h,多源观测数据的有效信息超过高分辨率数值模式预测数据;5 h之后,高分辨率数值模式提供的信息更有价值。

④基于光流法的闪电外推预报在2 h之后的预报性能低于深度学习基于高分辨率数值模式预测数据的预报性能。由此可见,利用传统外推方法,其可用的外推结果为0—2 h。这与俞小鼎等(2012)Sun等(2014)观点一致。

⑤在1—6 h时效内,观测数据均能提供对预报有益的信息,表现为在上述时段内,融合多源观测数据的深度学习模型的预报效果一直优于单纯输入高分辨率数值模式预测数据的深度学习模型预报效果。

4.2 个例检验结果

2018年8月23日午后,华南地区开始有对流系统发展。12时开始,广西南部地区有东西向分布的对流系统发展;13时开始,广东东部、福建等地有雷暴系统初生。此后,上述两个对流系统逐渐发展并增强,影响面积逐渐增大,闪电活动趋于强烈,最终影响了整个华南地区。同时,华北地区有较弱的对流系统发展。12时开始,有雷暴在山西等地开始生成,此后也呈逐渐增强的趋势,至17时前后,开始影响山西中北部地区(图5)。

图 5  2018年8月23日12时起报未来0—6 h的闪电落区预报情况 (a1、b1. 12—13时,a2、b2. 13—14时,a3、b3. 14—15时,a4、b4. 15—16时,a5、b5. 16—17时,a6、b6. 17—18时;a1—a6. LightningNet-NWP的预报结果,b1—b6. 未加入高分辨率数值模式预测数据的Obs_Network预报结果;阴影为预报,黑点为闪电实况) Fig. 5  Predictions of Lightning-NWP (a1—a6) and Obs_Network (b1—b6) of the next 0—6 h and lightning observations on 23 August 2018 (a1,b1. 12:00—13:00 BT;a2,b2. 13:00—14:00 BT;a3,b3. 14:00—15:00 BT;a4,b4. 15:00—16:00 BT;a5,b5. 16:00—17:00 BT;a6,b6. 17:00—18:00 BT;contours are predictions and the black points denote corresponding lightning observations)

在深度学习模型使用多源观测数据的基础上,图5对比了使用(LightningNet-NWP)和未使用高分辨率数值模式预测数据(Obs_Network)的预报结果。从预报结果和实况对比来看:

图 5   Fig. 5  Continued

Obs_Network和LightningNet-NWP在0—2 h预报效果相似,2—6 h预报效果呈现出比较大的差异。

(1)0—1 h,Obs_Network和LightningNet-NWP都对广西、广东东部、福建等地的雷暴初生过程实现了较好的预报。然而,对于山西北部地区的闪电活动,二者均发生了漏报。

(2)2—6 h时效,LightningNet-NWP对闪电活动的预报效果明显更优,体现在对闪电活动漏报更少、命中率更高、虚警率更低,这种情况在4—6 h时效体现得更明显。广西、广东等地的闪电活动Obs_Network能够有更多反映,但是预测的区域明显偏小,而有了高分辨率数值模式预测数据提供的信息,LightningNet-NWP对于上述地区的闪电活动漏报有了显著的改善。

(3)对于北部地区的雷暴活动,Obs_Network和LightningNet-NWP在0—2 h都未实现成功的预报;然而2 h之后,LightningNet-NWP对于北方的闪电活动有了较好的预报,而且成功预测了此雷暴系统范围增大的趋势。相比之下,Obs_Network一直处于漏报的状态。由此可推测,0—2 h预报时效,观测数据对此雷暴预报提供的信息有限,无法依据这些数据实现有效的预报,虽然此时高分辨率数值模式预测中可能包含了雷暴的有效信息,但深度学习模型认为0—2 h应以观测数据为主,所以预测北部地区无闪电(雷暴)活动;2 h之后,深度学习认为高分辨率数值模式预测数据提供的信息更有效,因此在LightningNet-NWP的预报结果中体现了北部地区的闪电。

(4)对比两个预报产品的检验指标,Obs_Network的0—6 h平均的POD、FAR、TS分别为0.445、0.508、0.300,而LightningNet-NWP对应的指标分别为0.538、0.503、0.345。由此可见,在虚警率大致相同的情况下,LightningNet-NWP的命中率、TS均有了明显的提升。

总体而言,在该对流个例预报中,深度学习方法能够有效融合多源观测数据、高分辨率数值模式预测数据,进而改进预报结果,特别是在2—6 h时效。LightningNet-NWP提前4—6 h预报了雷暴活动增强的趋势,明显降低了虚警和漏报,能够为预报员提供较好的预报参考。需要说明的是,16—17时,Obs_Network对湖南中部出现了明显的虚警,经过分析后发现是雷达数据的噪声所致。由此可见,多源数据的质量是保障深度学习模型预报性能的关键。

4.3 预报因子重要性分析

变换重要性(Permutation importance)最早由Breiman(2001)针对随机森林法提出,可用于传统的机器学习模型和深度学习模型。通过随机打乱预测因子(xi)的排列输入预测模型,输出预测结果(Y),对比其与正常预测结果(y)的预测性能的差异(ΔP)。如果xi被随机打乱之后,ΔP越大,则表明xi越重要。如果ΔP变化不显著,则可能是xi不重要,或者xi与其他预测因子存在信息重合,比如线性相关关系。

考虑到TS为业务应用的重要评分因子,因此本工作使用的变换重要性使用TS作为评分方式,用于评估随机打乱各预测因子的影响。评估过程中,使用了针对每个xi,都进行10次随机打乱操作,最后取平均结果,以减少计算过程中的随机误差。各个预报因子 $p $ (卫星、雷达、闪电、高分辨率数值模式预测)的相对重要程度 $ {\rm{TS}}_{{\rm{relative}}}^{ti,p}$ 定义为

$ {\rm{TS}}_{ \rm{relative}}^{t i, p}=\left({\rm{TS}}_{\rm {orignal}}^{t i, p}-{\rm {TS}}_{\rm {shuffled}}^{t i, p}\right) \bigg/ {\rm{T S}}_{\rm {orignal}}^{t i, p} $

式中, $ {\rm{TS}}_{\rm {orignal}}^{t i, p}$ 为预报因子 $ p$ 未做随机处理的ti时效的TS评分, $ {\rm{TS}}_{\rm {shuffled}}^{t i, p}$ 为预报因子 $p $ 经过随机处理后ti时效的TS评分。需要说明的是,这里将卫星的6个通道当作一个整体处理,即当计算卫星预报因子的重要性时,将6个通道均做随机打乱处理。

图6中各预报因子的相对重要性随着时效的变化情况来看:

图 6  LightningNet-NWP模型中各预报因子在不同预报时效上的相对重要性排序 Fig. 6  Relative permutation importance of multi-source observation data and HNWP data in LightningNet-NWP for the next 0—6 h

(1)随着预报时效的延长,高分辨率数值模式预报因子起到的作用越来越显著,而观测数据预报因子的重要性逐渐下降。在2 h时效,最重要的预测因子是卫星资料,其次是高分辨率数值模式预测数据,雷达和闪电资料重要性最低;到了3 h时效及以后,数值天气预报的重要性开始显现,成为最重要的预报因子;

(2)2—6 h时效,闪电、卫星、雷达等观测数据虽然随着预报时效的延长其重要程度呈现明显的降低趋势,但对于闪电的预测均能够提供正作用。

(3)0—2 h时效,卫星预报因子重要程度最高,此时卫星观测能提供对于闪电预测最有效的信息。3 h时效及以后,卫星数据虽然不及数值天气预报因子,但是仍然是最重要的观测数据预报因子。这可能与卫星观测数据对于对流初生的有效监测有关(Mecikalski,et al,2013)。

总体而言,0—2 h时段,由于对流系统尚未完全区别于观测到的对流形态,观测数据起到更有效的作用;2—6 h,对流系统产生新的生消演变,与观测形态差异越来越显著,高分辨率数值模式数据起到的作用更大。0—6 h,观测数据和高分辨率数值模式数据对于闪电预报均能提供有效信息,不同的是观测数据重要性越来越低,而高分辨率数值模式数据则越来越高。

5 结论和讨论

基于多源观测数据和高分辨率数值模式预报数据,构建了一个双输入单输出的深度学习模型(LightningNet-NWP)。预报因子包括闪电密度、雷达反射率拼图、卫星成像仪6个红外通道亮温等8个观测数据变量,以及GRAPES_3km输出的雷达组合反射率预报变量等共9个预报因子。深度学习模型使用了编码-解码的经典全卷卷积结构,并且使用池化索引共享的方式,尽可能保留不同尺度特征图上的细节特征信息。利用三维卷积层以提取观测数据中时间和空间上的变化特征。

结果表明,LightningNet-NWP能够较好地实现0—6 h的闪电落区预报,在2—6 h时效具备比单纯使用多源观测数据、高分辨率数值模式预测数据更好的预报结果。主要结论如下:

(1)深度学习能够有效实现多源观测数据和高分辨率数值模式预测数据的融合,2—6 h时效预报效果优于单独使用观测数据或高分辨率数值模式预测数据;预报时效越长,融合的优势体现得越明显。

(2)随着预报时效的延长,高分辨率数值模式预报因子起到的作用越来越显著,而观测数据预报因子的重要性逐渐下降。0—2 h时效,最重要的预测因子是卫星观测资料,其次是高分辨率数值模式预测数据,雷达和闪电观测资料最低;到了3 h时效及以后,数值天气预报预测数据的重要性开始显现,成为最重要的预报因子。

(3)0—6 h预报时效,观测数据均能提供对预报有益的信息,表现在上述时段内,融合多源观测数据的深度学习模型的预报效果一直优于单纯输入高分辨率数值模式预测数据的深度学习模型预报效果。

(4)以目前高分辨率数值预报模式的发展水平,使用深度学习方法结合多源观测数据在0—5 h时效内,能够提供比高分辨率数值模式更优的预报效果;而传统的基于观测数据的外推方法,则只能在0—2 h时效内预报效果优于高分辨率数值模式预测。

由此可见,在短时预报时段内,使用高分辨率数值模式融合多源观测数据,进行强对流天气的预报,仍然可以作为一个行之有效的手段。当然,随着快速更新同化数值模式的发展,其在短时预报时段内的性能有可能会全面优于单纯使用观测数据的短时临近预报。然而,上述过程无疑需要建立在对强对流天气物理规律更清晰、明确的认识基础之上。在对于强对流天气发生、发展机理认识有待进一步突破的今天,使用深度学习,自动提取多源观测数据和高分辨率数值模式数据中对强对流发生、发展相关的信息,进而实现更有效的强对流预报,无疑能够与其他预报结果互补,也是一个更实际、更可行的方式。

文中使用深度学习方法仅对闪电天气现象进行了预报。后期工作中,可进一步扩展,对短时强降水、冰雹和雷暴大风等其他强对流天气进行预报,进一步分析深度学习融合多源观测数据和数值天气预报数据对于不同类型强对流天气的预报效果。同时,可将更多的高分辨率数值模式预报变量输入深度学习模型,相信其预报性能会有进一步改善。

参考文献
曹春燕, 陈元昭, 刘东华等. 2015. 光流法及其在临近预报中的应用. 气象学报, 73(3): 471-480. Cao C Y, Chen Y Z, Liu D H, et al. 2015. The optical flow method and its application to nowcasting. Acta Meteor Sinica, 73(3): 471-480. (in Chinese)
程丛兰, 陈明轩, 王建捷等. 2013. 基于雷达外推临近预报和中尺度数值预报融合技术的短时定量降水预报试验. 气象学报, 71(3): 397-415. Cheng C L, Chen M X, Wang J J, et al. 2013. Short-term quantitative precipitation forecast experiments based on blending of nowcasting with numerical weather prediction. Acta Meteor Sinica, 71(3): 397-415. (in Chinese)
程丛兰, 陈敏, 陈明轩等. 2019. 临近预报的两种高时空分辨率定量降水预报融合算法的对比试验. 气象学报, 77(4): 701-714. Cheng C L, Chen M, Chen M X, et al. 2019. Comparative experiments on two high spatiotemporal resolution blending algorithms for quantitative precipitation nowcasting. Acta Meteor Sinica, 77(4): 701-714. (in Chinese)
龙清怡, 刘海文, 顾建峰等. 2014. 雷达资料与中尺度数值预报的融合方法研究及其在临近预报中的应用. 气象, 40(10): 1248-1258. Long Q Y, Liu H W, Gui J F, et al. 2014. Study on blending radar data and mesoscale numerical weather prediction and its application to nowcasting. Meteor Mon, 40(10): 1248-1258. (in Chinese)
杨丹丹, 申双和, 邵玲玲等. 2010. 雷达资料和数值模式产品融合技术研究. 气象, 36(8): 53-60. Yang D D, Shen S H, Shao L L, et al. 2010. A study on blending radar and numerical weather prediction model products. Meteor Mon, 36(8): 53-60. DOI:10.7519/j.issn.1000-0526.2010.08.008 (in Chinese)
俞小鼎, 周小刚, 王秀明. 2012. 雷暴与强对流临近天气预报技术进展. 气象学报, 70(3): 311-337. Yu X D, Zhou X G, Wang X M. 2012. The advances in the nowcasting techniques on thunderstorms and severe convection. Acta Meteor Sinica, 70(3): 311-337. DOI:10.3969/j.issn.1004-4965.2012.03.003 (in Chinese)
郑永光, 张小玲, 周庆亮等. 2010. 强对流天气短时临近预报业务技术进展与挑战. 气象, 36(7): 33-42. Zheng Y G, Zhang X L, Zhou Q L, et al. 2010. Review on severe convective weather short-term forecasting and nowcasting. Meteor Mon, 36(7): 33-42. DOI:10.7519/j.issn.1000-0526.2010.07.008 (in Chinese)
郑永光, 周康辉, 盛杰等. 2015. 强对流天气监测预报预警技术进展. 应用气象学报, 26(6): 641-657. Zheng Y G, Zhou K H, Sheng J, et al. 2015. Advances in techniques of monitoring, forecasting and warning of severe convective weather. J Appl Meteor Sci, 26(6): 641-657. DOI:10.11898/1001-7313.20150601 (in Chinese)
Ahijevych D, Pinto J O, Williams J K, et al. 2016. Probabilistic forecasts of mesoscale convective system initiation using the random forest data mining technique. Wea Forecasting, 31(2): 581-599. DOI:10.1175/WAF-D-15-0113.1
Apke J M, Nietfeld D, Anderson M R. 2015. Environmental analysis of GOES-R proving ground convection-initiation forecasting algorithms. J Appl Meteor Climatol, 54(7): 1637-1662. DOI:10.1175/JAMC-D-14-0190.1
Badrinarayanan V, Kendall A, Cipolla R. 2017. Segnet: A deep convolutional encoder-decoder architecture for image segmentation. IEEE Trans Pattern Anal Mach Intell, 39(12): 2481-2495. DOI:10.1109/TPAMI.2016.2644615
Bessho K, Date K, Hayashi M, et al. 2016. An introduction to Himawari-8/9: Japan's new-generation geostationary meteorological satellites. J Meteor Soc Japan, 94(2): 151-183. DOI:10.2151/jmsj.2016-009
Breiman L. 2001. Random forests. Mach Learn, 45(1): 5-32. DOI:10.1023/A:1010933404324
Browning K A. 1980. Review lecture: Local weather forecasting. Proc Roy Soc A: Math, Phys Eng Sci, 371(1745): 179-211.
Brunet G, Jones S, Ruti P M. 2015. Seamless prediction of the Earth System: From minutes to months. World Meteorological Organization
Buechler D E, Goodman S J. 1990. Echo size and asymmetry: Impact on NEXRAD storm identification. J Appl Meteor, 29(9): 962-969. DOI:10.1175/1520-0450(1990)029<0962:ESAAIO>2.0.CO;2
Chen L C, Papandreou G, Kokkinos I, et al. 2018. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs. IEEE Trans Pattern Anal Mach Intell, 40(4): 834-848. DOI:10.1109/TPAMI.2017.2699184
Chen M X, Wang Y C, Gao F, et al. 2012. Diurnal variations in convective storm activity over contiguous North China during the warm season based on radar mosaic climatology. J Geophys Res, 117(D20): D20115.
Garcia-Garcia A, Orts-Escolano S, Oprea S, et al. 2018. A survey on deep learning techniques for image and video semantic segmentation. Applied Soft Computing, 70: 41-65. DOI:10.1016/j.asoc.2018.05.018
Geng Y A, Li Q Y, Lin T Y, et al. 2019. Lightnet: A dual spatiotemporal encoder network model for lightning prediction∥Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. Anchorage, AK, USA: ACM, 2439-2447
Golding B W. 1998. Nimrod: A system for generating automated very short range forecasts. Meteor Appl, 5(1): 1-16. DOI:10.1017/S1350482798000577
Golik P, Doetsch P, Ney H. 2013. Cross-entropy vs. squared error training: A theoretical and experimental comparison∥Proceedings of the 4th Annual Conference of the International Speech Communication Association. Lyon, France: INTERSPEECH
Kingma D P, Ba J. 2014. Adam: A method for stochastic optimization. arXiv: 1412.6980
Lin T Y, Li Q Y, Geng Y A, et al. 2019. Attention-based dual-source spatiotemporal neural network for lightning forecast. IEEE Access, 7: 158296-158307. DOI:10.1109/ACCESS.2019.2950328
Mecikalski J R, Li X L, Carey L D, et al. 2013. Regional comparison of GOES cloud-top properties and radar characteristics in advance of first-flash lightning initiation. Mon Wea Rev, 141(1): 55-74. DOI:10.1175/MWR-D-12-00120.1
Mecikalski J R, Williams J K, Jewett C P, et al. 2015. Probabilistic 0-1-h convective initiation nowcasts that combine geostationary satellite observations and numerical weather prediction model data. J Appl Meteor Climatol, 54(5): 1039-1059. DOI:10.1175/JAMC-D-14-0129.1
Mosier R M, Schumacher C, Orville R E, et al. 2011. Radar nowcasting of cloud-to-ground lightning over Houston, Texas. Wea Forecasting, 26(2): 199-212. DOI:10.1175/2010WAF2222431.1
Orlanski I. 1975. A rational subdivision of scales for atmospheric processes. Bull Amer Meteor Soc, 56: 527-530. DOI:10.1175/1520-0477-56.5.527
Pierce C E, Hardaker P J, Collier C G, et al. 2000. GANDOLF: A system for generating automated nowcasts of convective precipitation. Meteor Appl, 7(4): 341-360. DOI:10.1017/S135048270000164X
Ronneberger O, Fischer P, Brox T. 2015. U-Net: Convolutional networks for biomedical image segmentation∥Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI). Munich, Germany: Springer, 234-241
Shelhamer E, Long J, Darrell T. 2017. Fully convolutional networks for semantic segmentation. IEEE Trans Pattern Anal Mach Intell, 39(4): 640-651. DOI:10.1109/TPAMI.2016.2572683
Sun J Z, Xue M, Wilson J W, et al. 2014. Use of NWP for nowcasting convective precipitation: Recent progress and challenges. Bull Amer Meteor Soc, 95(3): 409-426. DOI:10.1175/BAMS-D-11-00263.1
Vincent B R, Carey L D, Schneider D, et al. 2003. Using WSR-88D reflectivity for the prediction of cloud-to-ground lightning: A central North Carolina study. National Wea Digest, 27: 35-44.
Wilson J W, Crook N A, Mueller C K, et al. 1998. Nowcasting thunderstorms: A status report. Bull Amer Meteor Soc, 79(10): 2079-2100. DOI:10.1175/1520-0477(1998)079<2079:NTASR>2.0.CO;2
Wilson J, Xu M. 2006. Experiments in blending radar echo extrapolation and NWP for nowcasting Convective Storms∥Proceedings of the 4th European Conference on Radar in Meteorology and Hydrology. Barcelona, Spain
Wilson J W, Feng Y R, Chen M, et al. 2010. Nowcasting challenges during the Beijing Olympics: Successes, failures, and implications for future nowcasting systems. Wea Forecasting, 25(6): 1691-1714. DOI:10.1175/2010WAF2222417.1
Xia R D, Zhang D L, Wang B L. 2015. A 6-yr cloud-to-ground lightning climatology and its relationship to rainfall over central and eastern China. J Appl Meteor Climatol, 54(12): 2443-2460. DOI:10.1175/JAMC-D-15-0029.1
Yang X L, Sun J H, Li W L. 2015. An analysis of cloud-to-ground lightning in China during 2010-13. Wea Forecasting, 30(6): 1537-1550. DOI:10.1175/WAF-D-14-00132.1
Yeung L H Y, Wong W K, Chan P K Y, et al. 2009. Applications of the Hong Kong Observatory nowcasting system SWIRLS-2 in support of the 2008 Beijing Olympic Games. Whistler: WMO Symposium on Nowcasting
Yumimoto K, Nagao T M, Kikuchi M, et al. 2016. Aerosol data assimilation using data from Himawari-8, a next-generation geostationary meteorological satellite. Geophys Res Lett, 43(11): 5886-5894. DOI:10.1002/2016GL069298
Zhou K H, Zheng Y G, Dong W S, et al. 2020. A deep learning network for cloud-to-ground lightning nowcasting with multisource data. J Atmos Oceanic Technol, 37(5): 927-942. DOI:10.1175/JTECH-D-19-0146.1