期刊检索:
  暴雨灾害   2022, Vol. 41 Issue (5): 506-514.  DOI: 10.12406/byzh.2022-079

综述

DOI

10.12406/byzh.2022-079

资助项目

重庆市技术创新与应用发展专项(cstc2019jscx-msxmX0297);重庆市自然科学基金项目(cstc2018jcyjAX0434)

第一作者

张亚萍,主要从事天气预报和遥感应用技术研究。E-mail: zyaping@126.com.

通信作者

张焱,主要从事天气预报和遥感应用技术研究。E-mail: zhangyan911@126.com.

文章历史

收稿日期:2022-03-01
定稿日期:2022-06-29
深度学习方法在强降水临近预报技术中的应用及其改进思考
张亚萍 , 张焱 , 翟丹华 , 刘伯骏 , 周国兵     
重庆市气象台,重庆 401147
摘要:如何有效将基于预报员经验的、不受物理公式约束的强降水天气特征作为先验知识融入到深度学习模型,是提升强降水临近预报准确率面临的重要挑战之一。首先,简述了目前主流的深度学习模型以及一些已开展的针对深度学习模型可解释性的探索成果;然后,对目前常用的几种强降水临近预报方法进行了简单介绍;最后,通过对深度学习方法在强降水临近预报技术中改进的思考,提出了将先验知识融入到深度学习模型的可能途径,具体包括: 将一些经验特征进行量化或自动识别后作为模型输入,将预先提取的特征作为模型标签,在模型架构中嵌入先验知识的量化编码,结合可求导的检验指标设计损失函数对模型进行优化;同时指出,需要提高对强降水临近预报产品的主客观评估的一致性,以便能更好地确定强降水临近预报技术的改进方向。
关键词深度学习    强降水    临近预报    先验知识    
Thoughts on application and improvement of deep learning in severe precipitation nowcasting technology
ZHANG Yaping , ZHANG Yan , ZHAI Danhua , LIU Bojun , ZHOU Guobing     
Chongqing Meteorological Observatory, Chongqing 401147
Abstract: How to integrate effectively the synoptic characteristics of severe precipitation events based on the experience of forecasters that is not constrained by physical formulas into the deep learning model as a priori information is one of the important challenges to improve the nowcasting accuracy of severe precipitation. First,we describe briefly the out-of-the-state deep learning models and some studies about the interpretability of deep learning models. Second,several widely-used methods of nowcasting for severe precipitation are briefly introduced. Finally,based on the consideration of the improvement of deep learning algorithm in the nowcasting technology of severe precipitation,we propose the possible way to integrate the prior information into the deep learning models. It includes quantifying or automatically identifying some empirical features as model inputs,taking the pre-extracted features as model labels,embedding the quantitative code of the prior knowledge in the model architectures,and optimizing the model by designing loss functions based on the differentiable test indicators. At the same time,improving the consistency of the subjective and objective evaluation of nowcasting products of severe precipitation can better determine the direction of the improvement of nowcasting technology of severe precipitation.
Key words: deep learning    severe precipitation    nowcasting    prior information    
引言

天气预报是根据过去和现在的大气状态,利用现代预报技术和方法,运用天气学、动力气象学、统计学等科学理论和数值预报技术,对未来某一地区或地点的大气状态及可能影响进行预测(《中国气象百科全书·气象预报预测卷》编委会,2016)。世界气象组织(World Meteorological Organization,WMO)将临近预报(Nowcasting)定义为从现在到未来6 h内的天气预报(郑永光等,2010WMO,2017)。考虑到本文主要讨论的是深度学习方法在0~2 h强降水预报技术中的应用,因此对降水临近预报(Precipitation Nowcasting)的定义采用Ravuri等(2021)的标准,即对未来0~2 h的降水进行高时空分辨率的预报。精准的降水临近预报,除有助于开展重大活动气象保障服务和公众日常出行外,还是发布强降水诱发城乡积涝、中小河流洪水以及山洪、滑坡、泥石流等次生灾害气象风险预警的重要技术支撑,并为应急管理部门指挥抢险救灾提供参考信息。短时强降水(Flash heavy rain)是指1 h雨量大于等于20 mm的降水事件。为了分析短时强降水的极端性,需要进一步将1 h雨量≥80 mm或3 h雨量≥ 180 mm的降水事件作为极端短时强降水(俞小鼎等,2020)。目前,业务上采用的降水临近预报方法主要是拉格朗日外推法(郑永光等,2010),外推法只对范围较大的弱降水预报效果较好,但对短时强降水预报在落区和强度上还存在较大偏差,限制了降水临近预报产品的业务用途(Wilson et al.,2020Ravuri et al.,2021)。短时强降水诱发的次生灾害往往会对人民生命财产及各种生产生活设施造成重大危害,为更好地发挥降水临近预报的作用,急需提升短时强降水预报精度。

人工智能(Artificial Intelligence,AI)在大气科学及相关领域得到了广泛应用(许小峰,2018马雷鸣,2020王启光和丑纪范,2021张敬林等,2022)。其中,深度学习(Deep Learning,DL)算法因能自动提取强对流天气的非线性特征,可对具有高度非线性变化的降水进行较好的预报(Shi et al.,2015Ravuri et al.,2021)。然而,目前大多数深度学习模型只考虑了输入数据本身的信息,模型训练过程中没有人为的先验信息,因此将先验知识与深度学习模型融合,则有可能提高此类模型的准确性和泛化能力。如,由Zhuo和Tan (2021)发展的基于深度学习的热带气旋强度和大小估计模型DeepTCNet,将表征热带气旋强度的丰满度(fullness)指标(Guo and Tan, 2017)作为辅助信息,模型融合辅助信息后估计热带气旋强度的误差较未融合辅助信息时的误差减少12%。如何有效地将基于预报员经验、不受物理公式约束的强降水天气特征作为先验知识融入到深度学习模型,是提升强降水临近预报准确率面临的重要挑战之一。为此,本文梳理了深度学习算法在强降水临近预报技术中的应用情况,并提出了改进强降水临近预报技术的几点建议。

1 深度学习及可解释性

关于人工智能,可将其简单理解为研究一种“机器”,这种“机器”在处理任务时具有类似人类智力的特点(Russell and Norvig, 2020)。制作强降水临近预报时采用的外推法和数值预报方法,实质上都属于人工智能方法。外推法对强降水演变的非线性考虑不足(Wilson et al.,1998);虽然现有高分辨率对流尺度数值模式可以模拟局地对流,但由于数值预报模式需要spin-up时间、对流尺度同化方法提供的初始条件还不能完全与高分辨率对流尺度数值模式相协调(Sun et al.,2014)、显式微物理方案(Jensen et al.,2020)和边界层模拟技术(Sun et al.,2021)也需要进一步完善,导致数值预报对强降水临近预报效果比外推法差,因此,对精准模拟局地尺度的对流存在困难。在提取非线性特征方面,深度学习是人工智能中最具优势的方法(LeCun et al.,2015),将深度学习用于提取强降水演变的非线性特征,从而提高强降水预报准确率,是外推法和数值预报方法的有效补充(Ravuri et al.,2021)。为后文讨论方便,先对目前主流的深度学习模型以及一些已开展的针对深度学习模型可解释性的探索成果简述如下。

1.1 主流的深度学习模型

卷积神经网络(Convolutional Neural Networks,CNN)、循环神经网络(Recurrent Neural Networks,RNN) 和图神经网络(Graph neural networks,GNN)是深度学习中最典型的三类模型。对其分别介绍如下:

(1) CNN。该模型专门用于从空间网格等具有拓扑结构的数据中学习。该深度学习模型由于采用卷积核和深层网络实现特征图上像素点感受野的扩大和多尺度深层特征提取,采用激活函数进行非线性映射等,在图像识别任务上表现极佳(Krizhevsky et al.,2012)。但随着神经网络深度加深会出现梯度消失问题,导致训练难以收敛。He等(2016)研发的深度残差网络(Deep Residual Learning Network,ResNet)能够有效避免梯度消失现象。只要提供一定数量的矩阵数据和对应的标签,均可以用CNN进行识别,如进行锋面和阵风锋等的识别(Lagerquist et al.,2019徐月飞等,2020)。

(2) RNN。CNN注重的是空间特征的提取,而RNN在神经网络中引入了记忆的反馈,即每一个时间步中除了输入当前特征外,还要输入上一步输出的隐藏特征,因此可用于处理序列数据(Rumelhart et al.,1986Werbos,1990),其中每一个输出都与之前所有序列数据相关,即过去的数据会对未来的数据产生影响,具有“记忆”效果。为避免RNN存在的梯度消失现象,Hochreiter和Schmidhuber (1997)发展了长短期记忆神经网络(Long Short Term Memory,LTSM),Vaswani等(2017)则发展了门控循环单元(Gated Recurrent Unit,GRU)。Shi等(2015)将降水临近预报作为一个针对雷达回波演变的时空序列预报问题,发展了卷积长短期记忆网络(Convolutional LSTM Network,ConvLSTM),模型的输入为包括当前时次在内的时间间隔为6 min的过去J个时次观测的回波,模型输出为未来K个时次的回波最可能的演变情况。

(3) GNN。许多学习任务都需要处理包含元素间丰富关系信息的图(Graph)数据。GNN (Scarselli et al.,2009)将神经网络使用在图数据上,通过图节点之间的消息传递来捕获图的依赖性。GNN能处理不规则数据结构,可用于场景分析和问题推理等,如道路交通动态流量预测、智能客服、异常检测、欺诈检测等(Zhou et al.,2020aWaikhom and Patgiri, 2021)。由于GNN具有处理不规则数据结构的优势,其在气象上的应用研究也会逐渐增加(Lin et al., 2021)。

(4) 其他模型。主流的深度学习模型还包括Hinton等(2006)提出的深度信念网络(Deep Belief Networks,DBN)、Goodfellow等(2014)提出的生成式对抗网络(Generative Adversarial Networks,GAN)、Vaswani等(2017)提出的Transformer等。其中,Transformer以注意力机制(Attention)为其网络结构,与CNN、RNN和GNN均有一定的相似性(Bai et al.,2019Cordonnier et al.,2019Katharopoulos et al.,2020)。自然语言处理(Natural Language Processing,NLP)和计算机视觉(Computer vision,CV)领域对Transformer的研究应用都较广泛,但Transformer对数据量的要求较高。

1.2 深度学习模型的可解释性

深度学习模型在大气科学领域的可解释性初步分为两个方向,即对深度学习模型的“黑箱”探索方向和基于特征提取后的可解释性方向。

深度学习模型是端到端(end to end)的“黑箱”模型,其中间过程不可知、结果不可控。一方面,人们难以知道它在做什么;另一方面,难以解释和理解它为什么这么做。随着对深度学习可解释性需求的增加,对深度学习模型进行解释的方法得到了发展。如,通过求出某个神经元的激活值相对于原始输入图像的梯度,把某个神经元的输出重构回原始输入像素空间,可研究该神经元究竟在寻找什么特征(Zeiler and Fergus, 2013Karpathy et al.,2015)。为探索深度学习模型是否能够对空间天气特征进行编码,并解释其与相关强天气的联系,Gagne等(2019)利用深度学习方法研究了直径25 mm以上冰雹的预报水平,通过特征重要性和特征优化对CNN进行解释,结果表明: 该网络综合了大的温度递减率和有利于宽广上升气流的风切变廓线等有利于冰雹生长的环境和风暴形态信息,这与气象学家的理解一致。

Lagerquist等(2019)以人工分析的锋面为标签,利用CNN来识别天气尺度锋面,然后采用后处理方法将网格上的概率值转化为预报目标,用北美区域再分析资料中的1 000 hPa风速、温度、比湿、湿球位温和位势高度等网格化资料作为预报因子,结果表明该系统有可能用于定量解释数值天气预报集合成员预报锋面特性的多样性。

人工标签虽然也是一种对先验知识的应用,但若在模型提取特征前就引入先验知识,如基于主观预报经验或概念模型先对某些特征(如阵风锋、中气旋等) 进行提取,将提取的特征进行编码再与模型融合,也可能是探索模型可解释性和提高模型泛化能力的一种方法。

2 强降水临近预报方法

强降水临近预报主要是基于地面雨量计、天气雷达、气象卫星等监测资料,分析监测到的强降水中心特征,采用主客观方法预报未来0~2 h强降水中心和量级。强降水落区和量级预报越准确,越有利于提升强降水诱发的城市积涝、山洪、滑坡等次生灾害的预警提前量。对目前常用的几种强降水临近预报方法简介如下。

2.1 拉格朗日外推法

目前,临近预报在很大程度上仍然是依赖于基于观测的拉格朗日外推。此外推法又可分为平流外推法和单体跟踪外推法,但无论采用何种外推,准确预报强回波中心的位置和强度都是提高强降水预报精度的关键。

平流外推法通常是假设在数小时时间范围内,通过沿不变的运动场来移动雷达回波,且不改变其强度以捕获降水演变(Zawadzki et al.,1994)。用于临近预报的平流场通常基于使用最新雷达图像或卫星云图分析获得的视运动。回波运动场可通过相关系数法(Wilson et al.,1998Li et al.,2000陈明轩等,2007胡胜等,2011罗义等,2021)或光流法(韩雷等,2008曹春燕等,2015Pulkkinen et al.,2019田刚等,2021)得到。单体跟踪外推法首先将风暴识别为当前雷达扫描中的目标,然后通过在连续扫描中识别相同的目标来跟踪风暴的运动(Dixon and Wiener, 1993Johnson et al.,1998胡胜等,2006郑永光等,2010),适用于识别和跟踪强对流风暴。将外推预报的雷达回波经过Z-R关系(Z为天气雷达反射率因子,R为降水强度)转换为降水,得到降水临近预报结果。

与雷达强回波中心的外推预报类似,通过对卫星云图上的强降水云团进行识别和跟踪(Hubert and Whitney, 1971Merritt and Fritsch, 1984白洁等,1997傅云飞,2019杨磊等,2020),可开展强降水临近预报。如,Merritt和Fritsch (1984)利用GOES卫星的10.7 μm数字资料将中尺度对流系统(Mesoscale Convective System,MCS)最冷云顶簇定义为空间尺度在10~100 km、时间尺度在1~10 h的β中尺度核(Meso-Beta Cores,MBC),并通过监测和预报MBC的移动和传播实现基于卫星的强降水监测和预报。随着卫星观测资料时空分辨率的提高(Yang et al.,2017)以及对流初生(Convection Initiation,CI)等临近预报技术的发展(黄亦鹏等,2019),卫星、雷达等多源观测资料将在降水临近预报中得到更充分的融合与应用。

然而,拉格朗日外推预报精度会随时间迅速降低(Wilson et al.,1998Mandapaka et al.,2012)。正因为如此,Tsonis和Austin (1981)针对已经维持了30 min以上的风暴单体,利用回波影响范围和强度的时间变化趋势,希望能提高临近外推预报的精度,结果发现即使在复杂的非线性时间趋势方案中,预报技巧的提高也微不足道。后来,Wilson等(1998)测试了类似的回波趋势变化技术,得到了相似的结果,并指出预报技巧难以提高的原因可能是决定强降雨随时间变化的关键物理过程(如边界层风的辐合)在回波发展过程中不一定是可被观测到的。

2.2 数值预报方法

目前基于数值模式的0~2 h强降水预报效果还不理想,主要原因包括数值模式预报提前时间少于模式spin-up所需时间、非高斯分布数据同化存在困难(Sun et al.,2014)、对云及对流过程表征还不够准确(Guo et al.,2015)等。另外,高分辨率快速更新模式(High-Resolution Rapid Refresh,HRRR)还不能精准模拟出既受外流边界辐合影响又受地形影响的γ中尺度气流,从而导致降水临近预报出现误差。近年,国外有人利用HRRR模式(Wilson et al.,2020)研究了2017年夏季沿美国科罗拉多州弗兰特山脉120 km空间尺度上的降水临近预报情况,结果表明:模式预报的0~2 h降水精度较基于天气雷达资料的外推结果差;局地尺度(中尺度)对强降水的影响比大尺度(天气尺度)的影响要大得多,在局地尺度上大尺度趋势对于修正外推临近预报没有作用。

数值预报方法对0~2 h预报还多是参考,其直接应用偏少,但可通过使用后处理诊断工具提取一些有用信息进行间接使用(郑永光等, 2015a, 2015bWMO,2017)。大量事实证明,NWP模式在起报数小时后通常比外推法能产生更好的定量降水预报效果,因此通常将雷达回波外推与数值天气预报模式相结合以生成无缝的0~6 h预报(程丛兰等,2013Sun et al.,2014Pinto et al.,2018)。

2.3 深度学习方法

由于深度学习能提取复杂的非线性特征,它适用于处理强降水临近预报这种需要进行强降水回波或强降水云团空间特征提取和时间演变分析的情形。如果按照输入数据和输出数据类型不同,可将基于深度学习方法的强降水临近预报分为以下3种情况:

(1) 深度学习模型的输入和输出均为雷达反射率因子场,将模型输出经过Z-R关系转换为降水。这是目前进行强降水临近预报最常用的方法。这方面工作最早可追溯到Shi等(2015)提出的ConvLSTM。此后不久,Shi等(2017)又提出了卷积核可变形门控循环单元(Trajectory Gated Recurrent Unit,TrajGRU),通过显式地学习输入数据中的空间变化关系,改进了ConvLSTM卷积循环结构位置不变的不足。之后,其他人在相关工作上也有一些进展。如,韩丰等(2019)使用预测循环神经网络架构(predictive RNN),利用历史雷达组合反射率因子建模,进行未来1 h组合反射率因子预报,对反射率因子强度变化有一定的预报能力。郭瀚阳等(2019)基于改进的RNN算法形成的自编码模型,开展了强对流高分辨率临近预报试验,其结果比传统外推方法有了较明显的提高。Agrawal等(2019) 将回波演变模拟视为一个图像到图像的转换问题,基于深度图像分割网络U-Net架构(Ronneberger et al.,2015)进行降水临近预报,其预报效果好于光流法。参考U-Net和SegNet (Badrinarayanan et al.,2017),Ayzel等(2020)提出了RainNet模型,该模型是一种分支之间有跳跃连接的、遵循标准的编码器-解码器结构的深度卷积神经网络,其预报效果也优于光流法。Trebing等(2021)提出了一个基于U-Net的、包括注意力模块和深度可分离卷积的SmaAt-UNet模型,该模型仅使用了1/4的可训练参数,在预报性能上与其他模型相当。

值得一提的是,重庆市气象局与百度公司合作,基于2008—2018年天气雷达数据集和其它实况资料,结合重庆市气象台发展的冰雹大风自动标识技术(刘伯骏等,2021),采用TrajGRU,初步建立了三维雷达回波智能临近预报模型,并将以上技术用于强降水临近预报业务。结果显示,与中国气象局灾害天气短时临近预报系统(Severe Weather Automatic Nowcast system,SWAN)的产品相比,雷达回波智能预报能力随时间降低的速度低于传统外推方法,对长时效雷达回波预报明显提升,降水智能预报比SWAN降水预报有了一定程度的提高(顾建峰等,2020),但对强降水的预报能力仍然有限。对重庆2018年发生的10次暴雨天气过程的检验表明,以7 mm·h-1雨强为阈值,深度学习的1 h临近预报临界成功指数(Critical Success Index,CSI)为0.16,而SWAN的只有0.04;其2 h临近预报CSI仅为0.06,而SWAN的则更低,为0.01 (顾建峰等,2020)。

(2) 深度学习模型的输入和输出均为降水场。随着预报时效的延长,由于缺乏对提高预测值很重要的小尺度天气特征的有效提取,基于深度学习的降水临近预报模型输出的降水场越来越模糊,预报的不确定性也相应增加。为有效提取小尺度天气特征以提高强降水预报准确率,Ravuri等(2021)提出了降水深度生成模型(Deep Generative Model of Rainfall,DGMR),采用的算法框架为Mirza和Osindero (2014)提出的条件生成对抗网络(Conditional Generative Adversarial Network,CGAN)。DGMR的输入和标签均为雷达定量估计降水,输出为降水场。DGMR平衡了预报的降水强度和范围,可更好地捕捉环流、强度和结构等信息,更准确地预报局部降雨,提高了强降水预报的质量和一致性。此外,通过50多位气象专家的系统评估,与利用平流方法的PySTEPS (Pulkkinen et al.,2019)和利用深度学习方法的MetNet (Sønderby et al.,2020)相比,DGMR在89% 的案例中其准确性和实用性排名第一,对强降水的位置、范围、运动和强度预报均具优势。

(3) 深度学习模型的输入为多源数据,输出为降水场。Sønderby等(2020)提出了一种将LSTM编码器和轴向注意力解码器组合的模型(即MetNet),该模型以雷达定量估计降水、卫星数据作为输入,并进行了经纬度、海拔高度、小时、日、月等实值特征的嵌入,实现了对未来8 h降水的预报,并能生成概率降水预报图。Ravuri等(2021)利用英国和美国的数据对MetNet的预报性能进行评估后发现,额外的卫星或地形数据以及时空嵌入并没有提供统计上显著的CSI改善。

目前,将雷达反射率因子作为深度学习模型的输入,将地面观测的降水场作为标签和输出的研究尚少,这种方式相当于需要模型自动寻找Z-R关系,如果相关模型得到发展和解释,有望促进Z-R关系的研究。另外,闪电活动与短时强降水也有较好的相关关系(刘泽等,2020成勤等,2020)。如,Zhou等(2020b)构建的三维语义分割模型LightningNet,其输入数据为雷达回波、卫星云图和闪电密度,实现了0~1 h云地闪临近预报。因此,需要发展将闪电资料等多源数据输入到深度学习模型并应用到强降水临近预报的方法。

3 深度学习方法在强降水临近预报技术中的改进思考

应用深度学习方法的强降水临近预报技术在强降水预报精度上已经明显高于光流法等外推法已是不争的事实,但随着预报时效延长,其对强降水区域的预报仍然非常困难(Ravuri等,2021)。在深度学习模型的不同环节融入适当的先验知识,有可能提高模型学习到重要特征的能力,也有可能提高模型的可解释性。同时,对模型效果的评估方法决定了模型算法改进的方向。下文从先验知识融入深度学习模型和提高主客观评估结果的一致性方面,提出改进强降水临近预报技术的几点建议如下。

3.1 先验知识与深度学习模型融合

将物理过程与数据驱动(data-driven)的机器学习进行混合建模,发挥两者的协同作用,是提升预报能力的重要途径(Reichstein et al.,2019马雷鸣2020李扬等,2021周康辉等,2021)。如,Snaiki和Wu (2019) 将基于物理方程或半经验公式的热带气旋边界层风的先验知识转变为机器可读的(machine-readable)补充知识,并应用到热带气旋边界层风动力学的深层网络建模,减少了模型训练需要的数据集,训练后的模型可以准确、有效地预报各种热带气旋的边界层风场。与上述文献将受物理公式约束的先验知识引入深度学习算法不同,Zhuo和Tan (2021)发展的热带气旋强度和大小估计模型DeepTCNet,引入了表征热带气旋强度的丰满度指标等作为辅助信息,并假设这些先验知识不受物理公式约束,辅助信息在输入空间和输出目标之间可能引入了额外的物理关系,因此可以约束模型产生更好的热带气旋强度和大小估计。后者将不受物理公式约束的先验知识融入深度学习算法的思路,可作为探索强降水临近预报业务初步解决方案的借鉴。类似的不受物理公式约束的先验知识,常见于气象专家系统(expert system)。气象专家系统是一种基于知识的推理系统,将有经验的预报员在实际预报实践中取得的经验用适当形式存入计算机,形成知识库,根据输入的气象资料,按照一定的推理规则作出客观预报。20世纪80年代,作为人工智能的一个分支,已有少数专家系统的灾害性天气预报准确率接近当时优秀预报员的水平,在其落区和强度预报方面也取得了比较明显的效果(气象史料挖掘与研究工程项目组,2018)。

从多源观测资料总结更多的强降水风暴特征,研究将经验知识适当地转换为机器可读知识的方法,并将这种类似于专家系统的先验知识融入到深度学习模型,可能是预报员开展研究型强降水临近预报业务需要面对的挑战(图 1)。预报员和科研人员在强降水临近预报实践中总结了一些强降水风暴的特征和指标,如雷达回波不断经过同一地点时的“列车效应”(李明华等,2019)、中尺度辐合辐散共轭系统风场反映在多普勒天气雷达径向速度图上的逆风区(张培源和陈荣林,1995)、强低空急流展现在多普勒速度图上的“牛眼”以及强降水与雷达反射率因子垂直累积液态水含量(Vertically Integrated Liquid water content,VIL)的关系、强降水与闪电的关系等(章国材,2011)。“列车效应”这类特征由于含有运动信息,可能是机器能够自动学习到的“知识”。“逆风区”等特征需要先开发识别算法才能编码,在数据量较大时也可探索采用机器学习算法提取。VIL等特征已可量化,其编码相对简单。

图 1 先验知识融入深度学习模型 Fig. 1 Schematic diagram of prior information into deep learning algorithm

为了将先验知识融入到深度学习模型,可从数据预处理、改变数据标签、在模型架构中嵌入先验知识的量化编码、修改损失函数等方面着手。

在数据预处理方面,若先验知识不能简单量化,可基于决策树等机器学习算法或另一深度学习算法先对特征进行提取,再将提取的特征向量输入到强降水预报的深度学习模型。如,徐月飞等(2020)基于深度卷积神经网络设计了阵风锋自动识别算法。这类辅助信息可作为强降水预报深度学习模型的输入。同时,预先提取的特征也可作为标签。周康辉等(2021)指出,若能利用机器学习识别中气旋、上冲云顶和弓状回波等与强对流相关的特征并作为标签,相比直接用雷暴大风等天气现象作为标签,可能有望延长预警提前时间。“深对流塔”是西南涡强降水的一种重要γ中尺度系统(Zhai et al.,2021),若能实现其自动识别,有望延长强降水临近预报时间。在对深度学习模型深入理解的基础上,可在模型架构中嵌入先验知识的量化编码。如Zhuo和Tan (2021)发展的DeepTCNet,就是通过将辅助信息嵌入到VGGNet模型(Simonyan and Zisserman, 2014)的全连接层前面实现了先验知识与深度学习模型的融合。

无论深度学习模型的架构如何,最终要实现的任务是由损失函数决定的。Ravuri等(2021)分别用一个空间判别器和一个时间判别器定义了两个损失函数以驱动深度学习,第一个判别器的目的是确保空间一致性并阻止模糊预测,第二个判别器旨在区分观测到的和生成的雷达序列,施加时间一致性并惩罚跳跃预测。结合可求导的检验指标用于损失函数设计,可作为模型优化的一种重要手段。而Zheng等(2021)则利用Dense U-Net架构,在牙齿的CT图像上引入材料(materials)不会直接连接骨头等解剖学先验知识,对先验知识进行量化,并在深度学习网络的损失函数中考虑新的得分函数,其得分越高表示越符合解剖学的先验知识,取得了较好的图像分割效果。

3.2 提高主客观评估结果的一致性

检验是研发预报系统过程中不可或缺的一步,也是确定强降水预报技术改进方向的关键。同时,预报检验也是一个具有很多可能评分方法的多维难题(Jolliffe and Stephenson, 2016)。国外有人在评估降水临近预报结果时(Ravuri et al.,2021)指出,气象专家认为不同方法的预报结果有很大差别: 与其它方法相比,DGMR模型的预报结果“能够最好地捕捉到对流单体的大小和强度”,但常用的降水检验指标大多只能得出差别不大的检验结果。为了尽量做到客观检验指标与气象专家评估结果的一致,需要发展新的评估指标。

针对同样的强降水回波,两个预报员的看法都可能不一样,主客观评估结果更不可能完全一致。但通过改进客观检验指标,有可能提高主客观评估结果的一致性。茅懋等(2016)设计了强对流预报产品的目标对象检验方法,包括预报产品和实况资料的对流单体和强降水落区等目标的识别和匹配、多指标检验、根据用户评价偏好进行加权平均给出总体检验评分。这种目标对象检验方法提供的有关面积、位置和形状等的评价信息更适合预报员和预报业务的需求,可作为研发新的检验指标的参考。

4 存在问题及展望

本文以强降水临近预报为例,梳理了深度学习算法在强降水临近预报技术中的应用情况,参考已有研究成果,提出了将基于预报员经验、不受物理公式约束的强降水天气特征作为先验知识融入到深度学习模型的可能途径,包括将一些经验特征进行量化或自动识别后作为模型输入、将预先提取的特征作为模型标签、在模型架构中嵌入先验知识的量化编码、结合可求导的检验指标设计损失函数对模型进行优化。同时,针对一些客观检验指标对气象专家认为明显有差别的强降水预报结果的评分相差不大的问题,提出要提高主客观评估的一致性,以便更好地确定强降水临近预报技术的改进方向。

为了更好地改进深度学习方法在强降水临近预报技术中的应用,还需要关注数据集构建(刘娜等,2021)、深度学习算法代码复现时的本地化。为了支持强降水临近预报技术研究及应用的长期有效性,需要建设具有气象学、遥感、计算机科学等背景的多学科人员组成的团队,团队成员需要具有实时跟踪最新技术的能力。如,RNN、LSTM和GRU都是串行,如何将目前能够处理时间序列并实现并行的Informer架构(Zhou et al.,2020c)应用到强降水临近预报中,是否能够将先验知识嵌入到该架构,如何对其损失函数进行改进,是一个有意义的探索方向。同时,要特别关注团队成员之间频繁而常态化的交叉培训,培训越多,联合研发和业务应用过程就越有效。

鉴于天气预报的不确定性,研究成果投入业务应用后需要得到反馈,再根据反馈进行技术升级,并反复进行应用评估,才能真正发挥研究成果的作用(郑永光等,2015a林建等,2016)。为加快强降水临近预报技术的应用,有必要从需求分析出发,有的放矢,研究相关的深度学习技术,统计并提取相关强降水天气特征,将不受物理公式约束的先验知识融入深度学习算法,研发能够提高主客观评估结果一致性的检验指标,最终形成一个从研究到业务、再从业务到研究的相辅相成、紧密联系的闭环。

参考文献
白洁, 王洪庆, 陶祖钰. 1997. GMS卫星红外云图强对流云团的识别与追踪[J]. 热带气象学报, 13(2): 158-167. DOI:10.16032/j.issn.1004-4965.1997.02.008
曹春燕, 陈元昭, 刘东华, 等. 2015. 光流法及其在临近预报中的应用[J]. 气象学报, 73(3): 471-480.
程丛兰, 陈明轩, 王建捷, 等. 2013. 基于雷达外推临近预报和中尺度数值预报融合技术的短时定量降水预报试验[J]. 气象学报, 71(3): 397-415.
陈明轩, 王迎春, 俞小鼎. 2007. 交叉相关外推算法的改进及其在对流临近预报中的应用[J]. 应用气象学报, 18(5): 690-701. DOI:10.3969/j.issn.1001-7313.2007.05.014
成勤, 张科杰, 夏羽, 等. 2020. 湖北省2020年"6·27"特大暴雨过程闪电与降水关系分析[J]. 暴雨灾害, 39(6): 620-628. DOI:10.3969/j.issn.1004-9045.2020.06.010
傅云飞. 2019. 卫星主被动仪器遥感中国暴雨的研究进展[J]. 暴雨灾害, 38(5): 554-563. DOI:10.3969/j.issn.1004-9045.2019.05.0016
顾建峰, 周国兵, 刘伯骏, 等. 2020. 人工智能技术在重庆临近预报业务中的初步研究与应用[J]. 气象, 46(10): 1286-1296. DOI:10.7519/j.issn.1000-0526.2020.10.003
郭瀚阳, 陈明轩, 韩雷, 等. 2019. 基于深度学习的强对流高分辨率临近预报试验[J]. 气象学报, 77(4): 715-727.
韩丰, 龙明盛, 李月安, 等. 2019. 循环神经网络在雷达临近预报中的应用[J]. 应用气象学报, 30(1): 61-69.
韩雷, 王洪庆, 林隐静. 2008. 光流法在强对流天气临近预报中的应用[J]. 北京大学学报(自然科学版), 44(5): 751-755. DOI:10.3321/j.issn:0479-8023.2008.05.014
胡胜, 顾松山, 庄旭东, 等. 2006. 风暴的多普勒雷达自动识别[J]. 气象学报, 64(6): 796-808.
胡胜, 孙广凤, 郑永光, 等. 2011. 临近预报系统(SWAN)产品特征及其在2010年5月7日广州强对流过程中的应用[J]. 广东气象, 33(3): 11-15. DOI:10.3969/j.issn.1007-6190.2011.03.003
黄亦鹏, 李万彪, 赵玉春, 等. 2019. 基于雷达与卫星的对流触发观测研究和临近预报技术进展[J]. 地球科学进展, 34(12): 1273-1287. DOI:10.11867/j.issn.1001-8166.2019.12.1273
李明华, 陈芳丽, 姜帅, 等. 2019. "18.8"粤东暴雨中心极端强降水"列车效应"分析[J]. 暴雨灾害, 38(4): 329-337. DOI:10.3969/j.issn.1004-9045.2019.04.005
李扬, 刘玉宝, 许小峰. 2021. 基于深度学习改进数值天气预报模式和预报的研究及挑战[J]. 气象科技进展, 11(3): 103-112. DOI:10.3969/j.issn.2095-1973.2021.03.012
林建, 毕宝贵, 金荣花, 等. 2016. 论天气预报科研业务结合可持续发展机制[J]. 气象, 42(10): 1263-1270. DOI:10.7519/j.issn.1000-0526.2016.10.011
刘伯骏, 张亚萍, 黎中菊, 等. 2021. 一种基于地面实况的降雹风暴体客观标识方法[J]. 应用气象学报, 32(1): 78-90.
刘娜, 熊安元, 张强, 等. 2021. 强对流天气人工智能应用训练基础数据集构建[J]. 应用气象学报, 32(5): 530-541.
刘泽, 郭凤霞, 郑栋, 等. 2020. 一次暖云强降水主导的对流单体闪电活动特征[J]. 应用气象学报, 31(2): 185-196.
罗义, 梁旭东, 王刚, 等. 2021. 雷达反演的多尺度风场在临近预报中的应用研究[J]. 暴雨灾害, 40(4): 401-409. DOI:10.3969/j.issn.1004-9045.2021.04.008
马雷鸣. 2020. 天气预报中的人工智能技术进展[J]. 地球科学进展, 35(6): 551-560.
茅懋, 戴建华, 李佰平, 等. 2016. 不同类型强对流预报产品的目标对象检验与分析评价[J]. 气象, 42(4): 389-397.
气象史料挖掘与研究工程项目组. 2018. 20世纪80年代人工智能在天气预报中的应用[J]. 气象科技进展, 8(3): 88-91.
田刚, 陈良华, 魏凡, 等. 2021. 基于光流法雷达外推的2020年长江致洪降水临近预报检验评估[J]. 暴雨灾害, 40(3): 316-325. DOI:10.3969/j.issn.1004-9045.2021.03.010
王启光, 丑纪范. 2021. 浅谈大气科学的发展脉络[J]. 气象科技进展, 11(3): 8-10.
许小峰. 2018. 从物理模型到智能分析——降低天气预报不确定性的新探索[J]. 气象, 44(3): 341-350.
徐月飞, 赵放, 毛程燕, 等. 2020. 基于深度卷积神经网络的阵风锋识别算法[J]. 暴雨灾害, 39(1): 81-88.
杨磊, 才奎志, 孙丽, 等. 2020. 基于葵花8号卫星资料的沈阳两次暴雨过程中对流云特征对比分析[J]. 暴雨灾害, 39(2): 125-135.
俞小鼎, 王秀明, 李万莉, 等. 2020. 雷暴与强对流临近预报[M]. 北京: 气象出版社, 416.
章国材. 2011. 强对流天气分析与预报[M]. 北京: 气象出版社, 337.
张敬林, 薛珂, 杨智鹏, 等. 2022. 人工智能与物联网在大气科学领域中的应用[J]. 地球物理学进展, 37(1): 94-109.
张沛源, 陈荣林. 1995. 多普勒速度图上的暴雨判据研究[J]. 应用气象学报, 6(3): 373-378.
郑永光, 薛明, 陶祖钰. 2015a. 美国NOAA试验平台和春季预报试验概要[J]. 气象, 41(5): 598-612.
郑永光, 周康辉, 盛杰, 等. 2015b. 强对流天气监测预报预警技术进展[J]. 应用气象学报, 26(6): 641-657.
郑永光, 张小玲, 周庆亮, 等. 2010. 强对流天气短时临近预报业务技术进展与挑战[J]. 气象, 36(7): 33-42.
周康辉, 郑永光, 韩雷, 等. 2021. 机器学习在强对流监测预报中的应用进展[J]. 气象, 47(3): 274-289.
《中国气象百科全书·气象预报预测卷》编委会. 2016. 中国气象百科全书·气象预报预测卷[M]. 北京: 气象出版社, 405.
Ayzel G, Scheffer T, Heistermann M. 2020. RainNet v1.0: a convolutional neural network for radar-based precipitation nowcasting[J]. Geosci Mod Dev, 13: 2631-2644.
Agrawal S, Barrington L, Bromberg C, et al. 2019. Machine learning for precipitation nowcasting from radar images[J/OL]. arXiv preprint arXiv: 1912.12132
Badrinarayanan V, Kendall A, Cipolla R. 2017. SegNet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE T Pattern Anal, 39: 2481-2495.
Bai Y, Ding H, Bian S, et al. 2019. SimGNN: A neural network approach to fast graph similarity computation [C] // the Twelfth ACM International Conference. ACM
Cordonnier J B, Loukas A, Jaggi M. 2019. On the relationship between self-attention and convolutional layers [C] // International Conference on Learning Representations
Dixon M, Wiener G. 1993. TITAN: Thunderstorm identification, tracking, analysis and nowcasting—A radar-based methodology[J]. J Atmos Oceanic Technol, 10: 785-797.
Gagne D, Haupt II S, Nychka D, et al. 2019. Interpretable deep learning for spatial analysis of severe hailstorms[J]. Mon Wea Rev, 147: 2827-2845.
Goodfellow I, Pouget_Abadie J, Mirza M, et al. 2014. Generative adversarial nets [C]. In: Advances in neural information processing systems, Montreal, Canada, MIT Press: 2672-2680
Guo X, Tan Z. 2017. Tropical cyclone fullness: A new concept for interpreting storm intensity[J]. Geophys Res Lett, 44: 4324-4331.
Guo Z, Zhou T, Wang M, et al. 2015. Impact of cloud radiative heating on East Asian Summer monsoon circulation[J]. Environmental Research Letters, 10(7): 74014.
He K, Zhang X, Ren S, Sun J. 2016. Deep residual learning for image recognition[C] // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE: 770-778
Hinton G, Osindero S, Teh Y. 2006. A fast learning algorithm for deep belief nets[J]. Neural Computation, 18(7): 1527-1554.
Hochreiter S, Schmidhuber J. 1997. Long short-term memory[J]. Neural Computation, 9(8): 1735-1780.
Hubert L F, Whitney Jr L F. 1971. Wind estimation from geostationary-satellite picture[J]. Mon Wea Rev, 99: 665-672.
Jensen A A, Bergmaier P T, Geerts B, et al. 2020. Sensitivity of convective cell dynamics and microphysics to model resolution for the OWLeS IOP2b Lake-Effect Snowband[J]. Monthly Weather Review, 148(8): 3305-3328.
Johnson J T, Mackeen P L, Witt A., et al. 1998. The storm cell identification and tracking algorithm: An enhanced WSR-88D algorithm[J]. Wea Forecasting, 13: 263-276.
Jolliffe I T, Stephenson D B. 2016. 预报检验——大气科学从业者指南(第二版)[M]. 李应林, 等, 译. 北京: 气象出版社: 257
Karpathy A, Johnson J, Li F F. 2015. Visualizing and understanding recurrent networks [C]. In International Conference on Learning Representations (ICLR). DOI: 10.48550/arXiv.1506.02078
Katharopoulos A, Vyas A, Pappas N, et al. 2020. Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention[J/OL]. arXiv preprint arXiv: 1911.03584.
Krizhevsky A, Sutskever I, Hinton G E. 2012. ImageNet classification with deep convolutional neural networks [C]. Advances in Neural Information Processing Systems 25 (NIPS 2012)
Lagerquist R, McGovern A, Gagne II D. 2019. Deep learning for spatially explicit prediction of synoptic-scale fronts[J]. Wea Forecasting, 34: 1137-1160.
LeCun Y, Bengio Y, Hinton G. 2015. Deep learning[J]. Nature, 521: 436-444.
Li P W, Wong W K, Chan K Y, et al. 2000. SWIRLS—An evolving nowcasting system [R]. Technical Note, No100, Hong Kong Observatory
Lin H, Gao Z, Xu Y, et al. 2021. Conditional local convolution for spatio-temporal meteorological forecasting [J/OL]. arXiv preprint arXiv: 2101.01000v3
Mandapaka P V, Germann U, Panziera L, et al. 2012. Can Lagrangian extrapolation of radar fi elds be used for precipitation nowcasting over complex alpine orography?[J]. Wea Forecasting, 27: 28-49.
Merritt J H, Fritsch J M. 1984. On the movement of the heavy precipitation areas of mid-latitude mesoscale convective complexes [C]. Preprints, 10th Conf On Weather analysis and Forecasting, Clearwater Beach, FL: 529-536
Mirza M, Osindero S. 2014. Conditional generative adversarial nets[J/OL]. arXiv preprint arXiv: 1411.1784
Pinto J, Steiner M, Stone K, et al. 2018. Quantifying the relationship between storm size and forecast uncertainty for enhanced blending [C]. Sixth Aviation, Range, and Aerospace Meteorology Special Symp, Austin, TX, Amer Meteor Soc, 3.6
Pulkkinen S, Nerini D, Hortal A P, et al. 2019. PySTEPS: An open-source python library for probabilistic precipitation nowcasting (v1.0)[J]. Geosci Mod Dev, 12: 4185-4219.
Ravuri S, Lenc K, Willson M, et al. 2021. Skilful precipitation nowcasting using deep generative models of radar[J]. Nature, 597: 672-677.
Reichstein M, Camps-Valls G, Steven B, et al. 2019. Deep learning and process understanding for data-driven Earth system science[J]. Nature, 566: 195-204.
Ronneberger O, Fischer P, Brox T. 2015. U-Net: Convolutional Networks for Biomedical Image Segmentation [C]. International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer International Publishing
Rumelhart D, Hinton G E, Williams R. J. 1986. Learning representations by back-propagating errors[J]. Nature, 323: 533-536.
Russell S J, Norvig P. 2020. Artificial intelligence: a modern approach, fourth edition[M]. London: Pearson Education Ltd, 1152.
Scarselli F, Gori M, Tsoi A C, et al. 2009. The graph neural network model[J]. IEEE Transactions on Neural Networks, 20(1): 61-80.
Shi X J, Chen Z, Wang H, et al. 2015. Convolutional LSTM network: A machine learning approach for precipitation nowcasting [G]. Advances in Neural Information Processing Systems: 802-810
Shi X J, Gao Z, Lausen L, et al. 2017. Deep learning for precipitation nowcasting: A benchmark and a new model [G]. Advances in Neural Information Processing Systems: 5617-5627
Simonyan K, Zisserman A. 2014. Very deep convolutional networks for large-scale image recognition [J/OL]. arXiv preprint arXiv: 1409.1556
Snaiki R, Wu T. 2019. Knowledge-enhanced deep learning for simulation of tropical cyclone boundary-layer winds[J]. J Wind Eng Ind Aerodyn, 194: 103983.
Sønderby C K, Espeholt L, Heek J, et al. 2020. MetNet: A neural weather model for precipitation forecasting [J/OL]. arXiv preprint arXiv: 2003.12140
Sun J, Xue M, Wilson J W, et al. 2014. Use of NWP for nowcasting convective precipitation: Recent progress and challenges[J]. Bull Amer Meteor Soc, 95: 409-426.
Sun S, Zhou B, Xue M, et al. 2021. Scale-similarity subgrid-scale turbulence closure for supercell simulations at kilometer-scale resolutions: comparison against a large eddy simulation[J]. Journal of the Atmospheric Sciences, 78: 417-437.
Trebing K, Stańczyk T, Mehrkanoon S. 2021. SmaAt-UNet: precipitation nowcasting using a small attention-UNet architecture[J]. Pattern Recog Lett, 145: 178-186.
Tsonis A A, Austin G L. 1981. An evaluation of extrapolation techniques for the short-term prediction of rain amounts[J]. Atmos Ocean, 19(1): 54-65.
Vaswani A, Shazeer N, Parmar N, et al. 2017. Attention is all you need [G]. Advances in Neural Information Processing Systems: 5998-6008
Waikhom L, Patgiri R. 2021. Graph neural networks: methods, applications, and opportunities [J/OL]. arXiv preprint arXiv: 2108.10733v2
Werbos P J. 1990. Backpropagation through time: what it does and how to do it[J]. In Proceedings of the IEEE, 78(10): 1550-1560.
Wilson J W, Crook N A, Mueller C K, et al. 1998. Nowcasting thunderstorms: A status report[J]. Bull Amer Meteor Soc, 79: 2079-2099.
Wilson J, Megenhardt D, Pinto J. 2020. NWP and radar extrapolation: Comparisons and explanation of errors[J]. Mon Wea Rev, 148: 4783-4798.
WMO. 2017. Guidelines for nowcasting techniques [EB/OL]. WMO Doc. WMO-1198: 82. https://library.wmo.int/doc_num.php?explnum_id=3795
Yang J, Zhang Z, Wei C, et al. 2017. Introducing the new generation of Chinese geostationary weather satellites, Fengyun-4[J]. Bull Amer Meteor Soc, 98(8): 1637-1658.
Zawadzki I, Morneau J, Laprise R. 1994. Predictability of precipitation patterns: An operational approach[J]. J Appl Meteor, 33: 1562-1571.
Zeiler M D, Fergus R. 2013. Visualizing and understanding convolutional neural networks [J/OL]. arXiv preprint arXiv: 1311.2901
Zhai D, Kong F, Dai Z, et al. 2021. Analysis of deep convective towers in a southwest-vortex rainstorm event[J]. J Trop Meteor, 27(2): 177-190.
Zheng Z, Yan H, Setzer F C, et al. 2021. Anatomically constrained deep learning for automating dental CBCT segmentation and lesion detection[J]. IEEE Transactions on Automation Science and Engineering, 18(2): 603-614.
Zhou H, Zhang S, Peng J, et al. 2020c. Informer: Beyond efficient transformer for long sequence time-series forecasting [J/OL]. arXiv preprint arXiv: 2012.07436v3
Zhou J, Cui G, Hu S, et al. 2020a. Graph neural networks: A review of methods and applications[J]. AI Open, 1: 57-81.
Zhuo J, Tan Z. 2021. Physics-augmented deep learning to improve tropical cyclone intensity and size estimation from satellite imagery[J]. Mon Wea Rev, 149: 2097-2113.
Zhou K H, Zheng Y G, Dong W S, et al. 2020b. A deep learning network for cloud-to-ground lightning nowcasting with multisource data[J]. J Atmos Ocean Technol, 5: 927-942.