期刊检索:
  暴雨灾害   2019, Vol. 38 Issue (3): 249-258.  DOI: 10.3969/j.issn.1004-9045.2019.03.007

论文

DOI

10.3969/j.issn.1004-9045.2019.03.007

资助项目

国家重点研发计划(2017YFC1502000);国家重点基础研究发展计划(2015CB452806);国家自然科学基金项目(41475044);国家科技支撑计划(2015BAK10B03)

第一作者

曹越, 主要从事集合预报研究。E-mail:c_yue93@yeah.net

通信作者

赵琳娜, 主要从事集合预报与应用气象研究。E-mail:zhaoln@cma.gov.cn

文章历史

收稿日期:2019-02-15
定稿日期:2019-05-16
ECMWF高分辨率模式降水预报能力评估与误差分析
曹越1,2 , 赵琳娜2,1 , 巩远发1 , 许东蓓1 , 高迎娟3     
1. 成都信息工程大学 高原大气与环境四川省重点实验室, 成都 610225;
2. 中国气象科学研究院, 北京 100081;
3. 吉林省通化市气象局, 通化 134001
摘要:利用2015-2017年6-8月ECMWF高分辨率模式(ECMWF-Hi)的加工产品,结合我国2 400多个国家级气象站逐小时降水观测资料,对ECMWF-Hi产品24 h降水预报的准确度、集中度和相关性进行了评估,并与ECMWF集合预报模式(ECMWF-EPS)24 h降水预报产品进行比较。为更好地描述预报的集中度,避免单纯用标准差比或平均值比刻画预报集中度的缺陷,建立一个综合标准差和平均值的R指数,用之定量描述模式预报的集中度。结果表明:(1)ECMWF-Hi在均方根误差的检验方面并未表现出优势;而分辨率较低的ECMWF-EPS集合平均预报误差最小。(2)ECMWF-Hi对研究区域降水预报的集中度的整体描述较为准确,离散度与观测较为相似,预报期望也与观测降水的期望最接近,ECMWF-Hi比ECMWF-EPS的集合控制预报与集合平均对观测降水集中度的刻画较为准确。(3)研究区域内各站点R指数分布表明,ECMWF-Hi与ECMWF-EPS控制预报、平均预报相比,对平均值预报不足的站点较多,且这些站点的预报集中度普遍大于观测,ECMWF-Hi的降水预报更接近观测降水。(4)评估应用结果表明,R指数不仅能定性评估模式的集中度,也可定量描述集中度大小。
关键词ECMWF高分辨率模式    降水预报    误差分析    集中度    R指数    
Evaluation and error analysis of precipitation forecast capability of the ECMWF high-resolution model
CAO Yue1,2 , ZHAO Linna2,1 , GONG Yuanfa1 , XU Dongbei1 , GAO Yingjuan3     
1. Plateau Atmosphere and Environment Key Laboratory of Sichuan Province, College of Atmospheric Sciences, Chengdu University of Information and Technology, Chengdu 610225;
2. Chinese Academy of Meteorological Sciences, Beijing 100081;
3. Tonghua Meteorological Office of Jilin Province, Tonghua 134001
Abstract: Using the 24 h precipitation forecasts products from the ECMWF high-resolution numerical model (ECMWF-Hi) and the ECMWF ensemble model (ECMWF-EPS) and the hourly precipitation observations at more than 2 400 national meteorological stations over China from June to August of 2015 to 2017, we have conducted an evaluation of the accuracy, concentration and correlation of 24 h precipitation forecast products from ECMWF-Hi, and compared them with those from ECMWF-EPS. In addition, in order to overcome the shortcoming of describing the concentration simply by the standard deviation ratio or mean value ratio, we have established the R index which combines standard deviation ratio with mean value ratio, and used it to describe the concentration of forecast quantitatively. Results are as follows. (1) ECMWF-Hi does not show an advantage in the verification of root mean square error (RMSE), while ensemble mean of ECMWF-EPS with low horizontal resolution achieves the lowest RMSE. (2) Generally, the ECMWF-Hi is more accurate in description of concentration of precipitation forecast in the research areas. The dispersion of precipitation forecast is similar to that of the observation. The expectation of precipitation forecast of ECMWF-Hi is also the closest to that of the observation. Compared to the ensemble control forecast of ECMWF-EPS and ensemble mean of ECMWF-EPS, ECMWF-Hi is more accurate in concentration of precipitation. (3) The distribution of the R index at sites over the research area indicated that compared to the ensemble control forecast and the ensemble mean of ECMWF-EPS, ECMWF-Hi has more number of stations with under estimation of precipitation, and the concentration of those stations is generally higher than that of the observation. The precipitation forecast of ECMWF-Hi is closer to the observed precipitation. (4) The evaluation results show that the R index can not only evaluate the concentration of the forecasting of precipitation of model qualitatively, but also can describe the concentration quantitatively.
Key words: ECMWF high-resolution model    precipitation forecast    error analysis    concentration    R index    
引言

数值天气预报是用一组流体力学和热力学方程组,根据一定初始条件和边界条件,积分求解未来一定时段大气运动状态的方法。Lorenz (1965)研究指出,大气是一个高度非线性系统,天气预报结果对于初始条件的微小误差十分敏感;即使是很小的初值误差,也会随着积分时间增加而大幅增大。就一个真实的物理系统而言,其状态无法准确测量,观测误差、分析误差、站点稀疏等原因,均会导致大气误差,即使是日臻完善的数值模式也无法完美模拟出大气的真实状态(杜钧和陈静,2010)。近年来,随着计算机运算能力日益增强以及人们对天气预报精细化程度需求不断提高,高分辨率数值预报模式得到快速发展;越来越精细的预报在短时局地灾害性天气预报中发挥出越来越重要的作用(郑永光等,2010)。因此,对数值天气预报的检验是应用和改进数值预报模式的重要环节(牟惟丰等,1987刘艳等,2016黄丽萍等,2017)。不同类型的预报,需要采用相应的评分方法来评估。为了适应不同模式用户从不同角度了解和掌握数值模式的预报能力,数值模式预报检验方法也得到了不断发展(潘留杰等,2014田付友等,2015李佳等,2016)。天气预报检验方法研究已有100多年历史(丁金才,1995),当前它作为天气预报不可分割的一部分越来越受到人们的重视。根据WMO世界天气研究计划数值试验工作组对数值预报检验的分类,数值预报检验方法大致分为标准检验方法和科学或诊断检验方法(http://www.wmo.int/pages/prog/arep/wwrp/new/jwgfvr.html)。其中,标准检验方法包括量分类检验法、多分类检验法、连续性变量检验法以及概率预报检验,如“Eyeball”检验法、两分类检验法以及建立在此基础上的命中率(POD)、假警率(FAR)、预报偏差(Bias)、TS评分等,又称为传统检验法;科学或诊断检验方法包括空间检验法、概率预报检验法、尾端事件检验法等。还有发展的尺度分离法(孔荣等,2010)、新公平评分法(Rodwell et al., 2010)等。Baldwin and Kain (2006)研究指出,虽然传统的预报检验可对各站点进行预报效果检验,却无法分析模式预报场的空间结构;同时,在利用站点观测资料对高分辨率模式进行检验时,检验结果易受小尺度天气系统的影响,导致无法准确反映模式的预报能力。高分辨率模式因其预报分辨率更加精细,对一些高影响天气的预报具有显著优势,近年来广泛应用于我国各级气象台站。为了适应越来越精细化的数值预报的发展,模式的检验方法也在不断研究与探索中。如通过比较不同邻域尺度内降水发生概率以获取降水综合评估信息的邻域空间检验法(FSS),弥补了传统技巧评分的“双重惩罚”问题(赵滨和张博,2018陈法敬等,2019陈静等,2019);利用该方法对不同高分辨率模式(包括快速更新同化GRAPES_Meso,GRAPES_3 km及华东区域中尺度模式)对中小尺度对流过程预报能力的评估发现,邻域空间检验法在预报出现位移和强度偏差时仍能给出有价值的评分结果(唐文苑等,2018)。又如将连续雨区作为目标检验的(contiguous rain area,CRA)空间检验技术,可将预报偏差分解为落区、强度和形态误差进行定量化分析(符娇兰和代刊,2016)。再如针对强对流天气时空尺度较小的特点而设计的目标对象检验法(刘凑华和牛若芸,2013李明等,2017茅懋等,2016)。李佰平等(2016)对临近预报的模糊检验试验表明,模糊检验能在不同尺度和评价策略上给出有关预报的更多信息。潘留杰等(2017)对传统检验方法、面向对象检验法以及邻域法在高分辨率格点降水预报检验中的应用结果的分析表明,传统方法能在空间上表现预报技巧的地域性差异,在时间上刻画预报的整体性能;领域法可判别在多大空间尺度上能获得较好的预报技巧;而面向对象检验法为用户提供了模式预报性能的多视角表现,具有独特优势。

ECMWF的高分辨率模式(ECMWF-Hi)和ECMWF集合预报模式(ECMWF-EPS)是目前世界上较为先进的模式,近年来广泛应用于我国的各级气象台站。张宏芳等(2014)利用标准差比、相关系数以及均方根误差等指标对ECMWF与日本高分辨率模式进行降水预报检验指出,ECMWF-Hi在各个时效的预报结果都一致高于日本高分辨率模式。潘留杰等(2015)对ECMWF、日本、T639高分辨率模式采用基于领域法的FSS以及ETS评分指数进行模式检验表明,EC MWF模式对局地性、系统性降水的预报表现最好,且在每年7月预报最合理。同时,ECMWF模式在亚洲中高纬环流形势的调整和演变的预报上表现出较好性能(张夏锟,2017)。符娇兰等(2014)利用面对对象检验技术对ECMWF全球数值模式产品在我国西南地区汛期降水预报检验中发现,模式对1~2 d内的预报极值分布与实况较为接近。辛辰和漆梁波(2018)检验ECMWF模式在我国南方春雨期降水预报能力时指出,对流性降水落区预报偏差为ECMWF模式降水预报误差的主要来源。

对于预报检验,人们总是希望用尽可能少的评价度量指标对预报质量进行客观公正的评估,但任何一种检验评估方法都只能给出预报产品一个或几个方面的信息。因此,在实际应用中,需要在传统检验方法的基础上、根据检验对象和检验目的改进或结合不同检验方法来获取模式降水预报的多方面信息。如,徐寒列等(2013)为了定量考察样本相关系数的真实性和稳定性,提出了逐对剔除的相关系数检验方法,使得相关系数检验更加适合气候研究。因此,通过多角度设计合理的检验方案得到的检验结果,不仅可为模式研发设计人员判断模式的物理方案、参数化及陆面过程等的合理性提供帮助,也可为使用模式产品的用户掌握和了解模式的预报性能提供参考。为此,本文就ECMWF-Hi产品的24 h降水预报的准确度、集中度和相关性进行评估。为更好地描述预报的集中度,避免单纯用标准差比或平均值比刻画预报集中度的缺陷,试图建立一个综合标准差和平均值的R指数,以此定量描述模式预报的集中度,并将其用于ECMWF-Hi产品的评估,期望达到既定性评估模式集中度又定量描述集中度大小的目的。为了避免不同模式带来的误差,选择与EC MWF-Hi相近的模式系统与之进行比较,因此本文也对ECMWF-EPS的预报效果进行了检验,以此分析模式误差的地域分布特征。通过对比ECMWF-Hi和ECMWF-EPS在确定性预报方面的优劣与特点,期望了解不同预报系统的优势和系统误差,为未来模式优化改进提供方向、为科学使用模式提供参考。

1 资料与方法 1.1 资料与处理方法

本文使用的资料包括: (1) 2015—2017年6—8月每日00:00UTC时(世界时)起报的国家气象信息中心由ECMWF高分辨率模式加工的“大气模式确定性预报产品” (ECMWF-Hi产品),该产品水平分辨率为0.125°×0.125°,预报时效为0—72 h时3 h输出一次,预报时效为78—240 h时6 h输出一次;集合预报降水量预报产品是以ECMWF集合预报产品加工的“大气模式集合预报产品及裁剪产品” (ECMWF-EPS产品),该产品共51个成员,水平分辨率0.5°×0.5°,预报时效为0—72 h时3 h输出一次,预报时效为78—240 h时6 h输出一次。(2)同期我国中东部地区2 420个国家级气象站(图 1)逐小时降水观测资料。

图 1 研究区域(100°—123°E、25°—45°N)与该区域国家级气象站(实心小红点所示)分布 Fig. 1 The research areas (100°-123°E, 25°-45°N) and the spatial distribution of meteorological stations (showed by red solid dots) in the area

在对ECMWF-Hi和ECMWF-EPS降水预报产品进行检验时,采用双线性插值方法将模式预报插值到气象站点上,再对其预报能力进行分析。本研究区域(图 1)为我国中东部地区,经纬度范围在100°— 123°E、25°—45°N。

1.2 研究思路与方法 1.2.1 研究思路

首先,采用传统评估方法分析ECMWF-Hi的准确度、集中度、相关性。为了避免不同模式带来的误差,宜选择与ECMWF-Hi相近的模式系统与之进行比较,本文选择ECMWF集合平均和控制预报定量降水预报作为参照。一般对于一周以内的短期数值天气预报而言,预报时效越长(除去spin-up阶段)其预报效果越差。通过对24 h和48 h降水预报的检验发现,48 h降水检验结果与24 h检验结果得出的结论类似。因此,为简便起见,本文只给出24 h的检验结果。检验中,降水等级划分沿用中国国家标准委员会发布的降水量强度等级标准(中华人民共和国国家质量监督检验检疫总局和中国国家标准化管理委员会,2012),其具体降水阈值见表 1

表 1 不同时段降雨量等级划分(GB/T28292—2012) Table 1 Grade of precipitation in different periods (GB/T28292—2012)
1.2.2 研究方法

对于模式确定性预报效果的评估,一般是采用均方根误差、相关系数、标准差、标准差比等指标来描述预报的误差以及预报的集中度。其具体表达式如下:

(1) 均方根误差(RMSE)。RMSE是预测值与观测值偏差的平方与观测次数(n)比值的平方根,表示预测值与真实值之间的距离,能很好反映预测值的准确度。其表达式为

$ RMSE = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{\left( {{F_i} - {O_i}} \right)}^2}} } $ (1)

式(1)中,Fi表示预测值;Oi表示观测值;i =1, 2, 3,…, nn表示样本长度。

(2) 标准差(S)。S是用一组随机变量与自身期望的距离表征该随机变量本身离散程度的统计量。其表达式为

$ S = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{\left( {{x_i} - \bar x} \right)}^2}} } $ (2)

式(2)中,xi表示第i个样本值,i =1, 2, …,nn表示样本长度;x表示这组样本数据的平均值。S表征的是一组样本数据以平均值为中心的分散或集中程度。S较大,说明大部分数据距离其期望值较远;S较小,说明大部分数据距离其期望值较近。

需要说明的是,虽然RMSES的计算式很相似,但其意义相差甚远,RMSE是从微观角度衡量每一预测值与相应观测值之间的偏差,即准确度。而S是从概率统计角度衡量一组随机变量与自身期望(即均值)的距离远近的统计量,即离散度。

(3) R指数及定义。由上文可知,标准差S表征的是一组样本数据以平均值为中心的分散或集中程度。如果比较两个序列的S,如预报序列和观测序列的标准差比,是无法衡量预报序列与观测序列靠近程度的。由式(2)可知,在计算S时每个样本序列减去的是该样本的平均值,因此平均值的不同会导致对比不同序列(如预报序列和观测序列)的集中度时没有可比性,而只能衡量序列相对于自身的集中程度,不能表示预报序列与观测序列的靠近程度。因此,预报的标准差只能衡量每个预报相对于这组预报期望的距离,而观测的标准差也只是观测数据相对于观测期望的距离,而预报与观测期望值的不同,导致直接使用这两个距离比去衡量观测数据与预报数据分布的相似性是不合理的。如图 2所示,假如预报序列A (黄点所示)与观测序列(黑点所示)的标准差一样,但平均值不同而导致两组数据并不靠近;预报序列B (绿点所示)与观测序列(黑点所示)平均值相同,而由于标准差不同也不靠近。可见,单纯用平均值或标准差无法衡量预报序列A和预报序列B到底哪一序列与观测更靠近。因此,本文定义了一个新的指数即R指数,该指数综合了样本的标准差(即离散程度)与期望(即平均状态)两者的特征,可以较全面衡量预报与观测的接近程度即集中度。它不仅可用来描述预报序列降水的集中度,也可衡量预报与实况降水值的集中度。

图 2 平均值与标准差不同的预报序列(A、B)与观测序列靠近程度示意图 Fig. 2 Schematic diagram of the closeness degrees between forecast sequence (A, B) with different mean value or standard deviation and the observations

根据大数定理,当序列样本足够大时,可用序列平均值代替期望值,若以rm表示预报序列与观测序列的平均值比、以rs表示预报序列与观测序列的标准差比,那么,将R指数定义如下

$ R = \left\{ \begin{array}{l} - \left( {{r_{\rm{m}}} + {r_{\rm{s}}}} \right)\\ {\mathop{\rm Nor}\nolimits} \left( {{r_{\rm{s}}} + 1/{r_{\rm{m}}}} \right)\\ 1 + {\mathop{\rm Nor}\nolimits} \left( {1/{r_{\rm{s}}} + {r_{\rm{m}}}} \right)\\ {r_{\rm{m}}} + {r_{\rm{s}}} \end{array} \right.当\begin{array}{*{20}{c}} {0 \le {r_{\rm{m}}} < 1}\\ {0 \le {r_{\rm{m}}} < 1}\\ {{r_{\rm{m}}} > 1}\\ {{r_{\rm{m}}} > 1} \end{array}且\begin{array}{*{20}{c}} {0 \le {r_{\rm{s}}} < 1}\\ {{r_{\rm{s}}} > 1}\\ {0 \le {r_{\rm{s}}} < 1}\\ {{r_{\rm{s}}} > 1} \end{array} $ (3)

当预报与观测的标准差相同时,则R指数为

$ R = \left\{ {\begin{array}{*{20}{l}} { - 1/2{\rm{Nor}}\left( {{r_{\rm{m}}}} \right) + 2.5}\\ { - \left( {{r_{\rm{m}}}/2 + 2} \right)} \end{array}} \right.当\begin{array}{*{20}{c}} {{r_{\rm{m}}} \ge 1}\\ {0 \le {r_{\rm{m}}} < 1} \end{array}且\begin{array}{*{20}{c}} {{r_{\rm{s}}} = 1}\\ {{r_{\rm{s}}} = 1} \end{array} $ (4)

当预报与观测的平均值相同时,则R指数为

$ R = \left\{ {\begin{array}{*{20}{l}} { - 1/2{\rm{Nor}}\left( {{r_{\rm{s}}}} \right) + 3.5}\\ { - \left( {{r_{\rm{s}}}/2 + 3} \right)} \end{array}} \right.当\begin{array}{*{20}{c}} {{r_{\rm{m}}} = 1}\\ {{r_{\rm{m}}} = 1} \end{array}{\rm{且}}\begin{array}{*{20}{c}} {{r_{\rm{s}}} \ge 1}\\ {0 \le {r_{\rm{s}}} < 1} \end{array} $ (5)

式(3)—(5)中,Nor为离差标准化(即min-max normal ization,简化为Nor)。采用离差标准化对数据归一化后,可将R值映射到连续实数集上,通过R指数就可确定预报与观测的靠近程度。

R值的指示意义如下: (1)当R值在(-2, 0]范围内时,说明预报比观测的平均值要小,且预报值过于集中,R值越接近-2表明预报与观测越接近。(2)当R值在(0, 1)范围内时,说明预报比观测的平均值小,且预报值不够集中,R值越接近0表明预报与观测越接近。(3)当R值在[1, 2]范围内时,说明预报值普遍高于观测,且预报值太过集中,因此改进预报需要减小预报的平均值,同时要减小预报的集中度,且R值越接近1表示预报与观测越接近。(4)当R值在(2, +∞)范围内时,说明预报要高于观测,且各预报间不够集中,R值越接近2表明预报与观测越接近,因此改进预报则需要在减小整体预报值的情况下,增加集中度。

还有两种较为特殊的情况: (1)预报与观测的标准差相同(见式(4)),R值在(-3, -2]之间。当R值在(-3, -2.5]时,预报比观测的平均值大,当R值在(-2.5, -2]时,预报比观测的平均值小,当R值为-2.5时,预报与观测的平均值相同,因此R值越靠近-2.5,预报效果越好;改进预报时只需保持标准差不变,调整平均值的大小即可。(2)预报与观测的平均值相同(见式(5)),R值在(-4, -3]之间。当R值在(-4, -3.5]时,预报比观测的标准差大,当R值在(-3.5, -3]时,预报比观测的标准差小,当R值为-3.5时,预报与观测的标准差相同;R值越靠近-3.5,预报效果越好;因此,改进预报时保持平均值不变,调整预报的集中度即可。

2 结果与分析 2.1 预报准确度

均方根误差(RMSE)用来衡量预报值与观测值之间的偏差。图 3给出2015—2017年夏季6—8月EC MWF-Hi、ECMWF-EPS控制预报以及ECMWF-EPS集合平均24 h降水预报RMSE分布。从图 3中看到,三个预报的RMSE分布大致都是由东南向西北逐渐减小,其大值区主要分布在江、浙、皖一带。ECMWF-EPS控制预报与ECMWF-Hi在东南地区的大值区分布较为类似(图 3ab),但在我国西南川黔以及两湖地区ECMWF-Hi的大值区明显大于ECMWF-EPS控制预报,而ECMWF-EPS集合平均的大值区范围最小,说明ECMWF-EPS集合平均预报与观测降水的偏差最小,预报准确度较高,EC MWF-Hi与ECMWF-EPS控制预报的误差都较大,特别是在我国西南地区,ECMWF-Hi预报的误差要大于ECMWF-EPS控制预报和ECMWF-EPS集合平均的误差。

图 3 2015—2017年夏季6—8月ECMWF-Hi (a)以及ECMWF-EPS控制预报(b)与集合平均(c)的24 h降水预报均方根误差(单位: mm)分布 Fig. 3 The root mean square error (RMSE, unit: mm) of 24 h precipitation forecasts of (a) ECMWF high resolution numerical model (ECMWF-Hi), (b) the control forecast and (c) the ensemble mean forecast of ECMWF ensemble model (ECMWF-EPS) from June to August of 2015 to 2017
2.2 预报集中度

图 4给出2015—2017年夏季6—8月ECMWF-Hi、ECMWF-EPS控制预报、ECMWF-EPS集合平均24 h预报降水以及观测降水的标准差(S)分布。由其S分布可以看出预报或观测在我国中部地区的分布特征。预报与观测的S比较可反映预报降水对观测降水集中度刻画的好坏。因此,对比预报与观测的S可看出不同预报的集中程度与观测之间的差异。

图 4 2015—2017年夏季6—8月ECMWF-Hi (a)以及ECMWF-EPS控制预报(b)和集合平均(c)的24 h预报降水与观测降水(d)的标准差(单位: mm)分布 Fig. 4 The standard deviation (unit: mm) of 24 h precipitation forecasts of (a) ECMWF-Hi, (b) the control forecast and (c) the ensemble mean forecast of ECMWF-EPS, and (d) the precipitation observations from June to August of 2015 to 2017

图 4中可见,不同预报的降水集中程度在我国中东部地区存在差异,预报与观测的S变化趋势大致相同,基本都是从东南向西北逐渐递减,观测降水S大值区(图 4d)从江苏、浙江、安徽、湖南到湖北一直延伸至四川、贵州等地,说明此范围降水离散度(量级之间差异)较大。就不同模式预报而言,S大值区相比观测S大值区范围小,特别是ECMWF-EPS集合平均预报,S大值区仅在江苏、浙江、湖北一带(图 4c)。这可能是由于ECMWF-EPS集合平均平滑了大值降水,从而减小了预报降水的大值,使集合平均的S大值区缩小。与ECMWF-EPS控制预报S大值区相对应的区域缩小为我国东南沿海一个小区域,而两湖及江西的大值区不明显(图 4b)。ECMWF-Hi预报S与观测S最为接近(图 4a)。S比较结果显示,ECMWF-Hi预报对降水集中度刻画最优,ECMWF-EPS控制预报次之,ECMWF-EPS集合平均最差。

图 5给出2015—2017年夏季6—8月ECMWF-Hi、ECMWF-EPS控制预报、ECMWF-EPS集合平均24 h预报降水以及观测降水的标准差比(rs)分布(rs>1时,表示预报比观测降水的离散度大;rs<1时,表示预报比观测降水的离散度小)。从图 5中看到,总体上无论哪种预报越到内陆地区rs越大,特别是在四川盆地、西北山区、华北太行山脉附近等地形较为复杂的地区尤为明显。rs的大值区与小值区在三种预报中分布基本类似。rs>1的区域主要分布在甘肃、宁夏以及陕西北部、四川、山东半岛、辽宁北部、福建、浙江沿海地区,其中浙江福建沿海地区、华北太行山脉附近以及甘肃、四川中部等地rs达到1.3以上,说明这些地区预报比观测的标准差大很多,这可能是由于模式对内陆地区极端降水预报过高、离散度过大引起的。rs<1的区域主要分布在内蒙西北部以及津京冀、辽东半岛和长江沿岸,说明这些地区降水预报的离散度不足,可能是因为模式对于大降水的预报不足引起的。对于西北内陆地区,rs大值区范围EC MWF-EPS控制预报(图 5b)较ECMWF-EPS集合平均(图 5c)和ECMWF-Hi(图 5a)的要大,说明该区域EC MWF-EPS控制预报比观测的分散程度最大。而EC MWF-Hi的rs小于0.6及大于1.3的范围明显少于其他两个预报,rs为0.8—1.1的范围分布较其他两个模式要大,因此ECMWF-Hi预报的离散度与观测的离散度分布最为接近(图 5a)。相比之下,ECMWF-EPS集合平均在西北内陆的rs大值区范围相比其它两个预报明显缩小,但在长江以南地区rs小于0.6以下的范围较其他两个模式的大(图 5c)。因此ECMWF-EPS集合平均虽然在西北内陆对观测的离散度刻画较好,但在我国长江以南地区比ECMWF-EPS控制预报和ECMWF-Hi模式预报离散度刻画较差,其离散度远远小于观测的离散度。这与上文对标准差的分析(图 4)结果较为一致。

图 5 2015—2017年夏季6—8月ECMWF-Hi (a)以及ECMWF-EPS控制预报(b)和集合平均(c)的24 h预报降水与观测降水的标准差比分布 Fig. 5 The standard deviation ratio (rs) between 24 h precipitation forecasts of (a) ECMWF-Hi, (b) the control forecast and (c) the ensemble mean forecast of ECMWF-EPS and observations from June to August of 2015 to 2017

图 6为ECMWF-Hi、ECMWF-EPS控制预报及各成员、ECMWF-EPS集合平均以及观测降水的平均值箱线图。从中看到: (1) ECMWF-Hi、ECMWF-EPS控制预报及各成员、集合平均的平均值总体上比观测降水的大;(2)预报对有极端大降水出现站点的平均值估计不足;(3) ECMWF-Hi的平均值比ECMWF-EPS控制预报及各成员、集合平均预报更接近观测降水。

图 6 2015—2017年夏季6—8月ECMWF-EPS预报各成员(以横轴数字1—51代表)以及ECMWF-EPS集合平均(以横轴数字52代表)、ECMWF-Hi (以横轴数字53代表)的24 h预报降水和观测降水(以横轴数字54代表)的平均值箱线图(单位:mm) Fig. 6 Boxplot of mean value (unit: mm) of 24 h precipitation forecasts of different ensemble members (represented by the number from 1 to 51 on the horizontal coordinate axis, respectively), the ensemble mean (represented by the number 52 on the horizontal coordinate axis), the ECMWF-Hi (represented by the number 53 on the horizontal coordinate axis), and observation precipitation (represented by the number 54 on the horizontal coordinate axis) from June to August of 2015 to 2017

由式(2)可知,标准差是以平均值为基准计算的,因此单纯通过Srs分析预报与观测的接近程度会对预报与观测平均值的不同所带来的影响缺乏考虑。正如图 2所示预报A与观测的情形,当预报和观测的rs接近1时并不能说明预报与观测接近,只能看出预报值相对自身的集中度与观测相对自身的集中度完全相同。因此,必须分析综合了标准差和平均值的R指数的特征才能看出预报与观测的集中程度。图 7给出2015—2017年夏季6—8月ECMWF-Hi、ECMWF-EPS控制预报、ECMWF-EPS集合平均的降水预报与观测的R指数分布。

图 7 2015—2017年夏季6—8月ECMWF-Hi (a)以及ECMWF控制预报(b)和集合平均(c)的24 h预报降水的R指数分布 Fig. 7 The R index of 24 h precipitation forecasts of (a) ECMWF-Hi, (b) the control forecast and (c) the ensemble mean forecast of ECMWF-EPS from June to August of 2015 to 2017

图 7中可见: (1) R值在(-2, 0]范围内(紫色系点),区域预报与观测相比不仅平均值要小,且预报值过于集中。R值越接近-2,表明预报与观测越接近。因此改进预报则需要增大预报的平均值、减小预报间的集中度。(2) R值在(0, 1)范围内(绿色系点),区域预报比观测的平均值小,且预报之间不够集中。其值越接近0,表明预报与观测越接近。因此改进预报则需要增加预报的平均值和集中度。(3) R值在[1, 2]范围内(黄色系点),该区域预报值普遍高于观测,且预报之间太过集中。其值越接近1,表明预报与观测越接近。因此改进预报则需要减小预报的平均值和预报间的集中度。(4) R值在(2, +∞)范围内(蓝色系点),该区域预报值大于观测的平均值,且各预报间不够集中。其值越接近2,表明预报与观测越接近。因此改进预报则需要在减小整体预报值的情况下增加集中度。由此可知,R值的范围(图 7中用不同色系表示不同的取值范围)可以定性得到预报与观测相比是正偏差还是负偏差,预报比观测是太集中了还是太离散了;同时,通过R值大小(图 7中用各色系颜色深浅表示)也可定量判断离散度及均值误差的综合大小,即在各取值范围内的R值越小(各色系点颜色越浅),预报的综合误差越小。

与其它两个预报模式相比,ECMWF-Hi存在较多绿色系和紫色系点,并以紫色系值为主,说明EC MWF-Hi预报相比其它两个模式预报对观测平均值预报不足的站点较多,且这些点中预报的集中度普遍要大于观测的集中度(图 7a)。ECMWF-EPS控制预报基本以蓝色系和黄色系值为主,说明预报比观测的平均值大,其中沿长江地区以黄色点为主,说明预报普遍比观测的集中度高;陕西中部、甘肃南部到四川盆地东侧以及河北南部—河南北部地区为蓝色系点,说明该区域集中度比观测小;辽宁和内蒙交界、长江下游附近有少量紫色点,说明该区域预报比观测的平均值小、集中度大(图 7b)。ECMWF-EPS集合平均只在内蒙及甘肃地区存在少量紫色系和绿色系点(即预报平均值小于观测平均值的点),其余地区均以黄色系和蓝色系点为主,说明ECMWF-EPS集合平均在研究区域内除内蒙、甘肃南部少量站点外,相比观测平均值都处于预报过度;另外,四川盆地和浙闽地区蓝色系点颜色越深,说明该区域平均值偏高、集中度偏小程度越明显(图 7c)。

根据R指数的定义,不同R值范围内,其值越小,预报越接近观测、预报与观测的集中度越高。对比图 7ab、c看出,ECMWF-Hi整体颜色较浅,说明在标准差和平均值的综合度量下,ECMWF-Hi的预报结果较其它预报模式更接近观测;此外,ECMWF-Hi与ECMWF-EPS控制预报在长江流域一带都出现紫色系站点且颜色较深,说明该地区模式普遍对大降水预报不足,造成预报比观测的平均值小且集中度大的现象。因此,R指数不仅可以分辨预报产生误差的原因到底是离散度还是均值,且还可通过其值大小定量判断这种误差的大小。

2.3 预报相关性

从2015—2017年夏季6—8月ECMWF-Hi、EC MWF-EPS控制预报和ECMWF-EPS集合平均24 h预报降水与观测降水的相关系数(rf_o)分布图上看到(图 8):研究区内三种模式预报与观测大部分站点是正相关的,少数站点是负相关的。对比三个模式rf_o在0.5以上的站点数发现,ECMWF-EPS集合平均最多,EC MWF-EPS控制预报次之,ECMWF-Hi最少。而环渤海湾、山东半岛沿海、浙闽沿海是rf_o小值区,这可能与模式处理海陆分布下垫面能力不足有关。同时,河北南部、山西北部、甘肃南部—宁夏、四川东部—重庆—云南—江西南部中部一带也是rf_o小值区,这可能与上述地区地形及观测资料不足导致模式预报能力不足有关。此外,三个模式都存在少量预报与观测呈负相关的站点,其中ECMWF-EPS集合平均预报负相关站点最少,ECMWF-Hi的最多,集合控制预报的居中。

图 8 2015—2017年夏季6—8月ECMWF-Hi (a)以及ECMWF-EPS控制预报(b)和集合平均(c)的24 h预报降水与观测降水的相关系数分布 Fig. 8 The correlation coefficients between 24 h precipitation forecasts of (a) ECMWF-Hi, (b) the control forecast and (c) the ensemble mean forecast of ECMWF-EPS and observations from June to August of 2015 to 2017, respectively

对比图 8图 5发现,图 8相关系数低值区(如西北部地区)与图 5中标准差比高值区相对应。而我国东南地区腹地是rf_o高值区,该区域对应标准差比低值区,标准差比在0.6~1之间(越接近1越好)。相对于ECMWF-Hi和ECMWF-EPS控制预报,ECMWF-EPS集合平均的rf_o最高,说明经过集合平均后预报与观测的相关度提高,结合对标准差比的分析,说明EC MWF-EPS集合平均平滑了预报的极端值,使其标准差偏小,从而提高了预报与观测的相关度。因此,模式的改进需要在保留集合平均高相关性的基础上,吸收高分辨率模式对于极端大降水的预报优势,以期提升预报对观测集中度的刻画。

3 结论与讨论

本文使用2015—2017年6—8月ECMWF高分辨率模式与ECMWF集合预报模式24 h降水预报的加工产品,结合我国2 400多个国家站逐小时降水观测资料,就ECMWF高分辨率模式产品的24 h降水预报的准确度、集中度和相关性进行了评估。为更好地描述预报的集中度,避免单纯用标准差比或平均值比刻画预报集中度的缺陷,建立一个综合标准差和平均值、用来定量描述模式预报集中度的R指数,并将其用于ECMWF高分辨率模式和ECMWF-EPS产品评估。主要结论如下:

(1) 在预报准确度方面,对ECMWF-Hi、EC MWF-EPS控制预报、ECMWF-EPS集合平均预报的均方根误差检验显示,ECMWF-EPS集合平均预报的降水误差最小、预报效果最好;ECMWF-Hi虽然分辨率较高、预报更加精细,但预报误差大值区范围要大于ECMWF-EPS控制预报与ECMWF-EPS集合平均。从准确度看,ECMWF-Hi预报效果不及EC MWF-EPS控制预报与ECMWF-EPS集合平均,并没有体现出高分辨率模式的优势。

(2) 在预报集中度方面,由标准差、预报与观测标准差比可知,相比ECMWF-EPS控制预报和EC MWF-EPS集合平均,ECMWF-Hi对观测降水的离散度刻画更准确。但由于标准差的计算中涉及到各自的期望,单纯通过标准差比来度量预报与观测的接近程度时忽略了平均值不同所带来的影响。因此,在度量各站点预报与观测的集中度时,不仅需要标准差比,还需考虑均值所带来的影响。

(3) R指数不但可定性评估模式的集中度,也可定量描述集中度大小,从其分布可看出研究区域内各站点各模式预报与观测集中度与平均值的综合表现:由R值取值范围可定性得到预报与观测相比是正偏差还是负偏差,预报相对于观测是太集中还是太离散;由R值大小可定量判断离散度及均值误差的综合大小,即在各取值范围内R值越小(各色系点颜色越浅),预报的综合误差越小;由R指数不仅可分辨预报误差的原因是来自离散度还是均值,还可由其量值大小定量判断这种误差的大小。

(4) 在相关性方面,ECMWF-EPS集合平均预报与观测降水的相关性要好于ECMWF-Hi与EC MWF-EPS控制预报,主要因其平滑了预报的极端值,使得预报与观测降水的相关性升高,这也使之带来对观测降水极端值预报的不足。

综上所述,不同预报模式在不同方面表现出各自的优越性。如ECMWF-Hi降水预报集中度刻画与观测最接近,且比ECMWF-EPS控制预报与集合平均对极端大降水预报效果更好;集合平均预报误差最小、相关性最高;ECMWF-Hi因其预报的分辨率更精细,对一些高影响天气的预报优势显著,但由于模式的不确定性,预报落区的准确度还有待提高;而集合预报虽然其分辨率较低,但其包含了大气的不确定性,其优势较明显,其潜力在未来还有较大的挖掘空间。

需要说明的是: (1)本文在检验ECMWF高分辨率模式和集合预报模式时,站点上的预报值采用双线性插值方式得到,此过程可能会产生一定误差,对检验结果造成影响。未来可用分辨率更高的实况降水数据对其进行检验。(2)本文仅是对3 a夏季降水的检验,从标准差看,ECMWF-Hi对观测的刻画较好,其预报误差可能更多因降水落区误差造成,使之针对具体站点的技巧评分偏低,未来可选用典型天气过程对其作进一步检验,探讨该模式误差究竟来自降水落区误差还是量级误差。(3)不论何种检验方法,只能给出预报产品的一个或几个方面的信息,如在计算R指数时为将其值扩展到连续实数集上进行了分段计算,导致其只能与相同值域内的值进行比较,不同值域R值则无法通过其值大小比较误差大小,所以R值计算方法仍需优化。(4)从Murphy (1993)对预报评价的观点出发,检验包括三个方面的问题即预报与观测的一致性、预报与实际观测的符合程度、预报的价值(预报产品是否给使用者带来了利益),与一些常用评分统计量不同,R指数是衡量预报整体与观测整体符合程度的量。虽然降水是非连续性的气象要素,对于降水的确定性预报而言,仍需评估预报序列与观测序列的靠近程度,其靠近程度包括预报和观测平均值的靠近以及这两个序列相似的程度。因此,今后在R指数的应用中,可分量级对降水预报的准确度、集中度、相关性进行检验,同时利用传统检验中所用的评分方法(如TS评分、ETS评分等),结合不同检验的信息,以期得到更加细致的检验结果。

参考文献
陈法敬, 陈静, 韦青, 等. 2019. 一种基于可预报性的暴雨预报评分新方法(Ⅱ):暴雨检验评分模型及评估试验[J]. 气象学报, 77(1): 28-42.
陈静, 刘凑华, 陈法敬, 等. 2019. 一种基于可预报性的暴雨预报评分新方法(Ⅰ):中国暴雨可预报性综合指数[J]. 气象学报, 77(1): 15-27.
丁金才. 1995. 天气预报评分方法评述[J]. 南京气象学院学报, 18(1): 143-150.
杜钧, 陈静. 2010. 单一值预报向概率预报转变的基础:谈谈集合预报及其带来的变革[J]. 气象, 36(11): 1-11. DOI:10.7519/j.issn.1000-0526.2010.11.001
符娇兰, 代刊. 2016. 基于CRA空间检验技术的西南地区东部强降水EC模式预报误差分析[J]. 气象, 42(12): 1 456-1 464.
符娇兰, 宗志平, 代刊, 等. 2014. 一种定量降水预报误差检验技术及其应用[J]. 气象, 40(7): 796-805.
黄丽萍, 陈德辉, 邓莲堂, 等. 2017. GRAPES_Meso V4.0主要技术改进和预报效果检验[J]. 应用气象学报, 28(1): 25-37.
孔荣, 王建捷, 梁丰, 等. 2010. 尺度分解技术在定量降水临近预报检验中的应用[J]. 应用气象学报, 21(5): 535-544. DOI:10.3969/j.issn.1001-7313.2010.05.003
李佰平, 戴建华, 张欣, 等. 2016. 三类强对流天气临近预报的模糊检验试验与对比[J]. 气象, 42(2): 129-143.
李佳, 陈葆德, 徐同. 2016. 目标检验方法在高分辨率数值天气预报检验中的应用[J]. 沙漠与绿洲气象, 10(5): 1-9. DOI:10.3969/j.issn.1002-0799.2016.05.001
李明, 袁凯, 翟红楠. 2017. 一种面向对象的强降水精细化预报质量检验方法及应用[J]. 暴雨灾害, 36(1): 81-85. DOI:10.3969/j.issn.1004-9045.2017.01.011
刘凑华, 牛若芸. 2013. 基于目标的降水检验方法及应用[J]. 气象, 39(6): 681-690.
刘艳, 薛纪善, 张林, 等. 2016. GRAPES全球三维变分同化系统的检验与诊断[J]. 应用气象学报, 27(1): 1-15.
茅懋, 戴建华, 李佰平, 等. 2016. 不同类型强对流预报产品的目标对象检验与分析评价[J]. 气象, 42(4): 389-397.
牟惟丰, 杨元琴, 宋文英. 1987. 欧洲中期天气预报中心数值预报图的检验[J]. 应用气象学报, 2(1): 24-35.
潘留杰, 薛春芳, 张宏芳, 等. 2017. 三种高分辨率格点降水预报检验方法的对比[J]. 气候与环境研究, 22(1): 45-58.
潘留杰, 张宏芳, 陈小婷, 等. 2015. 基于邻域法的高分辨率模式降水的预报能力分析[J]. 热带气象学报, 31(5): 632-642.
潘留杰, 张宏芳, 王建鹏. 2014. 数值天气预报检验方法研究进展[J]. 地球科学进展, 29(3): 327-335.
唐文苑, 郑永光, 张小雯. 2018. 基于FSS的高分辨率模式华北对流预报能力评估[J]. 应用气象学报, 29(5): 3-13.
田付友, 郑永光, 张涛, 等. 2015. 短时强降水诊断物理量敏感性的点对面检验[J]. 应用气象学报, 26(4): 385-396.
辛辰, 漆梁波. 2018. ECMWF模式对南方春雨期降水预报的检验和分析[J]. 暴雨灾害, 37(4): 383-391. DOI:10.3969/j.issn.1004-9045.2018.04.011
徐寒列, 李建平, 冯娟. 2013. 逐对剔除的相关系数检验方法及应用[J]. 气象学报, 71(5): 901-912.
赵滨, 张博. 2018. 邻域空间检验方法在降水评估中的应用[J]. 暴雨灾害, 37(1): 1-7. DOI:10.3969/j.issn.1004-9045.2018.01.001
张宏芳, 潘留杰, 杨新. 2014. ECMWF、日本高分辨率模式降水预报能力的对比分析[J]. 气象, 40(4): 424-432. DOI:10.3969/j.issn.1671-1742.2014.04.016
张夏琨. 2017. 2016年9-11月T639、ECMWF及日本模式中期预报性能检验[J]. 气象, 43(2): 240-248.
郑永光, 张小玲, 周庆亮, 等. 2010. 强对流天气短时临近预报业务技术进展与挑战[J]. 气象, 36(7): 33-42.
中华人民共和国国家质量监督检验检疫总局, 中国国家标准化管理委员会.2012.降水量等级(GB/T 28592-2012)[R].北京: 中国标准出版社
Baldwin M E, Kain J S. 2006. Sensitivity of several performance measures to displacement error, bias, and event frequency[J]. Weather and Forecasting, 21(5): 636-648.
Lorenz E N. 1965. A study of the predictability of a 28-variable atmospheric model[J]. Tellus, 17(3): 321-333. DOI:10.3402/tellusa.v17i3.9076
Murphy A H. 1993. What is a good forecast? An essay on the nature of goodness in weather forecasting[J]. Wea Forecasting, 8(2): 281-293. DOI:10.1175/1520-0434(1993)008<0281:WIAGFA>2.0.CO;2
Rodwell M J, Richardson D S, Hewson T D, et al. 2010. A new equitable score suitable for verifying precipitation in numerical weather prediction[J]. Q J R Meteorol Soc, 136(650): 1 344-1 363.