应用气象学报  2007, 18 (2): 173-180   PDF    
上海区域降水集合预报系统的建立与运行结果的检验
王晨稀1, 姚建群2, 梁旭东1     
1. 中国气象局上海台风研究所, 中国气象局台风预报技术重点开放实验室, 上海 200030;
2. 上海中心气象台, 上海 200030
摘要: 以MM5模式为基础, 从预报模式的不确定性出发形成8个集合成员, 建立了上海区域降水集合预报系统。该系统实现从资料收集、资料处理、模式预报到预报结果处理与产品输出的全自动化, 于2005年8月1日开始业务运行, 运行稳定可靠。对系统8—10月的运行结果进行检验, 结果表明:集合预报系统对降水的总体预报效果尚可, 其中对量级小的降水的总体预报效果更好, 集合预报产品尤其是概率预报产品具有一定的参考价值, 但系统还存在发散度偏小的问题, 有待进一步改进。
关键词: 集合预报系统    降水    检验    
The Establishment and Verification of the Operational Ensemble Forecast System for Shanghai Regional Precipitation
Wang Chenxi1, Yao Jianqun2, Liang Xudong1     
1. Shanghai Typhoon Institute, Laboratory of Typhoon Forecast Technique, CMA, Shanghai 200030;
2. Shanghai Meteorological Center, Shanghai 200030
Abstract: The operational ensemble forecast system for Shanghai regional precipitation is established. The model is based on MM5 in the system, with a one way two nesting procedure. The coarse grid domain of 101×101 grid points has a horizontal grid spacing of 45 km, while the inner grid domain of 70×70 grid points has a horizontal grid spacing of 15 km. Both domains have 21 vertical sigma levels. Eight different configurations of MM5 are used to produce an 8 member ensemble forecast. The approach to generating eight members is to use different convective parameterization schemes and different PBL parameterization schemes of the inner grid domain. In this system, all steps from data collection, data processing and model running to output automatically are carried out by computer. The system starts operating on August 1, 2005. The system operates twice everyday and each time it runs to 48 h forecast. The forecasts are then displayed on Website. Since the start of the operation, the system has shown stability and reliability. The forecasts from August to October are verified in the fields of ensemble mean, probabilistic forecast and spread. The results show the ensemble means of precipitations of low thresholds are more skillful than the ensemble means of precipitations of high thresholds. For precipitations of low thresholds, the larger the forecasting probability is, the larger the usefulness of probabilistic forecast is. For precipitations of high thresholds, the smaller the forecasting probability is, the larger the usefulness of probabilistic forecast is. The results also show the system has the problem of too small spread. In conclusion, the performance of the system is alright in forecasting precipitation. The precipitation forecasts of low thresholds seem better than the forecasts of high thresholds. The products of the system, especially the products of probability forecasts can be used as a reference. However, there are still some problems in the system, which should be improved in the future.
Key words: ensemble prediction system     precipitation     verification    
引言

在数值预报中, 初始场的不确定性与预报模式的不确定性是导致预报结果误差的主要原因。集合预报技术能有效减少这些不确定性对预报结果的影响, 减小预报误差[1-4]

20世纪70—80年代, 国外就开始了集合预报的研究与试验, 到90年代, 集合预报已进入了业务应用阶段。1992年12月美国NCEP和ECMWF的中期集合预报系统投入业务运行, 随后英国、法国、加拿大、南非、巴西、日本等国家的集合预报系统也相继投入业务或准业务运行。短期集合预报的发展晚于中期集合预报, 美国NCEP的短期集合预报系统于2001年5月投入业务运行, 该系统使用ETA模式和区域谱模式, 有10个预报成员, 2003年9月成员增加至15个, 2004年8月又将水平分辨率从48 km提高至32 km (ETA模式) 和40 km (区域谱模式), 将ETA模式的垂直分辨率提高至60层。目前, 集合预报的发展在发达国家已进入成熟期, 集合预报已成为许多业务预报中心的重要业务之一, 在天气预报业务系统中发挥着重要作用, 同时集合预报也已成为研究的重要工具之一。

与发达国家相比, 我国集合预报的发展起步较晚。国家气象中心第1代中期集合预报系统于1996年9月开始试验运行, 第3代中期集合预报系统于2001年1月正式投入业务运行[5]。在短期集合预报方面有一些针对降水和热带气旋路径的研究[6-12], 未见开展短期集合预报业务的报道。

集合预报与资料同化、耦合模式、高分辨率模式一起被WMO列为未来数值预报领域的四个发展战略之一, 代表了未来数值预报发展的方向。针对我国短期集合预报业务方面的空白, 需要尽快建立自己的短期集合预报系统, 使其在天气预报业务中发挥应有的作用。为此, 根据现有的计算机资源和区域数值预报状况, 以MM5模式为基础建立了针对上海区域降水的集合预报系统, 该系统于2005年8月1日开始业务运行。本文对该系统及运行情况进行介绍, 并对8—10月的运行结果进行检验。

1 系统介绍

上海区域降水集合预报系统分前处理、模式预报与后处理3部分。前处理包括资料的收集与处理。从互联网下载美国NCEP的AVN全球谱模式的预报结果, 将预报结果作为资料分析的背景场与模式预报时的侧边界资料, 从MICAPS系统文件中解码读取地面和高空观测资料。将AVN模式在等压面上的预报结果插到系统模式的水平网格上作为背景场, 用Cressman分析法进行资料客观分析, 再将分析场从等压面插到系统模式的垂直坐标面上形成模式预报的初始场。

模式预报是系统的主体部分。系统模式为PSU/ NCAR的中尺度模式系统第5代第3版 (MM5Ⅴ3), 采用单向两重嵌套网格、非静力方案。外区水平分辨率为45 km, 格点数为101×101, 中心点位于30°N, 115°E, 内区水平分辨率为15 km, 格点数为70×70, 内区包括上海、浙江、江苏与安徽的大部分地区、福建与江西的部分地区。模式垂直方向为σ坐标, 分辨率为不等距21层, 顶层气压为100 hPa。

研究表明[13], 对于暴雨数值预报, 对流参数化方案与边界层参数化方案是影响预报准确率的敏感因子。从预报模式的不确定性出发, 通过改变内区的对流参数化方案与边界层参数化方案构造系统集合成员, 成员数为8个。表 1为系统集合成员的构成。8个成员外区的对流参数化方案都为Kain-Fritsch方案, 边界层参数化方案都为MRF方案。模式的其他物理过程内、外区相同, 显式水汽方案为简单冰相方案, 辐射方案为云辐射方案, 5层土壤模式, 侧边界条件为松弛流入流出方案, 考虑浅积云的作用。模式预报48 h, 每个成员每6 h输出1次结果。

表 1 系统集合成员的构成 Table 1 The formation of ensemble members of the system

后处理包括模式预报结果的处理与预报产品的输出。将8个成员的降水预报结果插到内区范围的222个测站, 得到各成员预报的测站降水, 计算这些测站的集合平均降水与降水概率。用Grads软件绘制内区范围24 h降水的各成员预报图 (邮票图)、集合平均预报图以及24 h发生小雨、中雨、大雨与暴雨以上降水的概率预报图, 将这些预报产品以网页形式显示。

2 系统运行

上海区域降水集合预报系统建立在计算峰值速度达864亿次的PC-Cluster集群上, 目前使用16个CPU, 每次运行时间为2 h左右。系统于2005年8月1日开始业务运行, 每天运行2次, 起报时间为08:00和20:00(北京时, 下同)。系统实现从资料收集、资料处理、模式预报到预报结果处理与产品输出的全自动化。每天01:00系统启动开始前一天20:00的预报, 03:00左右运行结束提供产品; 11:00系统再次启动开始当天08:00的预报, 13:00左右运行结束提供产品。目前提供的预报结果为内区范围0~24 h与24~48 h预报图, 具体为降水预报邮票图、降水集合平均预报图以及发生小雨、中雨、大雨与暴雨以上降水的概率预报图, 这些预报产品在上海台风研究所数值预报网上显示, 可以通过网络方便地调用, 图形可以放大。

系统自2005年8月1日业务运行以来, 没有发生运行出错的情况, 但发生过由于网络故障没有收集到资料或者由于没有磁盘空间, 从而导致系统没有运行的情况, 虽然是个别的, 但今后需要避免类似情况的发生。8—10月系统运行正常率为95%。

3 检验方法

对系统运行结果的检验分3个方面:对集合平均预报结果的检验、对概率预报结果的检验以及对系统发散度的检验, 统计对象为内区范围222个测站8—10月的降水预报结果。

① 集合平均预报

对降水的集合平均预报结果, 计算ETS评分与预报可信度。对ETS评分, 分别计算每个测站与每次预报集合平均对不同量级以上降水的ETS评分, 具体计算方法如下:

(1)

式 (1) 中, 当计算测站ETS评分时, Nf为预报降水的次数, No为实况发生降水的次数, Nfc为预报降水实况也发生降水的次数, N为预报总次数; 当计算每次预报的ETS评分时, Nf为预报降水的测站数, No为实况发生降水的测站数, Nfc为预报降水实况也发生降水的测站数, N为测站总数222。SET > 0时为有技巧预报, SET ≤ 0时为无技巧预报, SET=1时为最佳预报。

当预报有技巧时, 一般认为预报结果是可信的。根据每个测站与每次预报的ETS评分, 可以得到所有测站与若干次预报中有技巧预报所占的比例, 将这一比例称为预报可信度。即

(2)

式 (2) 中, NETS > 0为SET > 0的测站数与预报次数, N为测站总数与预报总次数。预报可信度就是对预报结果可信任的程度, 反映了总体预报效果。分别计算集合平均对不同量级以上降水的预报可信度。

② 概率预报

对降水概率预报结果的检验侧重于检测系统的概率预报性能, 也就是检测不同预报概率的“可用性”。因为对习惯于单一决定论预报的预报员而言, 在使用概率预报产品的过程中往往有这样的疑问:一般预报概率达到多少就可认为降水会发生?是不是小概率就不可信?要解答这些疑问, 就需要了解不同预报概率的可用性, 在此基础上才能更好地发挥概率预报的作用。

为此, 对不同量级以上降水, 分别假设预报概率达到10%, 20%, …, 90%时将会发生降水, 计算对应的ETS评分与预报可信度, 如果ETS评分与预报可信度都较高, 表明预报效果较好, 此时预报概率的可用性就较大。

③ 发散度

集合预报系统的发散度反映了数值预报的不确定性。一个理想集合预报系统应该有足够大的发散度, 从理论上说应包含所有能导致预报误差的不确定因素, 但发散度也不能无限制地大, 不应将无关因素包含其中。将离散度D定义为各成员预报与集合平均预报之间的均方根差, 用Ds表示各成员预报与实况之间的均方根差, 一般认为一个理想集合预报系统的D应与Ds相当, 也就是D/Ds=1, 如果D/Ds > 1, 表明系统发散度太大, 如果D/Ds < 1, 系统发散度则太小。分别计算每次预报所有测站24 h降水的平均D/Ds

Talagrand分布也是对集合预报系统的发散度进行检验的一种方法。Talagrand等[14]认为一个好的集合预报的标准应是每个预报成员发生的概率是相同的, 因此一个理想集合预报系统的Talagrand分布图应是平直的, 然而目前世界上所有的集合预报系统都还无法达到这一要求, 一般都存在发散度不够的问题。这里分别计算8—10月所有测站24 h降水的Talagrand分布。

4 运行结果 4.1 集合平均预报

ETS评分反映了整体预报效果, ETS评分越接近1, 预报技巧越高。这里给出每次预报的ETS评分, 图 1为2005年8月和9月08:00起报的0~24 h集合平均对4个不同量级以上降水的ETS评分, 如果实况没有测站发生降水, 图中该点空缺。从图中可以看到, 无论对量级小的降水还是对量级大的降水, 随着每天降水过程的不同, ETS评分变化很大, 有时能达到0.5以上, 有时则小于0, 集合平均预报效果随着降水过程的不同而不同。比较对不同量级以上降水的预报效果, 一般认为对量级小的降水的预报效果好对量级大的降水的预报效果, 然而图 1结果并非完全如此。从图中可以看到, 8月集合平均对中雨的ETS评分大都高于对小雨的ETS评分, 其中第6, 7天对暴雨的ETS评分是4个量级中最高的; 9月与10月 (图略) 虽然总体上对小雨的ETS评分最高, 但有若干次对中雨的ETS评分高于对小雨的ETS评分。

图 1. 2005年8月和9月08:00起报的0~24 h集合平均对4个不同量级以上降水的ETS评分 Fig 1. ETSs of 0—24 h ensemble mean precipitation from 08:00 ensembles in August anDseptember of 2005 for four thresholds

为什么集合平均预报效果会有如此大的变化性?通过分析8—10月每天的实况降水后发现, 当降水范围广、强度大时, 集合平均预报效果往往较好, 如8月初台风“麦莎”登陆浙江带来强降水, 这段时间集合平均对中雨和大雨以上降水的预报技巧都高于对小雨的预报技巧, 对暴雨的预报技巧也较高; 预报技巧低甚至无技巧时实况降水范围往往较小, 有时只有1个测站发生降水。暴雨范围一般较小, 因此对暴雨的预报技巧往往较低, 从图 1中可以看到, 对暴雨的ETS评分大部分为0。

再比较集合平均与各成员的预报效果。图 2为2005年8月08:00起报的0~24 h集合平均与各成员对中雨和大雨以上降水的ETS评分。从图中可以看到, 集合平均的ETS评分有时高于所有成员, 有时则比一部分成员低, 有时也可能低于大部分成员; 虽然集合平均预报效果并不总是好于所有成员, 但也没有一个成员的预报效果总是好于集合平均; 随着每天降水过程的不同, 各成员ETS评分的变化并不一致, 有时这个成员的预报效果较好, 有时则另一个成员的预报效果较好; 因此相对于各成员预报效果的不确定性, 集合预报综合了各确定性预报的特点, 结果相对稳定。

图 2. 2005年8月08:00起报的0~24 h集合平均与各成员对中雨 (a) 和大雨 (b) 以上降水的ETS评分 Fig 2. ETSs of 0—24 h ensemble mean and each member precipitation from 08:00 ensemble in August of 2005 for the 10 mm threshold (a) and 25 mm threshold (b)

每个测站的ETS结果与每次预报的ETS结果相似。总的说来, 8—10月集合平均对小雨和中雨以上降水的预报效果较好。为了对集合平均的总体预报效果有更清晰的认识, 分别计算8—10月有技巧预报所占的比例即预报可信度。

图 3为2005年8月和9月08:00与20:00起报的0~24 h与24~48 h集合平均对4个不同量级以上降水的预报可信度。图 3显示, 8月集合平均对中雨的预报可信度略高于对小雨的预报可信度, 对大雨以及20:00对暴雨的预报可信度也都较高, 这一结果与ETS评分结果相似; 9月与10月 (图略), 对小雨的预报可信度是4个量级中最高的, 对中雨的预报可信度也较高, 9月的24~48 h对大雨和暴雨的预报可信度则较低。总的说来, 集合平均对小雨的预报可信度最高, 一般在80%以上, 对中雨的预报可信度也较高, 一般在50%以上, 对暴雨的预报可信度最低; 在降水较多的季节, 集合平均的预报可信度往往更高些 (如8月)。同样, 与各成员的预报可信度 (图略) 比较, 集合平均结果相对稳定。

图 3. 2005年8月和9月08:00与20:00起报的0~24 h与24~48 h集合平均对4个不同量级以上降水的预报可信度 Fig 3. Skillful percent of 0—24 h and 24—48 h ensemble mean precipitation from 08:00 and 20:00 ensembles in August anDseptember of 2005 for four thresholds

4.2 概率预报

集合预报提供的信息量远远多于单一确定性预报, 概率预报是表达集合预报最全面的方法之一, 也是确定性预报所无法提供的。为了了解对不同量级以上降水, 不同预报概率的可用性, 分别假设预报概率达到10%, 20%, …, 90%时将会发生降水, 计算对应的ETS评分与预报可信度。

图 4为2005年8月08:00与20:00起报的0~24 h与24~48 h对小雨、中雨、大雨和暴雨以上降水不同预报概率 (10%~90%) 对应的ETS评分, 这里的ETS评分为所有测站与30次预报的平均值。从图中可以看到, 对小雨以上降水, ETS评分随着预报概率的增大而增大, 预报概率达到80%~90%时ETS评分最大; 对中雨以上降水, 随着预报概率的增大, ETS评分先增大后减小, 08:00的预报与20:00略有不同, 08:00的预报概率达到40%~50%时ETS评分最大, 对20:00的预报, 概率为60%左右时ETS评分最大; 对大雨和暴雨以上降水, 小的预报概率对应的ETS评分更高些, 尤其对暴雨以上降水, 10%~30%时的ETS评分一般大于更高概率时的ETS评分, 预报概率越高对应的ETS评分越小。9月与10月的结果 (图略) 与8月相似。

图 4. 2005年8月08:00与20:00起报的0~24 h与24~48 h对小雨 (a)、中雨 (b)、大雨 (c) 和暴雨 (d) 以上降水不同预报概率对应的ETS评分 Fig 4. ETSs of 0—24 h and 24—48 h precipitation probability from 08:00 and 20:00 ensembles in August of 2005 for the 0.1 mm threshold (a), 10 mm threshold (b), 25 mm threshold (c) and 50 mm threshold (d)

图 5为2005年8月08:00与20:00起报的0 ~ 24 h与24~48 h对小雨、中雨、大雨和暴雨以上降水不同预报概率 (10%~90%) 对应的预报可信度。图 5显示, 对小雨以上降水, 预报可信度随着预报概率的增大而增大, 对中雨、大雨和暴雨以上降水, 预报可信度则随着预报概率的增大而减小; 无论预报概率的大小, 在4个不同量级以上的降水中, 对小雨的总体预报可信度最高, 基本在70%以上, 而且不同预报概率之间预报可信度的差异也最小, 预报可信度与差异其次为中雨, 对暴雨的预报可信度最低, 预报可信度的差异也最大。9月与10月的结果 (图略) 与8月相似, 只是对小雨以上降水, 预报可信度的差异更小, 随着预报概率的变化, 预报可信度的变化没有一定规律。

图 5. 2005年8月08:00与20:00起报的0~24 h与24~48 h对小雨 (a)、中雨 (b)、大雨 (c) 和暴雨 (d) 以上降水不同预报概率对应的预报可信度 Fig 5. Skillful percent of 0—24 h and 24—48 h precipitation probability from 08:00 and 20:00 ensembles in August of 2005 for the 0.1 mm threshold (a), 10 mm threshold (b), 25 mm threshold (c) and 50 mm threshold (d)

综合不同预报概率时的ETS评分和预报可信度, 虽然不同月份、不同起报时间、不同预报时段的结果不完全相同, 但总的说来, 对量级小的降水, 一般预报概率越大, 可用性也越大, 对量级大的降水, 结果相反, 可用性较大的预报概率往往较小, 如对暴雨的预报概率一般达到10%, 就可认为暴雨会发生。可用性较大的预报概率对应的ETS评分和预报可信度一般高于集合平均预报的ETS评分和预报可信度, 如8月对暴雨以上降水, 预报概率为10%时的预报可信度在60%以上, 集合平均的预报可信度则在60%以下, 最低的仅30%左右, 可见在合理应用的前提下, 概率预报的效果好于集合平均预报。

4.3 发散度

一个好的集合预报系统需要有合适的发散度。图 6为2005年8月和10月08:00与20:00起报的所有测站0~24 h与24~48 h降水的平均D/Ds。从图中可以看到, D/Ds值随着每天降水过程的不同而不同, 10月D/Ds变化最大, 大的能达到1, 小的则接近0, 8月D/Ds变化相对小些, 9月D/Ds变化 (图略) 介于8月与10月之间; 无论D/Ds如何变化, 除了10月2次预报达到1外, 其余的都小于1, D/Ds平均值在0.5~0.6左右。这些结果表明系统发散度偏小, 而且不够稳定。

图 6. 2005年8月和10月08:00与20:00起报的所有测站0~24 h与24~48 h降水的平均D/Ds Fig 6. D/Ds of 0—24 h and 24—48 h precipitation from 08:00 and 20:00 ensembles in August and October of 2005

图 7为2005年8月和10月08:00与20:00起报的所有测站0~24 h与24~48 h降水的Talagrand分布。从图中可以看到, 每个序号的概率大小不一, 概率分布为两端大或某一端最大、往中间逐步减小, 这一结果与D/Ds结果一致, 表明系统发散度不够。8月与9月结果 (图略) 相似, 都是左端概率最大, 其中8月的左端概率更大, 最大的达到38%, 说明在降水多的季节, 集合预报系统预报的降水偏多; 10月降水较少, 其结果与8月、9月不同, 概率分布为两端大、中间小, 其中08:00的预报右端概率大于左端概率, 说明系统08:00预报的降水有偏少的倾向。

图 7. 2005年8月和10月08:00与20:00起报的所有测站0~24 h与24~48 h降水的Talagrand分布 Fig 7. Talagrand diagrams of 0—24 h and 24 — 48 h precipitation from 08:00 and 20:00 ensembles in August and October of 2005

总的说来, 上海区域降水集合预报系统存在着发散度偏小的问题, 当实况降水较多时, 系统预报的降水往往偏多, 当实况降水较少时, 系统预报的降水则可能有偏少的倾向。

5 小结

以MM5模式为基础, 采用单向两重嵌套网格, 从预报模式的不确定性出发, 通过改变内区对流参数化方案与边界层参数化方案形成8个集合成员, 建立了上海区域降水集合预报系统。该系统实现从资料收集、资料处理、模式预报到预报结果处理与产品输出的全自动化, 于2005年8月1日开始业务运行, 每天运行2次, 进行48 h预报, 预报结果在网页上显示。

系统3个多月的运行稳定可靠。从集合平均预报、概率预报与系统发散度等3个方面对2005年8—10月的运行结果进行了检验, 结果表明:

1) 集合平均对小雨和中雨以上降水的预报效果较好, 对暴雨以上降水的总体预报效果不够理想; 当降水范围广、强度大时, 集合平均预报效果往往较好。

2) 对量级小的降水, 一般预报概率越大, 可用性也越大, 对量级大的降水, 可用性较大的预报概率往往较小; 在合理应用的前提下, 概率预报的效果好于集合平均预报。

3) 系统各成员间的发散度偏小; 当实况降水较多时, 系统预报的降水往往有偏多的倾向, 当实况降水较少时, 系统预报的降水则可能有偏少的倾向。

总的说来, 集合预报系统对降水的总体预报效果尚可。集合预报综合了多个确定性预报的特点, 其结果比单一确定性预报更具稳定性, 其提供的信息量也远远多于单一确定性预报。目前降水集合预报已在天气预报业务中发挥作用, 其产品尤其是概率预报产品具有一定的参考价值。下一步的工作是针对存在问题 (如系统发散度太小等) 对系统进行改进, 此外在计算能力提高的前提下, 增加集合成员、扩大预报范围、延长预报时间。

参考文献
[1] Toth Z, Kalnay E. Ensemble forecasting at NCEP and the breeding method. Mon Wea Rev, 1997, 125: 3297–3319. DOI:10.1175/1520-0493(1997)125<3297:EFANAT>2.0.CO;2
[2] Hersbach H, Mureau R, Opsteegh J D, et al. A short-range ensemble prediction system for the European area. Mon Wea Rev, 2000, 128: 3501–3519. DOI:10.1175/1520-0493(2000)128<3501:ASRTEM>2.0.CO;2
[3] Mullen S L, Buizza R. Quantitative precipitation forecasts over the United States by the ECMWF ensemble prediction system. Mon Wea Rev, 2001, 129: 638–663. DOI:10.1175/1520-0493(2001)129<0638:QPFOTU>2.0.CO;2
[4] Wandishin M S, Mullen S L, Stensrud D J, et al. Evaluation of a short-range multimodel ensemble system. Mon Wea Rev, 2001, 129: 729–747. DOI:10.1175/1520-0493(2001)129<0729:EOASRM>2.0.CO;2
[5] 李泽椿, 陈德辉. 国家气象中心集合数值预报业务系统的发展及应用. 应用气象学报, 2002, 13, (1): 1–15.
[6] 王晨稀. 短期降水集合预报中随机扰动和增长模繁殖初值生成法的比较试验. 气象学报, 2002, 60, (增刊): 119–126.
[7] 王晨稀, 端义宏. 短期集合预报技术在梅雨降水预报中的试验研究. 应用气象学报, 2003, 14, (1): 69–78.
[8] 陈静, 薛纪善, 颜宏. 华南中尺度暴雨数值预报的不确定性与集合预报试验. 气象学报, 2003, 61, (4): 432–446. DOI:10.11676/qxxb2003.042
[9] 王晨稀. 短期集合降水概率预报试验. 应用气象学报, 2005, 16, (1): 79–88.
[10] 周霞琼, 端义宏, 朱永禔. 应用集合预报产品开展热带气旋路径概率预报试验. 气象学报, 2002, 60, (增刊): 111–118.
[11] 周霞琼, 端义宏, 朱永禔. 热带气旋路径集合预报方法研究Ⅰ--正压模式结果的初步分析. 热带气象学报, 2003, 19, (1): 1–8.
[12] 周霞琼, 张秀珍, 端义宏, 等. 滞后平均法 (LAF) 在热带气旋路径集合预报中的应用. 气象科学, 2003, 23, (4): 410–417.
[13] 陈静, 薛纪善, 颜宏. 物理过程参数化方案对中尺度暴雨数值模拟影响的研究. 气象学报, 2003, 61, (2): 203–218. DOI:10.11676/qxxb2003.019
[14] Talagrand O, Vautard R. Evaluation of Probabilistic Prediction Systems. Workshop on Predictability ECMWF, 1997.