业务预报和专业预报对中期预报(预报时效长达15 d)与长期或季节预报(预报时效长至3~6个月)尺度之间的预报需求增长迅速^[1]。次季节-季节预报研究项目(s2sprediction.net)由世界天气研究计划/世界气候研究计划联合建立，重点研究两周至两个月时间尺度的预报，目的在于改善次季节至季节尺度预报技巧。该项目主要交付物是大量的数据集，包括从11个业务气象(气候)中心生产的次季节预报(预报时效长达60 d)，包括延后3周的近实时集合预报和回算集合预报，其中部分中心来自TIGGE(THORPEX Interactive Grand Global Ensemble)数据集生产者。预报技巧高的次季节-季节预测(预报时效超过2周，少于1个季度)可提前通知管理决策者应对极端事件的风险处理和资源管理的优化决策。尽管次季节预测还存在很多挑战，但在天气、气候科学及模式发展领域的投资可预期获得回报^[2-3]。

S2S数据集自2015年5月向研究人员开放，应用该数据集可促进对次季节-季节尺度预报机理的理解，而次季节-季节预报在很长一段时间内被看作是预报的“沙漠地带”。特别是S2S数据集将有助于确定次季节-季节预测模式模拟和预报可预测性来源问题^[2-4]。S2S数据集建立在TIGGE数据集建设的经验之上，可视作TIGGE数据集向着更长预报时效的延伸^[2]。S2S数据集与TIGGE数据集的关键区别在于S2S数据集具有回算集合预报数据，而TIGGE数据集没有^{[2, 5-6]}。对于短期天气预报，模式误差通常不是影响预报水平的控制因素，故回算预报数据集不必提供；但对于次季节-季节尺度的预报，模式误差不能忽略。因此，需要一套跨越数年的回算预报数据集以计算模式偏差。这类回算预报数据在某些情况下可用于评估预报技巧。S2S中的模式一般也不同于TIGGE模式。如S2S模式可能是大气分量与海洋模式和海冰模式耦合的模式。

中国气象局此前承担了TIGGE数据归档中心建设任务，此次也应邀承担S2S数据归档中心建设任务^[6-7]。作为S2S数据归档中心，一方面可增强中国气象局对世界气象组织(WMO)的贡献，利于提高中国气象局在世界范围内的影响，另一方面也利于国内用户更为方便广泛地获取各中心的S2S数据。中国气象局S2S数据归档中心作为两大S2S数据归档中心之一，与中国气象局的其他信息共享系统或数据存储管理管理系统不同^[8-13]，S2S数据归档中心建设只针对各中心的S2S模式数据，专门面向国内外科研应用。S2S数据归档中心要求建立用户界面友好的数据集，并提供数据集的开放访问，国家气象信息中心于2015年启动了中国气象局S2S数据归档中心建设，包括数据交换、数据质量检查、存储归档和数据服务等功能，实现对S2S数据集的完整正确归档和开放服务。

S2S数据集包括近实时集合预报和回算集合预报数据，长达60 d预测，来自11个中心，分别是澳大利亚气象局(BoM)、中国气象局(CMA)、欧洲中期天气预报中心(ECMWF)、加拿大环境及气候变化部(ECCC)、意大利大气科学和气候研究所(ISAC)、俄罗斯水文气象中心(HMCR)、日本气象厅(JMA)、韩国气象局(KMA)、法国国家气象研究中心(CNRM)、美国国家环境预测中心(NCEP)、英国气象局(UKMO)。S2S数据均采用GRIB2格式编码^[14]，产品水平分辨率均为1.5°×1.5°。

由于S2S预报产品并未专门针对S2S商定的协议而生产，近实时预报产品规定只能在产品发布3周之后可用。表 1说明了S2S数据集配置的主要特征。S2S存储归档中要求的气象要素个数多达46个，包括多个气压层次的标准气象要素，还有大量的单层气象要素包括热力要素、水动力要素、地表通量要素等。但有些模式只提供要求气象要素的一部分。每个模式提供的气象要素列表可从s2s.cma.cn/description获知。

表 1

表 1 S2S数据生产中心及其模式运行系统配置 Table 1 Centers that provide data to the S2S project together with the configuration of their systems 模式 预报时长/d 分辨率 近实时集合预报 回算集合预报 成员 频次 类型 预报时段 成员 频次 BoM 0~60 T47L17 33 2次/周 固定 1981—2013年 33 6次/月 CMA 0~60 T106L40 4 1次/d 固定 1994—2014年 4 1次/d ECCC 0~35 0.6°×0.6°L40 21 1次/周 动态 1995—2014年 4 1次/周 ECMWF 0~46 T639-319L91 51 2次/周 动态 过去20年 11 2次/周 HMCR 0~63 1.1°×1.4°L28 20 1次/周 动态 1985—2010年 10 1次/周 ISAC 0~32 0.75°×0.56°L54 40 1次/周 固定 1981—2010年 1 6次/月 JMA 0~34 T319L60 25 2次/周 固定 1981—2010年 5 3次/月 KMA 0~60 N216L85 4 1次/d 动态 1996—2009年 3 4次/月 CNRM 0~61 T255L91 51 1次/月 固定 1993—2014年 15 2次/月 NCEP 0~44 T126L64 16 1次/d 固定 1999—2010年 4 1次/d UKMO 0~60 N216L85 4 1次/d 动态 1996—2009年 3 4次/月

表 1 S2S数据生产中心及其模式运行系统配置 Table 1 Centers that provide data to the S2S project together with the configuration of their systems

表 1中，类型是相对回算集合预报而言，分为静态配置预报和动态配置预报，静态配置预报指模式版本固定，若干年的回算集合预报都是基于固定版本的模式产生，只产生一个循环的若干年的回算预报数据；而动态配置预报指回算预报和近实时预报在同一月份和日期启动，区别在于产生若干年中同一日期的数据，每完成一年的实时预报就会产生一个循环多年的回算预报。

由表 1可知，不同中心近实时预报的主要差别在于预报时长范围从32 d到60 d不等；大气模式水平和垂直分辨率从30 km至几百公里不等；集合成员数从4个到51个不等；预报频次也不同。有些模式具有很大的集合成员数，1周运行2次(如ECMWF，BoM，ECCC)，而另一些模式具有较小的集合成员数，每天连续运行(如NCEP，UKMO，CMA，KMA)等。其他模式(如CNRM)则1个月运行1次。

不同中心模式的回算预报系统配置也不尽相同。一些模式回算预报产品覆盖超过了30年(如JMA，BoM)，另一些则覆盖较短的年限(如NCEP，UKMO)。一些回算预报产品以循环方式产生，而其他的则是先于业务实现前一次产生(如NCEP，CMA)。集合成员数从1个(如ISAC)到33个不等(BoM)。一些模式每天产生回算预报产品(如NCEP，CMA)，而有些则每周产生2次回算预报产品(如ECMWF，HMCR)，其他的每个月产生一次回算预报产品。

当前的S2S数据定时更新11个数据生产中心的近实时数据和动态配置的部分中心回算数据。S2S数据属于集合预报，包括近实时集合预报(实时预报)数据和回算集合预报(回算预报)数据。每个中心各自的实时预报和回算预报时长一致，采用的模式也相同，只是在集合成员数量及生产频次上有差别。各个中心之间的实时和回算预报差异较大。另外，数据组织呈现形式复杂，各中心也大为不同，生产频率也不一致。S2S数据生产频次复杂，每批次成员多，预报时效长，回算预报年份长久，直接体现数据量大的特征，同时意味着收集处理过程复杂。

S2S数据归档中心建设主要任务是收集各S2S数据生产中心提供的数据，并予以长期保存，同时对国内外用户提供数据检索下载服务。中国气象局国家气候中心作为S2S数据生产中心的一员，向另一S2S数据归档中心(ECMWF)提供该中心生产的S2S数据，也是中国气象局S2S数据归档中心建设的一个任务。

S2S数据归档中心建设需求涉及到数据交换、数据质量控制及检查、归档存储、数据服务4个方面。数据交换包括将中国气象局国家气候中心生产的S2S数据提供给ECMWF和收集其他S2S数据生产中心提供的数据；作为S2S数据生产中心，需要及时高效地将中国气象局国家气候中心生产的S2S数据提供给ECMWF，保证完整性和正确性；作为S2S数据归档中心，需要完整收集各S2S数据生产中心提供的数据，并进行数据质量检查，发现问题时记录并通知另一归档中心ECMWF及数据生产中心；经过必要的加工处理后归档存储；建立友好开放的S2S数据门户系统，供国内外用户检索下载数据。

S2S日常数据收集具体信息见表 2，其中回算预报接收的数据提供多个年份同月份同日的数据，故接收起始日期未标注年份。

表 2

表 2 S2S数据收集情况 Table 2 Status of S2S data acquisition 中心 实时预报 回算预报 每次数据量/GB 产生频次 接收起始日期 数据量/GB 每次数据量/GB 产生频次 预报时长/a 接收起始日期 接收数据量/GB CMA 1.2 1次/d 2015-01-01 718 1.2 1次/d 21 01-01 9198 ECMWF 8 2次/周 2015-03-05 1236 16 2次/周 20 04-23 12 2次/周 2015-05-14 50 2次/周 05-25 4575 NCEP 2.7 1次/d 2015-04-29 954 7.8 1次/d 12 03-31 2800 JMA 3.3 2次/周 2015-06-09 224 3次/月 32 01-01 900 BoM 3.6 2次/周 2015-04-19 362 2.75 6次/月 33 01-01 7400 CNRM 22 1次/月 2015-04-01 405 2次/月 22 01-01 3300 KMA 0.89 1次/d 2016-01-05 106 9.66 4次/月 14 01-01 114 HMCR 5.3 1次/周 2015-11-25 151 1次/周 26 ECCC 2.7 1次/周 2016-07-07 16 10.2 1次/周 20 07-07 60 UKMO 1.6 1次/d 2015-12-01 316 27.6 4次/月 23 03-01 687 ISAC 6.6 1次/周 2015-11-23 241 1次/5 d 32

表 2 S2S数据收集情况 Table 2 Status of S2S data acquisition

根据S2S数据集配置及已有S2S数据收集情况，在各中心S2S数据生产模式配置不变的条件下，S2S数据年增量约10.3 TB，具体数据增量见表 3。除ECMWF，ECCC，HMCR，KMA，UKMO每个循环年产生1次多年的回算数据外，其他S2S数据生产中心只产生1次多年的回算数据。除去目前尚未接收ISAC和HMCR的回算数据外，固定配置的回算预报数据量达25.5 TB。

表 3

表 3 各中心S2S数据年增量 Table 3 Increasing volume of S2S data by year 中心 实时预报/GB 回算预报/GB CMA 445 ECMWF 1248 5200 NCEP 986 JMA 343 BoM 374 CNRM 264 KMA 325 HMCR 276 ECCC 140 UKMO 584 ISAC 343

表 3 各中心S2S数据年增量 Table 3 Increasing volume of S2S data by year

中国气象局S2S数据归档中心设计以S2S数据为中心，依据数据流向，设计数据交换子系统、质量控制数据处理子系统、存储管理子系统、数据服务门户。

数据交换子系统是S2S数据归档中心建设的重要环节，包括将中国气象局国家气候中心生产的S2S数据向另一归档中心ECMWF发送和收集其他S2S数据生产中心提供的数据。建立FTP(file transport protocol)数据下载服务，将中国气象局国家气候中心生产的S2S数据传输至位于DMZ(demilitarized zone)区域的FTP服务器上，供ECMWF下载获取。收集各中心生产的S2S数据采用从ECMWF获取的方式，无需直接与其他S2S数据生产中心联系。数据收集必须保证数据传输的完整性和正确性，首先是建立基于FTP服务的数据传输方式，其次提供数据接收后的临时存储空间。考虑到与另一数据归档中心ECMWF之间的数据同步，收集中涉及到日常数据获取、缺失数据补充获取、遗漏传输的静态配置回算集合预报数据获取、日常数据获取中断弥补这几种情况的处理。

数据质量控制检查子系统是在数据传输完整和正确的前提下，对打包文件中的具体GRIB2数据进行检查，主要检查GRIB2数据文件大小是否非零、格式是否正确、GRIB2数据中气压要素场数与参考数量是否一致(进一步需检查每个气象要素场是否与参考值对应)、GRIB2数据关键属性是否正确以及位图编码检查等。如果检查不正确经过确认后通知ECMWF处理。数据预处理主要是在数据质量控制检查中涉及到需要对不同组织形式的数据进行统一操作。

数据归档存储子系统主要是对数据进行归档存储，设计具有自描述信息的文件命名方式，结合在线文件系统进行存储管理，实现近实时和历史数据的存储管理，同时保证数据高效检索访问。

数据服务门户子系统包括用户管理模块、通知内容管理模块、模式数据说明模块、数据检索下载模块、数据下载统计模块，主要是建立数据服务门户，对国内外用户提供友好高效的数据检索下载功能。

中国气象局S2S数据归档中心建设的主要任务是实现S2S数据的收集、质量控制及处理、归档存储及服务，业务逻辑具备流程化作业的特点，核心业务单元之间基于预定义的流程进行任务协作和数据交互。根据业务处理逻辑，可将业务处理过程划分为4个阶段：数据收集阶段、质量控制及处理阶段、数据归档存储阶段、数据服务阶段。具体信息流程见图 1。

图1

图1 S2S数据收集归档服务流程 Fig.1 The flow of S2S project data collecting, archiving, and service

数据收集子系统主要是通过FTP方式及基于ECMWF的WebAPI的下载程序收集S2S数据并置于临时存储^[15]。质量控制及处理子系统中传输检查部分记录传输正确文件列表信息，若有必要通知错传数据信息，收到传输正确的文件列表信息后，对打包压缩的数据文件解压，并予以质量控制。对检查正确文件进行预处理，若有必要则通知遗漏或错误数据信息。归档存储管理子系统将经过预处理的数据一方面传输至在线磁盘存储，一方面归档进入MARS(Meteorological Archival and Retrieval System)系统^[16-17]。最后数据服务门户响应用户数据检索请求，从归档存储子系统中提取数据返回下载链接给用户，实现数据服务。数据收集系统、质量检查处理子系统、归档存储子系统将各自的监控信息的记录提供给流程控制系统，用于系统监控管理。

中国气象局国家气候中心生产的S2S数据从内网上传至DMZ区域的一台FTP服务器，供ECMWF直接下载。其归档处理流程则直接在高性能计算机上经过质量检查处理后直接传输至在线磁盘存储并归档入库MARS系统。

中国气象局S2S数据归档中心和ECMWF S2S数据归档中心之间的数据同步采用两种方式：基于FTP服务的数据推送方式和基于ECMWF WebAPI主动数据下载方式。其中，基于ECMWF数据推送方式针对两类数据，一类是各S2S数据生产中心在其固定数据生产日期收集后的数据，另一类是遗漏传输或传输出现错误需要重传的数据。第1类数据组织形式为各S2S数据生产中心提供的原始形式，第2类数据一般先由中国气象局国家气象信息中心提供需要重传的数据列表，再经由ECMWF工程师直接从其MARS磁带库中复制至其本地磁盘的多个容量巨大的GRIB2文件。基于ECMWF WebAPI主动数据下载方式主要是针对部分S2S数据生产中心以磁盘或磁带等介质方式一次性提供的回算集合预报数据，亦可作为需要重传的数据获取的补充。

对于日常的数据接收，为改进数据接收的时效，自2015年12月1日起，由过去中国气象局国家气象信息中心定时从ECMWF下载其收集的其他S2S数据生产中心的数据方式，调整为由ECMWF自收集到其他S2S数据生产中心提供的数据即刻推送至中国气象局的数据收集FTP服务器指定目录下。对于缺失数据补充获取，通过设定程序定期检查缺失数据日期，提供列表清单，通过与ECMWF工程师协作在其MARS服务端命令行下直接从磁带库中复制数据，并推送至中国气象局的数据收集服务器指定目录下。对于部分中心一次性提供的回算集合预报数据获取，主要基于ECMWF的WebAPI编写Python程序检索获取。

传输中数据质量检查主要检查数据文件个数及大小、tar打包文件及GRIB2格式是否正确。根据命令语句tar tvf *.tar及grib_get-7 *.grib初步测试打包文件及GRIB2数据文件的正确性。

数据质量控制检查主要是对解压后的GRIB2文件大小、GRIB2格式、GRIB2数据文件气象要素场数等进行初步判断，然后比照各气象要素场参考定义，对GRIB数据中气象要素场属性进行检查，如气象要素科目领域代码(discipline)、气象要素类别代码(parameter category)、气象要素代码号(parameter number)以及层次信息如起始固定地面类型(type of first fixed surface)、起始固定地面缩放因子(scale factor of first fixed surface)、起始固定地面层缩放值(Scaled value of first fixed surface)、物理变量是否和定义一致，此外，检查GRIB2数据属性GRIB主表版本号(gribMasterTablesVersionNumber)、集合成员数(Number)、参考时间取值(significanceOfReferenceTime)及经纬度范围是否正确等^[18]。

在GRIB_API提供的tigge_check程序基础上，扩充几个气象要素场的检查功能，并增加数据统计类型(瞬时值、平均值、累积值)检查，检查GRIB2属性。

数据处理主要是将各个S2S数据生产中心提供的数据组织成统一的形式，转换成若干个单中心、单日期、单气象要素场的数据文件。为区分近实时集合预报数据和回算集合预报数据，在文件名中增加模式循环年字段，形式为s2s_[centre]_＄{cyear}_[dataDate]_[shortName].grib。其中，centre，dateDate和shortName分别为中心代码、数据日期、气象要素场缩写，取值从GRIB2文件数据属性中获取；cyear则表示数据生产的年份，用以区分近实时集合预报数据、固定配置回算集合预报数据、动态配置回算集合预报数据。对于实时集合预报数据，cyear取值为GRIB数据文件中year属性值；对于固定配置回算集合预报数据，cyear取值为数据生产的年份(除ECCC为2016外，其余均为2015)，动态配置回算集合预报数据，cyear取值是从GRIB2数据文件YearOfModelVersion属性中提取的年份。当cyear和dataDate中提取的年份相等时，即为近实时集合预报数据，固定配置的回算集合预报数据中cyear取值不变，动态配置的回算集合预报数据cyear取值区间随着数据生产年份变化。

日常的推送数据、基于ECMWF MARS直接从磁带库中复制后推送的数据以及基于ECMWF WebAPI下载的数据，是以不同组织形式的GRIB2文件呈现，针对每个中心每个批次数据，进行排序合并处理形成一个超大的GRIB2数据文件，然后利用GRIB_API软件的grib_filter命令应用规则“write s2s_[centre]_＄{cyear}_[dataDate]_[shortName].grib; ”生成若干个统一形式的GRIB2文件，并传输至在线磁盘存储，供数据服务门户系统检索调用。

针对数据在线存储方式，参考设计的统一文件组织形式“s2s_[centre]_＄{cyear}_[dataDate]_[shortName].grib”，建立目录＄{DATADIR}/[centre]/[cyear]/[year]/[month]/[day]，将对应的数据存储于该目录中。其中，DATEDIR为预定义的目录，year，month，day分别是从dataDate属性中抽取出的对应字段。这种文件组织形式和存储目录设计，可直观的由文件名推知文件存储路径，利于数据高效检索获取，也可支持OPeNDAP协议的数据访问。

针对MARS归档入库处理，可直接对收集到的数据解析生成一个入库请求文件，进行入库操作。如果收集的数据不是以单一层次类型组织，则需经过分离处理后，再逐一入库。分离处理基于grib_filter命令实现，处理流程如图 2。

图2

图2 GRIB数据分离处理流程 Fig.2 The flow of splitting GRIB data

S2S回算集合预报数据一般涉及超过10年的数据，而且有固定静态配置预报和动态配置预报之分，数据量巨大。为了高效检索所需数据，针对回算集合预报数据，在应用MARS存储管理数据时，未采用通常形式的MARS树节点设计(树节点按年月日设计，如2015:201512:20151201，超立方体结构的叶子节点不包含日期属性)，而是针对性的优化设计，以减少索引数量。对于固定静态配置预报数据，采用删除日期的年月形式MARS树节点设计，如2010:201001，叶子节点中包含日期属性，其取值为指定月份具有数据的所有日期，如20100110, 20100120, 20100131；对于动态配置预报数据，MARS树节点采用数据生产日期形式的MARS树节点设计，如20150101，而叶子节点则包含这日生成的所有回算数据日期，如19950101，19960101，19970101，19980101，……，20140101。

中国气象局S2S数据服务门户网站作为S2S数据归档中心的一部分，主要针对国际用户，故未提供中文页面。此门户网站提供对各中心模式及气象要素的详细描述、简单帮助信息、数据检索下载和后台数据统计功能。通过设计气象要素表、气象要素属性表、模式表、模式属性表、各中心提供的气象要素表，网站上数据下载、模式及要素说明的页面配置动态展示予以实现。针对用户的数据服务主要是统一实时和回算预报数据提供一致的检索下载服务，按中心、变量目录方式及自由文本搜索方式下载，支持原始GRIB2格式和经在线转换的NetCDF格式数据获取，并采用订单方式的下载处理，亦可批处理下载多个文件数据。数据下载页面中，有效数据时间范围通过配置或查询动态获取。自由文本搜索方式检索基于Apache Lucene全文搜索实现。中国气象局S2S数据服务门户网站下载页面见图 3。

图3

图3 中国气象局S2S数据服务门户网站下载页面 Fig.3 Download page of CMA S2S data portal

用户下载的S2S数据主要应用于多模式预测及验证、极端天气事件(如MJO事件)、季风模拟、遥相关等方面的研究。

本文介绍了各S2S生产中心提供的数据，并在此基础上分析数据特征，结合归档中心建设需求，重点针对数据交换、同步，存储管理难点问题，从系统设计和关键技术实现方面进行讨论。中国气象局S2S数据归档中心特征如下：

1) 归档中心全流程建设涉及到数据交换、数据质量检查及处理、归档存储和数据服务4个流程的处理，实现数据的完整收集、归档及对外服务。

2) 数据交换主要基于FTP传输数据，记录日志获取缺失数据列表，通知补传并结合WebAPI方式主动补调缺失数据实现同步。

3) 数据质量控制及处理基于GRIB2编码特征，主要应用GRIB_API工具命令实现。

4) 归档中心管理的数据包括近实时集合预报数据和回算预报数据，全部在线存储，结合特定的目录及文件名设计，实现高效的数据检索下载。

目前，中国气象局S2S归档中心处于运行状态中，未来会考虑进一步完善数据质量检查功能，部署更完善的数据同步策略并及时更新S2S数据服务门户网站，针对国内用户提供更多的数据服务方式。

随着集合预报向着更高分辨率、更多集合成员数、更高预报频次的方向发展，更大数据量的集合产品将会产生，要求具有更强性能的存储系统，并能适应用户需求灵活快捷的提供经过定制、裁剪的数据，减少不必要的数据传输。国际上此类集合预报数据管理和服务趋势主要有两大类：一类是基于OpeNDAP (Open-source Project for a Network Data Access Protocol)协议，结合分布式服务和搜索技术，使用全部在线或在线及离线存储，应用简单程序工具通过命令或Web方式提供定制化的服务；另一类是以ECMWF的MARS为代表，针对特定数据类型采用专有数据管理技术并结合分布式技术，自动化处理在线、离线数据，通过命令、Web方式及WebAPI方式提供定制化服务。近年来国内随着大数据云化技术逐步应用，一方面将大数据部署在云系统上，另一方面对上层提供大数据服务的云化，亦对气象数据的管理服务提供了机会。当前CIMISS(China Integrated Meteorological Information Service System，全国综合气象信息共享系统)已业务化，并考虑应用云计算、大数据、物联网、移动互联等技术，依托专有云和公有云的混合云架构技术进行升级。S2S数据作为一类国际项目合作并主要面向科研应用的气象数据，S2S数据归档中心建设亦可较好地融入CIMISS系统，实行统一的管理和服务，满足各类用户的需求。