应用气象学报  2010, 21 (4): 506-512   PDF    
自动气象站实时资料质量控制开放式平台设计
封秀燕1, 何志军2, 王荷平3, 何利德4     
1. 浙江省气象信息网络中心,杭州 310017;
2. 浙江省嵊泗县气象局,嵊泗 202450;
3. 浙江省台州市气象局,台州 318000;
4. 浙江省鄞州市气象局,鄞州 315040
摘要: 自动气象站开放式实时资料质量控制平台为质量控制方法的应用和试验提供统一的接口和运行环境。平台控制系统对嵌入到平台的各种质量控制方法具有综合应用能力。对各种质量控制方法所得到的质量控制报告进行综合分析。使用该平台,技术人员根据质量控制平台所提供的接口和运行环境,可以独立开展质量控制方法的技术研究和业务化试验工作;业务部门可以根据需要引进相关的质量控制方法投入到业务应用中,并可以将应用效果差的质量控制方法进行改进和取代。2009年4月开始该平台在浙江省进行了3个月的试用,在试用期间共采用5种质量控制方法,对78个自动气象站的气压、气温、相对湿度和降水量资料进行实时质量控制。试验表明:利用该平台的质量控制方法综合应用能力,使资料检错的准确率提高到60%以上,并且为推进质量控制方法的研究进程提供了技术基础。
关键词: 自动气象站    实时资料    质量控制平台    
The Design of an Open Platform for Automatic Weather Stations on Real time Data Quality Control
Feng Xiuyan1, He Zhijun2, Wang Heping3, He Lide4     
1. Zhejiang Meteorological In form ation NetworK Center, Hangzhou 310017;
2. Shengsi Meteorological Bureau of Zhejiang Province, Shengsi 202450;
3. Taizhou Meteorological Bureau of Zhejiang Province, Taizhou 318000;
4. Yinzhou Meteorological Bureau of Zhejiang Province, Yinzhou 315040
Abstract: The open platform for real time data quality control provides a unified interface and operating environment with the methods of quality control. The platform management system has the comprehensive ability to apply a variety of embedded quality control methods. Reports of the quality control from different system of quality control methods can also be analyzed comprehensively. With the platform, on the basis of interface and operating environment, technicians can independently carry out some operational trials and technological research about some quality control methods. Relevant quality control methods can also be integrated in the platform, so the methods with poor performance can be improved and replaced. Using the platform, pressure, temperature, relative humidity and precipitation data of 78 automatic weather stations are processed real time with 5 different quality control methods during the 3 month trial run in Zhejiang Province. Experiments show that using the comprehensive application of the platform can increase accuracy rate of the data error detection by 60%, and provide technical foundation for the research of promoting the quality control methods.
Key words: automatic weather stations     real time data     platform for quality control    
引言

目前,地面气象现代化建设的步伐不断加快,传统的气象观测方法[1]逐步被自动气象观测方法所代替,后者已得到普遍应用。地面气象观测的空间密度和时间密度大幅度提高,观测资料的数量已达到原来人工观测时的数百倍,实时观测资料的人工质量控制工作已不能满足气象业务要求,所以加强实时观测资料自动质量控制方法[2]研究已成为当前我国气象现代化建设中一项十分迫切的任务。

关于资料质量控制方面的工作,国外已进行了大量研究,2002年世界气象组织基本系统委员会组织专家组对综合自动气象站数据制定了自动气象站数据的质量控制标准[3]。近10年来,我国气象工作者在实时观测资料自动质量控制方面做了大量研究工作,在地面资料方面包括实时资料自动质量控制方法及应用[4]、观测资料序列均一性影响初步分析[5]、双多普勒雷达风场反演误差和资料的质量控制[6]、地面月气候资料质量控制方法的研究[7]、区域资料同化系统[8]、台风试验陆地加密观测在数值天气预报中的作用[9]、极端异常气象资料的综合性质量控制与分析[10]以及地面天气报历史资料质量检查与分析[11]等;在高空方面包括高空资料质量控制的研究[12]。但由于没有统一的试验和业务化环境,研究和业务化工作遇到了很多的困难。研究者必须自己构建和维护质量控制的运行信息环境及操作平台,而该项工作专业性强,并且需要花费大量的时间和精力;同时,由于研究内容具有一定的选择性,某项研究成果往往针对质量控制中某一方面问题,不能独立投入业务化运行。正因为这样,研究人员为了完成某一方法的研究和应用工作,就不得不去建设一个质量控制系统,结果造成各部门大量的重复劳动,不但影响了研究成果的质量和业务化进程,也加重了研究人员的工作负担。开放式实时资料质量控制平台,旨在解决上述问题,为实时质量控制方法的研究和业务化提供统一的运行环境,以促进实时资料质量控制方法的研究和业务化进程。

1 开放式实时质量控制平台的基本结构及特性

开放式实时质量控制平台基本结构如图 1所示,其主要特性包括:

图 1. 开放式质量控制平台基本结构示意图 Fig 1. The basic construction plot of open quality control platform

在开放式实时质量控制平台中,具体的质量控制方法与平台之间相对独立,各种质量控制方法以独立的模块形式连接到平台控制系统中,可以按业务运行方式连接,也可以按试运行方式连接。当研究人员要将其研究的某一质量控制方法进行试验时,需要编制相应的计算机软件进行实例化,并将软件连接到平台控制系统中。连接方法有源代码连接、动态连接库连接、进程连接等多种形式。其中进程连接形式最具有独立性,编程技术难度低,调试容易,所以选择进程连接形式,以方便各类研究人员的使用。将进程连接到平台控制系统中最容易实现,只要将该进程的文件名、方法名、研制单位名称、研制人员姓名和说明等相关信息写入到指定的质量控制方法列表文件中即可,该列表文件为文本文件形式。平台控制系统的主控程序会定时在指定的质量控制方法列表文件中搜索所登记的所有方法进程,并依次运行它们。

具有统一、清晰的运行信息环境。平台控制系统负责实时资料数据库和基本参数库的建立、更新和维护。其中实时资料数据库是以自动气象站实时数据文件为数据源,该实时数据文件格式符合中国气象局关于自动气象站实时地面气象数据传输文件格式[13]的规定,适用于基准气象站、基本气象站、一般气象站和区域自动站的实时资料传输。基本参数库包含了台站信息、各种历史统计值和其他常用信息。实时资料数据库和基本参数库的结构、内容和格式在质量控制平台接口说明书中进行详细说明,研究人员在编制软件时可以使用平台控制系统所提供的信息环境,无须独立创建、维护复杂的信息环境,只需注意如何更好地将自己研究的质量控制方法进行实例化即可。

如果某一质量控制方法对运行信息环境的要求超出了平台目前所提供的信息环境,则研究人员可以通过创建附加信息库的办法来扩充信息环境。平台管理人员也将根据质量控制方法的研究进展,适时补充和完善运行信息环境,以便更好地满足研究和业务工作需要。

具有统一的输出格式。每一个质量控制方法运行后均需要输出一份质量控制报告,平台控制系统对质量控制报告的文档格式进行了统一。研究人员在编制软件时,只要将质量控制报告按规定的格式输出到指定的某一个文本文件中即可,不需要编制界面操作代码,因此可大大缩短开发周期。平台控制系统会逐个检测各种方法所输出的质量控制报告,并负责相关处理任务。

平台控制系统记录每一质量控制方法的详细运行信息,研究人员可以不定期地向平台控制系统获取该运行信息,通过对该运行信息的分析来了解某一方法的质量控制效果,以便改进和完善。

可以嵌入专家分析意见。平台控制系统为各自动气象站用户提供终端软件,各质量控制中心的技术人员可以通过该软件对自己负责的实时资料提出质量分析意见,并发送到平台控制系统中。

2 实时质量控制方法的应用设计

在同一个质量控制平台中可以采用并运行多种质量控制方法,每一个质量控制方法可以是一个综合性的质量控制模块,也可以是针对某一方面的质量控制模块,或是采用某一单项技术的质量控制模块。为了避免各种质量控制方法在分析中的重复,需要将各种质量控制方法进行合理组织,以达到最佳的质量控制效果。具体方法如下:

设置实时数据库副本。在质量控制过程中所用的实时原始资料均取自实时数据库副本,该实时数据库副本允许修改。

统一编制错误资料检查模块。在该模块中主要采用仪器测量极限检查、理论气候极值检查等方法,即在检查中可以确定某一个资料是否为错误,作为第一优先运行,平台控制系统在实时数据库副本中将被确定为错误的资料修改为缺测。

统一编制基本质量控制模块。在该模块中采用历史气候极值检查、历史气候极端现象检查、基于历史统计基础上的时间一致性检验、基于历史统计基础上的水平空间一致性检验、基于天气学和观测规范基础上的内部一致性检查等方法。即在检查中可以确定某一个资料是否可疑,作为第二优先运行,平台控制系统在实时数据库副本中将被确定为错误的资料修改为缺测,但不修改疑误的资料。

在编制基本质量控制模块时,参考王伯民等提出的方法[14],将在内部一致性检查时发现的相矛盾的几个数据中进一步确定错误数据,提高质量控制的准确性。同时尽量使用开放式编程技术,以便今后能加入新的质量控制技术。

其他质量控制模块从第三优先级开始逐个运行。这些质量控制模块由各地的研究人员自行开发,并连接到系统中。在这些模块中不需要再使用错误资料检查方法和基本质量控制方法中所使用的技术。

如果这些模块中,有些模块可能使用同一种质量控制方法,它们均可以连接到系统中进行试运行,但投入业务运行时应择优,尽量保证业务运行的各种质量控制方法在技术上有互补性,避免重复。如果由研究人员开发的质量控制模块在运行一段时间后,确定其有较好的质量控制效果,并且比较稳定,则可以将其加入到基本质量控制模块中,以提高综合应用效果。

3 多种方法质量控制结果的综合分析

在同一个质量控制平台中可以采用并运行多种质量控制方法,所以同一个气象资料可能有多种质量控制方法同时对其进行分析,并提出不同质量分析意见,平台控制系统须将各种不同意见进行综合,然后提出一个综合分析意见。本文采用一种“检错可信度"的综合方法,即当几种质量控制方法同时对某一个气象资料提出质量分析意见时,通过对这些质量控制方法的可信度值进行综合计算,得出综合可信度值,将这一综合可信度值作为平台控制系统对该气象资料的质量分析意见。

3.1 检错可信度的意义及获取方法

这里所谓的检错可信度,是某一质量控制方法在质量控制中提出某一被检查资料是“错误"的这一结论的可信度。由于每一种质量控制方法对不同气象要素的质量控制效果往往不一样,例如某一种质量控制方法可以对气压、气温和水汽压3种气象要素进行质量控制,对气压和气温要素的质量控制效果较好,检错可信度较高;对水汽压要素的质量控制并不很成功,检错可信度较差。所以必须获取每一种质量控制方法对不同气象要素进行质量控制的检错可信度。检错可信度为

(1)

式 (1) 中,n为该质量控制方法对某一要素的观测值提出异议 (认为是错误或疑误,下同) 的次数;e为当该质量控制方法对某一要素的观测值提出异议时,实际确实是错误的次数;p为该质量控制方法对该要素的检错可信度。

每一种质量控制方法的检错可信度是否接近客观事实,直接影响综合分析效果。所以需要客观地获取每一种质量控制方法的检错可信度,避免主观因素。可通过以下方法获取检错可信度:将该质量控制方法连接到平台控制系统中进行试运行,在试运行期间平台控制系统自动为该质量控制方法建立一个“详细运行信息表",并自动记录该方法每次运行的情况。当试运行一段时间后,可以将“详细运行信息表"中登记的被认为是错误或可疑的资料与经人工审核过的月气候资料 (即A文件) 进行比较,确定该资料是否为错误,即可通过统计获得该方法的检错可信度。也可以使用“详细运行信息表"中的信息,选择有不同代表性的几个测站资料,不定期地进行人工分析统计,从而获得该方法的检错可信度。统计时段越长,检错可信度值越接近客观情况。

每一种质量控制方法对不同要素的检错可信度,可以以静态参数方式嵌入平台控制系统的参数表中,也可以动态地输出到其质量控制报告中。

3.2 综合可信度计算方法

如果同时使用气候阈值检查和空间一致性检查对某一气温资料进行分析,结果是这两种方法都认为该气温资料错误,可信度分别为75%和50%,这两种方法中气候阈值检查的可信度最高,为75%,可以认为综合可信度不低于75%。如果认为空间一致性检查效果完全包含了气候阈值检查效果,则综合可信度应为75%;如果认为空间一致性检查效果与气候阈值检查效果具有完全的互补性,则综合可信度应等于100%。一般情况下认为该两种质量控制效果具有交叉性,即气候阈值检查中有25%是不确定的,但空间一致性检查认为不确定的25%中又有50%是可信的,所以综合可信度可用下式计算求得:

(2)

式 (2) 中,P1为气候阈值检查可信度,P2为空间一致性检查可信度,R2为两个可信度的综合可信度。将P1=75%,P2=50%代入式 (2) 得到综合可信度R2为87.5%。

如果同时使用气候阈值检查、空间一致性检查和内部一致性检查,根据试运行期间的统计,它们的可信度分别为P1=75%,P2=50%,P3=60%,则先使用式 (2) 计算P1P2的综合可信度R2,然后再计算R2P3的综合可信度

根据式 (2) 可知,1-R2=(1-P1)×(1-P2),所以,

(3)

P1=75%,P2=50%,P3=60%代入式 (3),得综合可信度R3为95%(如图 2所示)。

图 2. 可信度的综合方法 Fig 2. The synthetical method of the hypotheses

根据上述可信度的计算方法,如果质量控制方法为n个,则综合可信度Rn

(4)

式 (4) 中,Pi为各方法的可信度,i=1,2,3,…,nRn为综合可信度,n=1,2,3,…。

式 (4) 与概率论统计中并联系统可靠性计算[15]完全一致。根据式 (4) 可知,相对于单一质量控制方法而言,多种质量控制方法同时使用有利于提高可信度。

根据经验,当综合可信度大于或等于90%时,可以认为被检查值错误;当综合可信度小于90%时,认为被检查值可疑。

3.3 提高综合可信度准确性方法

根据3.1节中所述的方法,统计获得平台控制系统的综合检错可信度,从而检验综合可信度的准确性,通过检验和完善,逐步提高综合可信度的准确性。影响综合可信度准确性主要有两方面原因:一是各种质量控制方法的检错可信度统计是否准确,各种方法的检错可信度越准确,综合可信度的准确性也就越高;二是质量控制方法的应用设计是否合理,如果投入业务运行的各种质量控制方法中所采用的技术具有较好的互补性,则综合可信度的准确性越高。

4 试用情况

该质量控制平台已于2009年4月开始在浙江省进行3个月的试用,对浙江省78个自动气象站的气压、气温、相对湿度和降水量资料进行实时质量控制试验,与人工质量分析结果进行比较,并对质量控制效果进行检验。

4.1 试用期间的质量控制方案

试用期间平台采用的质量控制方法有仪器量程检查、气候极值检查、四方位空间一致性综合分析、内部一致性检查、时间一致性检查和空间方差检验等。这些质量控制模块由不同的研究人员提供,研究人员同时提供各质量控制模块检错可信度的经验值。由平台管理人员编制质量控制模块列表,并保证将平均检错可信度最高的方法优先运行 (表 1)。

表 1 质量控制方法及气象要素检错可信度 (单位:%) Table 1 The method of quality control and error detection reliability of meteorological elements (unit:%)

平台控制系统定时将区域内各测站的实时观测资料入库,实时资料入库完成后随即依次运行质量控制模块列表中所登记的每一种质量控制方法。每一种质量控制方法运行结束后均输出一个标准的质量控制报告。所有的质量控制模块运行结束后,平台控制系统将根据各质量控制方法所输出的质量控制报告进行综合可信度计算,平台控制系统根据综合可信度计算情况输出最终的质量控制报告。如果综合可信度等于或大于90%,则在最终的质量控制报告中认为该记录为错误;如果综合可信度小于90%但大于0,则在最终的质量控制报告中认为该记录为可疑。

在综合可信度计算实例2009年6月29日13:00(北京时) 的实时质量控制中,各质量控制方法对58556测站的气温资料0.0 ℃提出了不同的质量控制意见 (表 2)。

表 2 各质量控制方法对某一气温资料的分析意见 (单位:%) Table 2 Analysis opinion of the quality control for temperature data (unit:%)

表 2可见,其中有4种质量控制方法均认为该气温资料可疑,根据式 (4),这4种质量控制方法对该气温检错的综合可信度为

因为该检错综合可信度大于90%,所以在最终质量控制报告中认为该气温资料是错误的。

4.2 与人工质量分析结果的比较与检验

为便于比较,定义了“检错准确率"和“错误记录检出率"两个统计概念,用于说明某一质量控制方法的优劣。这两个统计概念的意义如下:

检错准确率=提示为错误的记录中实际为错误

的个数/提示为错误的记录数,

错误记录检出率=被检查出的错误记录个数/

实际存在的错误记录个数。

从上述定义中可知,某一质量控制方法的检错准确率和错误记录检出率的值越大,方法越优,反之就越差。

质量控制平台在试用期间,自动保存了各质量控制方法输出的质量控制报告及经综合可信度计算后输出的最终质量控制报告内容。在试用期间同时对气压、气温、相对湿度和降水量资料进行人工质量分析。经过3个月的试运行后,将各质量控制报告中的信息进行统计,并与人工质量分析结果进行比较,得到表 3所示的统计结果。

表 3 质量控制信息统计表 Table 3 Statisticl table of qulity control information

表 3可见,经人工分析确定为错误的记录共257个,将它作为实际错误记录个数用于计算检错准确率和错误记录检出率。被各种质量控制方法提示为可疑或错误的记录共有876个。下面分两种质量控制方案进行比较说明:

第一种为不通过综合可信度计算的质量控制方案。如果不通过综合可信度计算进一步确定错误记录,则被提示的876个记录都成为被关注的可能是错误的记录,所以检错准确率为29%,错误记录检出率为100%。

第二种为通过综合可信度计算的质量控制方案。如果通过综合可信度计算进一步确定错误记录,则在这876个可疑或错误记录中只有267个记录被指定为错误,而这267个记录中经人工分析确定为错误的记录为246个,所以检错准确率为92%,错误记录检出率为96%。与前一种方案相比检错准确率提高63%,错误记录检出率降低4%。

通过上述比较可知,两种质量控制方案的错误记录检出率均较高;如果通过综合可信度计算进一步确定错误记录,则检错准确率显著提高,而错误记录检出率略有降低,但质量控制的实际效果明显提高。

5 小结

1) 自动气象站开放式实时质量控制平台为质量控制方法的应用和试验提供统一的接口和运行环境,使质量控制系统开发与质量控制方法研究的分开,使质量控制方法的研究工作具有相对的独立性,这对于提高质量控制方法的研究水平具有重要意义。

2) 该平台在浙江省进行了3个月的试用,在试用期间共采用5种质量控制方法,对78个自动气象站的气压、气温、相对湿度和降水量资料进行实时质量控制。试验表明,利用该平台的质量控制方法综合应用能力,使资料检错的准确率提高到60%以上。

3) 该平台采用综合可信度计算方法,使平台对各种质量控制方法具有综合应用能力,其实际应用效果与各种质量控制方法的组合性质相关,还需要在今后的实践中不断改进和提高。

参考文献
[1] 中国气象局. 地面气象观测规范. 北京: 气象出版社, 2003.
[2] 熊安元. 北欧气象观测资料的质量控制. 气象科技, 2003, 31, (5): 314–320.
[3] WMO. Quality Control Procedures of Data from Automatic Weather Stations.Commission fo rBasic Systems, Open Programme Area Groupon Integrated Observing Systems.Expert Team on Require-ments of Data from Automatic Weather Stations, First Session Ge-neva, Switzerland, 2002.
[4] 王海军, 杨志彪, 杨代才, 等. 自动气象站实时资料自动质量控制方法及应用. 气象, 2007, 33, (10): 102–109.
[5] 吴增祥. 气象台站历史沿革信息及其对观测资料序列均一性影响的初步分析. 应用气象学报, 2005, 16, (4): 461–467.
[6] 刘黎平, 张沛源, 梁海河, 等. 双多普勒雷达风场反演误差和资料的质量控制. 应用气象学报, 2003, 14, (1): 17–29.
[7] 任芝花, 熊安元, 邹凤玲. 中国地面月气候资料质量控制方法的研究. 应用气象学报, 2007, 18, (4): 516–523.
[8] 朱宗申, 马清云, 郝民, 等. HRBEE区域资料同化系统. 应用气象学报, 2002, 13, (2): 170–178.
[9] 朱宗申, 马清云, 郝民, 等. 台风试验陆地加密观测在数值天气预报中的作用. 应用气象学报, 1999, 10, (1): 105–111.
[10] 任芝花, 刘小宁, 杨文霞. 极端异常气象资料的综合性质量控制与分析. 气象学报, 2005, 63, (4): 526–533.
[11] 任芝花, 许松, 孙化南, 等. 全球地面天气报历史资料质量检查与分析. 应用气象学报, 2006, 17, (4): 412–419.
[12] 周尚河. 全国高空资料质量控制和建库方法的研究. 应用气象学报, 2000, 11, (3): 371–376.
[13] 中国气象局. 地面气象观测数据文件和记录簿表格式. 北京: 气象出版社, 2005.
[14] 王伯民. 基本气象资料质量控制综合判别法的研究. 应用气象学报, 2004, 15, (增刊): 50–59.
[15] 王梓坤. 概率论基础及其应用. 北京: 北京师范大学出版社, 2007: 345-361.