对自动气象站资料进行质量控制是气象部门一项重要的技术和业务工作。国外气象资料的质量控制工作起步较早,为保证质量控制结果的可靠性,Kenneth等[1]、Imke等[2]分别对气温、地温资料进行了包括气候极端异常值、重复值在内的13项检查,每一个观测数据值均对应一个检验结果。21世纪起国内也取得了地面气象资料质量控制方法的重大研究进展,任芝花等[3]等在分析中国地面历史气象资料中可能存在的非均一性和错误性、研究月气候资料序列存在的可能分布状态的基础上, 提出了地面月气候资料质量控制方法。陶士伟等[4]、王海军等[5]利用气候极值范围检查、内部一致性检查、时间一致性检查、空间一致性检查,对自动气象站的实时观测资料进行了自动质量控制。相对湿度作为重要的气象要素,其质量状况格外受到学者关注。近年来国外学者Katharine等[6]和Daniel等[7]利用温度露点差与温度日较差的关系对相对湿度进行了质量控制;国家气象信息中心赵煜飞等[8]设计了中国2006—2009年实时自动站正点相对湿度资料的质量控制方案。目前中国业务系统中对相对湿度进行的质量控制,基本上是采用界限值检查、时间一致性、空间一致性以及内部一致性检查[9]方法。这些方法对提高相对湿度资料的质量起到了重要作用,然而因观测相对湿度的传感器湿敏电容自身特性,与其他要素相比,其数据质量会出现一些独有的现象(如跳变、僵死等现象),采用常规质量控制方法难以准确检出。为此,本文通过对相对湿度与气温变化关系的分析,建立了检测相对湿度质量的回归模型,设计了3种检测方法,以提升相对湿度的数据质量。
1 资料说明所用数据为2009—2011年和2013年5—10月共42个月,全国2 428个国家级自动气象站的正点气温(T)、小时最高气温(Tmax)、小时最低气温(Tmin)、正点相对湿度(U)和小时最小相对湿度(Umin)。
2 质量控制方案T和U的日变化呈负相关关系[10-12],即一日中,当T 突然改变其变化趋势时,对应时刻的U变化趋势也会向相反的方向改变。黑龙江加格达奇站2010年4月21日10—15时(北京时,下同) T和U的变化很好地诠释了该关系(图 1a)。该站在T上升期间,分别在10、12、14时3个时次,有一个明显陡降的幅度(箭头所示),而同时U正好在这3个时次有一个相反的变化。北京延庆站2010年5月18日的T和U的变化(图 1b)也印证了这一规律。然而,并非所有的跳变都是正常的。
本文探讨利用气温要素对相对湿度观测记录的有效性进行检测,认为气温观测数据为有效记录。根据1 h、6 h的U和T变率关系,及U和T空间一致性要素质量控制参数值的关系,针对U和T跳变一致性现象、湿度传感器僵死现象、U和T空间一致性现象,设计了3种检测方法。
2.1 相对湿度与气温跳变一致性检查 2.1.1 小时相对湿度和气温变率关系1 h气温最大变化值
$ \Delta T = {F_T}({T_{{\rm{max}}}} - {T_{{\rm{min}}}}) $ | (1) |
$ \Delta U = {F_U}({U_{{\rm{max}}}} - {U_{{\rm{min}}}}) $ | (2) |
上式中,Umax表示本时次和上一时次的U最大值,FT、FU分别表示T和U变化趋势的符号。与上一个时次相比,本小时气温上升时,FT =1,否则FT =-1。同理,当相对湿度上升时,FU =1,否则FU =-1。
利用全国2 428个站2009—2011年逐小时相对湿度和气温资料,统计得出
$ \Delta U = a \times \Delta T + b $ | (3) |
在全国范围内,a值介于-3.2~-4.0之间,而b值介于-0.1~0.1之间,且各站R2的最小值均超过0.4。超过0.64 (即相关系数为-0.8)的台站数占到总站数的35%。根据全国2 428个站2009—2011年逐小时资料统计分析得到,a的平均值为-3.8。因b值较小,关系式可简化为:
$ \Delta U = {\rm{ }} - 3.8\Delta T $ | (4) |
由统计学中的频率统计分析可知,
$ \Delta U = {\rm{ }} - 3.8\Delta T \pm {t_\alpha }\sigma $ | (5) |
式(5)中,tα为显著性水平为α时的t分布统计量,
通过全国2 428个站2010年的资料分析,σ值在4.5~5.5范围内变化,经分析,当显著性水平为α =0.001时,tασ取值20,这样由式(5)计算
$ \left\{ \begin{array}{l} \Delta {U_1} = - 3.8\Delta T - 20\\ \Delta {U_2}{\rm{ }} = - 3.8\Delta T + 20 \end{array} \right. $ | (6) |
由此可得,当1 h内温度变化量为
按照小时U和T变化关系的建立思路,在全国范围内可建立回归模型:
$ {S_U} = 4{S_T} + 2 \pm {t_\alpha }\sigma $ | (7) |
式(7)中,SU表示6 h内相对湿度(每小时U和Umin共12个数据)的标准差, ST表示6 h内气温(每小时Tmax、Tmin和T共18个数据)的标准差。
当在6 h内气温变化很大时,相对湿度变化也很大,反之亦然。图 3为2010年甘肃清水站SU与ST关系,该站SU与ST的关系印证了上文的结论。
参考U和T跳变一致性检查方法原理,tασ取值10,SU与ST的关系为:
$ \left\{ \begin{array}{l} {S_{U1}}{\rm{ = 4}}{S_T} - 8\\ {S_{U2}} = {\rm{4}}{S_T} + 12 \end{array} \right. $ | (8) |
根据式(8),当给定气温的ST,则相对湿度的SU应该在范围(
主要是通过捕获在一个较长时间内(如超过48 h),气温变化很大,而相对湿度变化很小的异常现象,检测出湿度传感器僵死现象。检测步骤如下:
(1) 以当前时间前6 h为一个时间窗口,计算SU和ST,当满足SU < 4ST - 8条件时,该时刻为僵死开始时间(且前一时间窗口处于非僵死状态),标记为僵死状态;否则,时间窗口后移3 h,继续检测。
(2) 如前一个时间窗口已判断为僵死开始,且本时间窗口满足
(3) 持续时间不足48 h,继续检测;如持续时间大于等于48 h,则记录一个僵死过程。
(4) 但当该过程的相对湿度平均值在90%以上或在15%以下,持续时间超过96 h,才记录为一个僵死过程。
2.3 相对湿度和气温空间一致性质量控制参数检查 2.3.1 相对湿度和气温空间一致性质量控制参数的关系通过对全国资料的统计分析发现,U和T除了在时间上具有很好的相关性外,在空间上也具有很好的一致性,即待检站与其邻近站相对湿度差和逐小时气温差关系呈显著负相关,当两站U相差较大时,一般T也相差较大。图 4为2010年湖北武汉与江夏站U差值和T差值关系,从中可见,当武汉与江夏站U相差较大时,T也相差较大。
因此,建立U和T两个要素在空间上的关系,U和T空间一致性检查采用百分位法[13],即:
$ U{f_i} = \frac{{{U_i} - {U_{50}}}}{{{U_{75}} - {U_{25}}}} $ | (9) |
$ T{f_i} = \frac{{{T_i} - {T_{50}}}}{{{T_{75}} - {T_{25}}}} $ | (10) |
式(9)~(10)中U75、U50、U25和T75、T50、T25分别为待检站的邻近站小时U和T数据组成序列的75%、50%、25%的分位数。Ufi、Tfi分别为U、T的质量控制参数数值,其大小表示被检站数据质量状况,i为站序。
利用全国资料分析可知,质量控制参数Ufi与Tfi的相关性很好。图 5为2011年湖南辰溪站Ufi与Tfi关系,该站的Ufi与Tfi具有较好的相关性,如Ufi或Tfi为正(负),表示Ui或Ti和邻近站相比偏大(小),如|Ufi|或|Tfi|超过相应的阈值,则Ui或Ti值被标注为可疑值。因此,选取Ufi与Tfi作为U和T空间一致性的分析参数。
按照空间一致性检查方案,首先分别计算各站逐小时Ufi与Tfi,并标志其质量控制码。然后结合Ufi与Tfi,对U进行内部一致性检查,具体算法如下:
对于给定时间,当i站5 ≥ Ufi > 3,则该站相对湿度质量控制码fqci = 1,表示Ui数据可疑;当Ufi > 5,fqci = 2,表示Ui数据错误;当|Ufi| ≤ 3表示Ui数据正确,当Tfi < -1,fqci减1。同理,若-3 > Ufi ≥ -5,fqci = 1表示Ui数据可疑;Ufi < -5,fqci = 2表示Ui数据错误;当Tfi > 1,fqci减1。
严格说,温湿空间质量控制参数一致性检查方法,是分别将U和T这2个要素的空间一致性检查的结果进行综合判定,将部分标记为可疑的数据,判定为有效数据,从而降低误检率。
3 检查结果分析与讨论 3.1 跳变一致性检查 3.1.1 跳变个例分析为进一步研究跳变现象发生时U和T的变化情况,挑选了部分个例进行分析。图 6给出了通过跳变一致性检查个例相对湿度和气温变化,分析可知,山东成山头、四川射洪、广东仁化、新疆博乐等4站的Umin发生了明显跳变,而与其对应时刻Tmax发生了方向相反的跳变。而通过表 1的结论可知,虽然U有跳变现象发生,但由于存在T的联动跳变,所以该U数据为有效数据,即通过了跳变一致性检查。
表 1为给出了相对湿度跳变一致性检查个例,从中可见,山东成山头、四川射洪、广东仁化、新疆博乐和湖北保康等5站
图 7为没有通过跳变一致性检查个例相对湿度和气温变化,分析可知,新疆克拉玛依、陕西山阳、福建罗源、山东东阿4站也发生了跳变现象(虚线圆),但与其对应时刻的T未出现明显的跳变。根据表 1的结论,该4站Umin数据可疑,未通过跳变一致性检查。
下面通过分钟数据变化进一步探讨跳变时湿度和温度的变化规律。图 8a、b分别为2013年5月14日湖北保康站小时相对湿度和气温变化及其21时相对湿度和气温逐分钟变化,分析可知,保康站2013年5月14日21时的Umin跳变为正确记录,分析该站该小时的分钟U和T变化可知,U跳变为正确记录。
图 8c、d为2013年10月30日老河口站小时相对湿度和气温变化及其21时相对湿度和气温逐分钟变化,分析可知,老河口站2013年10月30日21时的Umin跳变为可疑数据,因该小时老河口的分钟数据在第43分钟有明显的跳变,而T却无变化,所以Umin为可疑数据(虚线圆)。
3.1.3 未通过跳变一致性检查频次的时空分布通过全国2 428站2009—2011年检测结果来看,平均每站每年U未通过跳变一致性检查为1.2次,每年只有30%~40%左右的台站会出现未通过跳变一致性检查的现象,其中每站1 a超过5次的台站在全国所有台站所占比例不超过6%。
图 9为2010年全国相对湿度未通过跳变一致性检查空间分布图,分析可知,U未通过跳变一致性检查的现象的站点,全国各省均有台站出现,且不存在明显的地域分布规律。同样在时间分布上来看,各月均会出现且次数逐月的分布差异也不明显(图略),因此可得出初步结论:相对湿度未通过跳变一致性检查现象的产生与台站地理位置及其气候无明显关系。
以2010年为例,该年出现未通过跳变一致性检查次数在10次以上的台站为99站,这些台站共出现1 642站次,占2010年所有出现次数(为3 002站次) 55%。由此说明,少部分台站(不到11%)出现的未通过跳变一致性检查现象占了总次数的一半以上。此外,2010年出现次数最多的前50站在2011年也出现次数较多。由此说明,未通过跳变一致性检查的现象很大部分集中出现在少部分台站,并有一定的持续性。据统计,如2009—2011年海南临高站分别出现69次、42次、51次,江西庐山站分别出现58次、25次、20次。
3.1.4 跳变不一致性产生原因和对观测记录的影响初步分析,产生跳变现象的原因可能有以下3种:(1)自动站系统因供电系统不稳定或者零地电压过大造成;(2)可能受到台站的电磁环境影响;(3)湿度传感器的个体差异。
相对湿度容易出现跳变现象,而气温不易出现,主要是因自动站是通过测量湿敏电容电压进行的,通过测量气温铂电阻测量气温,而湿敏电容较铂电阻更易受电压的波动或环境噪声影响。如湖北仙桃站2011年11—12月期间,有13次跳变现象发生,而经与台站人员及省级设备维护人员查证,导致该站相对湿度跳变的原因是零地电压过大。
尽管未通过跳变一致性检查现象的次数不多见,但其对相对湿度记录有一定影响。经统计,70%以上发生未通过跳变一致性现象时,日最小相对湿度会出现跳变值。同时由于跳变往往集中发生在相对固定的台站,所以其影响将会放大,应对其予以足够重视。
3.2 湿度传感器僵死现象检测 3.2.1 湿度传感器僵死现象出现频次与持续时间根据湿度传感器僵死现象检测方法,对全国2009—2011年以及2013年5—10月的相对湿度进行了检测,检测出22站次湿度传感器僵死个例(表 2),平均全国每年6.3站次。其中云南省有7站次,为最多。僵死过程平均持续412 h(约17 d),最长时间为内蒙古卓资站,过程持续1 569 h(超过65 d)。过程持续10 d以上的站为10站次。
图 10给出湿度传感器僵死现象个例,从中可见,云南西畴站、吉林烟筒山站、山西壶关站、黑龙江泰来站,当发生僵死现象时,相对湿度数据在一个非常窄小的范围内变化,日变化不明显。
虽然湿度传感器僵死为少见现象,但由于其一旦出现后往往持续时间较长,所以对数据质量的影响很大,导致数据基本不可用。湿度传感器僵死现象所产生原因,由于样本较少,还需进一步研究。
3.3 温湿空间质量控制参数一致性检查 3.3.1 个例分析下面以2个站点实例说明温湿空间质量控制参数一致性检查的结果。图 11a为2011年1月1日08时— 3日07时青海尖扎气温与相对湿度质量控制参数,分析可知,青海尖扎站在2011年1月1日19时—22日9时共15个时次的Ufi均在-3.0以下,根据空间一致性的标准,该15个时次的U为可疑数据,未通过空间一致性检查,但该时间段的Tfi在1.3~1.8之间,该U数据为有效数据。图 11b、c分别为2013年6月29日00时—7月4日23时黑龙江呼兰及邻近站逐时相对湿度和同时段黑龙江呼兰站空间质量控制参数,分析可知,黑龙江呼兰站在2013年6月29日00时—7月4日23时共37个时次的Ufi均在-3.0以下,根据空间一致性的标准,该37个时次的U为可疑数据,未通过空间一致性检查,由于该时间段的Tfi在±1.0之间,该U数据为无效数据。
通过全国相对湿度资料分析,当Ufi < -3时,对应Tfi > 1.0的时次占总次数的68%;当Ufi > 3时,对应Tfi < -1.0的的时次占总次数的88%。由此可见,通过该方法可以降低77%的误检率。
4 讨论与结论通过分析全国2 428站逐时气温和相对湿度关系,建立了回归模型,并设计了小时相对湿度质量控制方案,得出如下结论:
(1) 相对湿度跳变一致性检查方法可检测出自动站系统导致的跳变现象,从而减少相对湿度跳变的影响。其中每年有30~40%的台站未通过该检查方法,且每站1 a超过5次未通过检查的台站比例低于6%,此外该现象的发生与地理环境及气候无明显关系,其可能原因是湿敏传感器易受电压影响。
(2) 利用湿度传感器僵死现象检测方法,对全国的相对湿度资料进行了检测,3.5 a时间内发现了22站次的湿度传感器僵死现象,平均全国每年有6.3站次,过程持续10 d以上的站为有10站次。
(3) 利用空间一致性检查的质量控制参数关系,对空间一致性的结果进行进一步检查,可降低77%的空间一致性检查误检率,有效提升质量控制方法的检测效率。
由于相对湿度与气温资料是同一传感器采集,所以利用传统的内部一致性很难检查真正的可疑数据。利用要素的物理和统计关系,建立回归关系可以有效的检测出可疑数据。如文献[14, 15]利用日平均风速和日最大风速的关系检查风资料质量,文献[6, 7]利用露点温度和气温的关系检查气温以及露点资料的质量,以及本文基于相对湿度与气温变率的关系,对相对湿度进行质量控制,这为“挖掘”出隐藏在自动站观测系统质量较低的数据提供了一个检测思路。另外,仅用一种质量控制方法检查,会导致正确数据误检或错误数据漏检,如本文利用的气温和相对湿度空间一致性质量控制参数的内部一致性检查方法,故需综合采用多种方法是必要的。
本文得到国家气象科技创新工程攻关团队“气象资料质量控制及多源数据融合与再分析”的大力资助,谨致谢忱。[1] |
Kenneth G H, Nathaniel B G, You J S, et al. An Improved QC Process for Temperature in the Daily Cooperative Weather Observations[J]. J AtmosOceanic Technol, 2007, 24(2): 206-213. |
[2] |
Imke D, Matthew J M, Byron E G, et al. Comprehensive Automated Quality Assurance of Daily Surface Observations[J]. J Appl Meteor Climatol, 2010, 49(8): 1 615-1 633. DOI:10.1175/2010JAMC2375.1 |
[3] |
任芝花, 熊安元, 邹凤玲. 中国地面月气候资料质量控制方法的研究[J]. 应用气象学报, 2007, 18(4): 516-523. DOI:10.3969/j.issn.1001-7313.2007.04.012 |
[4] |
陶士伟, 仲跻芹, 徐枝芳, 等. 地面自动站资料质量控制方案及应用[J]. 高原气象, 2009, 28(5): 1 202-1 209. |
[5] |
王海军, 刘莹. 综合一致性质量控制方法及其在气温中的应用[J]. 应用气象学报, 2012, 23(1): 69-76. DOI:10.3969/j.issn.1001-7313.2012.01.008 |
[6] |
Katharine M W, Philip D J, Nathan P G, et al. Thorne.Recent Changes in Surface Humidity: Development of the HadCRUH Dataset[J]. J Climate, 2008, 21(20): 5 364-5 383. DOI:10.1175/2008JCLI2274.1 |
[7] |
Daniel Y G, Arthur T D, Keith L E. Improved Quality Assurance for Historical Hourly Temperature and Humidity: Development and Application to Environmental Analysis[J]. J Appl Meteor, 2004, 43(11): 1 722-1 735. DOI:10.1175/JAM2162.1 |
[8] |
赵煜飞, 任芝花, 张强. 适用于全国气象自动站正点相对湿度资料的质量控制方法[J]. 气象科学, 2011, 31(6): 687-693. DOI:10.3969/j.issn.1009-0827.2011.06.003 |
[9] |
王海军, 杨志彪, 杨代才, 等. 自动气象站实时资料自动质量控制方法及其应用[J]. 气象, 2007, 33(10): 102-109. |
[10] |
史瑞琴, 陈正洪, 陈波. 湖北省未来30年气温和降水量变化趋势预测[J]. 暴雨灾害, 2007, 26(1): 78-82. DOI:10.3969/j.issn.1004-9045.2007.01.014 |
[11] |
李建平, 易成功, 张火平. 近45 a黄冈市气温和降水的变化与异常特征分析[J]. 暴雨灾害, 2008, 27(1): 59-63, 82. DOI:10.3969/j.issn.1004-9045.2008.01.010 |
[12] |
郭广芬, 周月华, 高正旭, 等. 2011年冬季长江流域气温持续偏低的可能成因探析[J]. 暴雨灾害, 2013, 32(2): 176-181. DOI:10.3969/j.issn.1004-9045.2013.02.011 |
[13] |
廖捷, 熊安元. 我国飞机观测气象资料概况及质量分析[J]. 应用气象学报, 2010, 21(2): 206-213. DOI:10.3969/j.issn.1001-7313.2010.02.010 |
[14] |
Lanzante J R. Resistant, robust and nonparametric techniques for the analysis of climate data: Theory and Examples, Including applications to historicalradiosondestationdata[J]. InterJClim, 1996, 16: 1197-1226. |
[15] |
Pedro A J, Fidel J G, Jorge N, et al. Quality Assurance of Surface Wind Observations from Automated Weather Stations[J]. J Atmos Oceanic Technol, 2010, 27(7): 1 101-1 122. DOI:10.1175/2010JTECHA1404.1 |