应用气象学报  2010, 21 (6): 762-768   PDF    
LDM软件在气象数据交换中的应用
艾艳1, 杨根录2, 魏延涛1, 王敏1, 武鹏1     
1. 河南省气象信息中心, 郑州 450003;
2. 国家气象信息中心, 北京 100081
摘要: 目前运行的国内气象通信系统存在着交换平台(操作系统平台)不统一、数据接口不统一、数据交换软件不统一等问题,导致每新增一类投入业务使用的观测资料,从资料采集、资料传输、资料传输监视到资料应用等都自成一体,给通信传输管理带来很大不便。LDM(Local Data Manager)软件作为底层通信传输和管理系统,可实现上述三者的统一。通过对目前国内气象通信系统存在的传输软件不统一、文件数目多时造成拥塞和文件优先级无法保证问题的分析,对LDM软件灵活和有效的数据分发功能及用户可配置的、支持分布式的处理和事件驱动的特点进行了介绍,并以建立的基于LDM的实时气象资料分发服务系统为研究和试验原型,对LDM软件及目前国内气象通信系统软件进行对比分析,结果表明:采用LDM软件可以提高传输业务的整体工作质量,解决目前国内气象通信系统存在的问题,即LDM软件较适用于我国气象数据交换业务。
关键词: LDM    气象数据    事件驱动    分发服务    
Application of the LDM Software to Meteorological Data Exchange
Ai Yan1, Yang Genlu2, Wei Yantao1, Wang Min1, Wu Peng1     
1. Henan Provincial Meteorological Information Center, Zhengzhou 450003;
2. National Meteorological Information Center, Beijing 100081
Abstract: Multiform meteorological data exchange platform with different data interface and exchanging software are used around the country, adding the inconvenience and inconsistency of communication management, data acquisition, data transmission, data monitoring when a new kind of data are applied to operational work. The Unidata Local Data Manager (LDM) is a collection of cooperating programs that select, capture, manage, and distribute arbitrary data products. The system is designed for event driven data distribution, which means any data put into the data product queue can be processed as quickly as possible. The LDM system is widely used in some developed countries. All the operational radar data of America are transferred to National Weather Service (NWS) by LDM. It is also used in the World Meteorological Organization (WMO) THORPEX Interactive Grand Global Ensemble (TIGGE) project to transfer data among the data centers. In order to validate the applicability in civil meteorological data communication, a series of research and experiment are carried out, and Real time Meteorological Data Distribution Service System Based on LDM is built in Henan. Using the LDM system, every new observation data and the data of Project 9210 are transferred reliably, so the data transfer program can be integrated. LDM is designed as event driven which can process data files with multithreading, so it can resolve the congestion and ensure priority. The implementation of LDM program improves the transfer quality, resolves the problem of inconsistency, and ensures priority when much more files are processed. Workloads of operators on duty can also be reduced when monitoring data communication. The LDM system has good prospect in civil meteorological data exchange.
Key words: LDM     meteorological data     event driven     distribution services    
引言

随着我国气象观测系统建设的不断深入,新增观测资料种类越来越多,由于缺乏统一的规划和顶层设计,导致每一类观测资料从数据收集、数据传输、传输监视到资料应用都自成体系,如自动气象站、区域自动站、闪电定位和自动土壤水份观测数据等,这些观测数据的收集、传输和监视都不能统一到一个平台。数据传输和传输监视手段不统一,给通信传输带来了很大不便。

Unidata的LDM (Local Data Manager) 是一套集选择、获取、管理和分发任意数据产品等功能为一体的软件系统,该系统以事件驱动数据分发,这就意味着进入该系统的任何数据都能通过数据产品队列尽可能快地得到处理[1]。该软件在国际上一些发达国家中应用较为广泛,如美国Unidata的IDD (Internet Data Distribution) 项目等;在业务方面,美国全国的雷达资料都是通过LDM传输到美国国家天气局 (NWS);在国际间数据传输交换方面,该软件在世界气象组织 (WMO) 的TIGGE项目中被用于几大数据中心之间的数据传输。鉴于该系统在国际气象数据交换[2-11]中的广泛应用,为探索其在国内气象数据交换[12]中的应用前景,进行了一系列的研究和试验,并且在河南省建立了基于LDM的实时气象资料分发服务系统。文中对该系统的设计和实现进行了简要论述,并对试用结果进行了分析,结果表明:使用LDM软件可将数据交换统一在一个平台上进行,从而有效地保证了数据交换的及时性和可靠性。因此,该软件在我国气象数据交换中有良好的应用前景。

1 国内气象通信系统存在的问题

目前运行的国内气象通信系统软件是由国家气象信息中心统一安装部署的,基本沿用了原9210工程的技术架构和方法。其特点是采用UNIX系统下文件处理的各种方法,对文件级的数据进行交换、处理和分发,以目录结构划分不同的工作区和不同的数据类型分别进行处理,具有优先级控制;根据文件和站点节目表对数据的应收和发送进行控制,可以进行自动补调缺失数据。运行至今所发现的主要弱点包括:采用轮询的方式进行文件处理,在文件数多时会造成拥堵;采用单线程方式进行文件收发,文件的优先级无法切实保证;只能收集、传输8.3格式 (文件名8位,扩展名3位) 短文件名命名的文件。

目前国内气象通信系统软件已经投入业务运行逾10年,其间未进行较为完整的版本更新。与此同时,新的观测业务不断增加,而新增观测资料的数据文件名多采用长文件名策略。因此其通信系统软件弱点所造成的负面影响逐渐显现并放大。尤其是只能收集传输8.3格式短文件名命名的文件的弱点,使得采用长文件名格式命名的新增观测资料不能纳入该通信系统的传输范围,而事业发展又迫切要求这些新增资料尽早投入业务使用。为解决新增资料通信传输问题,规定在进行探测系统建设时,由建设单位负责观测资料台站级和省级的处理,以及资料从台站到省气象局的传输;省级气象信息中心负责新增资料从省级气象信息中心到国家气象信息中心的传输。于是,每新增一类观测资料,便产生一套相应的由气象台站到省级气象信息中心的传输系统及收集平台。随着探测系统种类越来越多,省级资料收集平台也越来越多,如自动气象站中心站、区域自动站中心站、闪电定位中心站、自动土壤水分中心站等等。由于这些传输和收集软件的研制单位不同,技术背景和水平存在差异,因此软件功能和质量参差不齐,管理维护难度很大。如中国气象局要求观测资料均上传至国家气象信息中心,并要求考核及时率,而目前的国内气象通信系统无法实现此项功能,于是各省级气象信息中心纷纷自行开发一些小软件,完成各类测站资料收集、上传和上传监视等任务。由于这些软件没有采用统一标准,软件开发平台、数据接口及软件运行的操作系统平台均不统一,经常发生问题。

国内气象通信系统软件的固有缺陷,使其无法实现新增资料的传输任务,导致目前各省自行开发了各类种类不一,方法各异的新增观测数据传输软件;又由于各类新增观测业务的独立性,导致与之相配套的各传输软件自成体系,每个软件分别完成所属类别资料的收集、传输和传输监视等任务。因此,省级气象信息中心积累了数目可观的各类新增资料收集传输和监视平台,值班人员需要监控和维护各种不同的新增观测数据传输软件,维护工作压力很大。

所以,整合并统一各类新增资料传输软件、解决拥塞问题和保证传输优先级问题,是提高传输业务整体工作质量的关键所在,也是目前国内气象通信系统亟待解决的问题。

2 LDM软件功能和特点 2.1 LDM软件概述

LDM软件是基于LINUX/UNIX操作系统源代码开放的软件。Unidata的LDM软件与其他联网的计算机一起获取和共享数据,不论是文本文件、二进制文件、图形图像文件还是压缩文件,都可以通过LDM软件进行处理和分发[13]。事实上,LDM软件目前能够处理来自National Weather Service NOAA port channel3的数据流,包括数值预报模式生成的格点资料,也能够处理NEXRAD的雷达数据,处理National Lightning Detection Network的闪电定位数据和GOES的卫星图像数据[14]

2.2 LDM软件功能

LDM软件是一个点对点 (peer-to-peer) 的灵活和有效的数据分发软件系统,分发数据的大小受到数据队列大小 (队列大小可以根据实际需要进行调整) 的限制。LDM软件的一个重要特性就是它支持灵活的、针对具体节点的数据交换配置[15]

2.3 LDM软件特点

用户可配置:用户可以使用配置文件灵活地对LDM服务器进行配置。

支持分布式处理:在一台计算机上获取的数据能够存储在网络上的其他计算机上。

事件驱动:LDM软件是事件驱动数据分发,数据产品队列一旦有新的数据,该系统即可对数据进行相应处理。

基于LDM软件的功能和特点,利用其可以被用户灵活配置的特点,可以实现每新增一类观测资料的传输只需修改配置文件即可完成,达到统一各类新增资料传输软件的目的;利用其事件驱动特点,采用多线程方式对文件进行处理,可以有效解决拥塞问题和保证传输的优先级。LDM软件从技术上能够解决目前国内气象通信系统存在的问题,可以通过安装部署该软件来代替国内气象通信系统数据传输软件部分的功能。

3 LDM数据交换试验

为了探索LDM软件在国内气象数据交换中的应用前景,河南省气象信息中心建立了基于LDM的实时气象资料分发服务系统,对LDM软件的通信传输功能进行试用。

3.1 资料分发服务系统 3.1.1 系统设计目的

目前,河南省气象信息中心对用户提供实时气象资料的服务方式有两种:ftp和虚盘映射,由用户主动到河南省气象信息中心服务器调取所需要的实时资料。这两种服务方式对时效性要求不高的资料,尚可满足用户需求,但对于新一代雷达PUP产品等 (每6min1次) 时效性比较强的资料,因调取方式的差异,有些用户往往在很长时间之后才可以得到资料,在有重要天气过程时,会影响用户对该类资料的使用。同时当地市气象局的DVB-S系统不能完整接收到资料时,往往不能及时获取所需的资料提供给预报员。为了提高各级用户对实时气象资料的使用效率,改变以往用户从河南省气象信息中心调取资料的传统方式,由主动调取改为自动获取,同时为了解决地市气象局在DVB-S系统出现故障而无法快速获取实时资料的问题,河南省气象信息中心采用LDM软件,根据需求,将实时资料以河南省气象信息中心向各地市级用户推送,实现实时资料的主动分发服务[16]

3.1.2 系统结构

基于LDM的实时气象资料分发服务系统结构[17]图 1所示。河南省气象信息中心的LDM服务器通过局域网络和广域网络SDH (Synchronous Digital Hierarchy) 线路将实时气象资料分发到各个客户端,实现实时资料的主动分发服务。

图 1. 实时资料分发服务系统结构图 Fig 1. The structure of data distribution service system

3.1.3 实时资料分发时效要求

资料分发的时效规定:新一代天气雷达资料于省级气象信息中心收到雷达站传上来的雷达产品后5min内分发到用户端;其他资料 (区域自动站资料、卫星云图、数值预报产品等) 于省级气象信息中心收到资料后最迟10min分发到用户端。

3.1.4 服务器平台

表 1列出了河南省气象信息中心服务器和客户端服务器平台的操作系统、应用软件、网络协议及开发工具具体情况。

表 1 河南省气象信息中心服务器和客户端服务器平台 Table 1 The flat of server and client in Henan Provincial Meteorological Information Center

3.2 数据试验情况 3.2.1 资料分发服务情况

目前已经实现了常规资料 (39 MB/d)、传真图 (42 MB/d)、卫星云图 (63 MB/d)、数值预报产品 (T213,EC,ED,RJ,167 MB/d)、自动气象站资料 (3 MB/d)、区域自动气象站资料 (25 MB/d)、闪电定位资料 (1 MB/d)、河南省6部新一代天气雷达PUP产品和基数据 (非汛期280 MB/d, 汛期1120 MB/d) 的分发服务,合计汛期1529 MB/d, 非汛期689 MB/d的资料分发量。

3.2.2 系统试用情况分析

基于LDM的实时气象资料分发服务系统建立的广域网络环境,省-地市为2M SDH线路,目前该SDH线路上行的通信传输业务是各级台站的实时观测资料,下行业务是各级台站通过远程调取河南省气象信息中心收集到的各类实时资料和预报产品。目前实现分发的资料都是随来随发,2M SDH线路带宽可以满足资料分发服务系统的需要。资料分发服务中心对各类资料的分发情况进行监视统计,表 2 表 6列出了部分监视统计信息,其中的时间均为世界时,发送时间为河南省气象信息中心LDM服务器将数据文件送入发送队列的时间,接收时间为各地市气象局LDM客户端接收到数据文件的时间。河南省气象信息中心LDM服务器和地市气象局LDM客户端服务器的时间均与河南省气象信息中心时间服务器实时对时,不存在服务器和客户端时钟的差异。

表 2 河南省自动气象站资料发送、接收时间 Table 2 The delivered and received time of automatic meteorological station data in Henan Province

表 3 河南省常规气象资料发送、接收时间 Table 3 The delivered and received time of general meteorological data in Henan Province

表 4 河南省雷达PUP产品发送、接收时间 Table 4 The delivered and received time of PUP radar data in Henan Province

表 5 河南省卫星云图发送、接收时间 Table 5 The delivered and received time of satellite data in Henan Province

表 6 河南省数值天气预报产品发送、接收时间 Table 6 The delivered and received time of numerical weather prediction product in Henan Province

表 2~表 6所列数据为随机抽取的监视统计信息,分析表明:利用该系统可以在规定时效内完成数据的分发,将数据文件分发到指定的服务器,客户端通过该系统可以及时获取所需的气象资料,表明了该系统的设计符合目前实时资料分发服务的要求,在河南省的实时资料共享服务[18-25]上开辟了新途径。

4 LDM软件与我国气象通信软件比较分析 4.1 对比分析

表 7从12个方面对LDM软件和目前国内通信软件的数据传输进行了对比分析,可以看出两个软件系统在进行数据传输时各有优缺点。

表 7 LDM软件和我国通信传输软件对比 Table 7 The comparison and analysis between the LDM and current communication system

4.2 使用LDM软件的优越性

对所建立资料分发服务系统的试用表明:LDM软件可以实现数据交换的3个统一。数据接口统一:遵循LDM软件的数据接口定义。操作系统平台统一:传输平台统一在Linux/Unix操作系统下。数据交换软件统一:不管资料的采集方式如何,采集完成后的数据文件都送入LDM的数据产品队列,统一由LDM软件负责完成传输工作。

与目前使用的通过TCP/IP协议的ftp方式进行数据传输相比,LDM软件可以避免使用ftp方式传输数据造成的数据丢失或不完整 (因为网络故障、网络拥堵或者服务器端ftp服务异常会造成数据在传输过程中丢失或不完整)。

5 结语

根据LDM软件在河南省实时气象数据共享服务中的应用情况表明:使用LDM软件不仅可以实现各类新增资料的传输,还可以传输由原9210工程传输的资料,实现传输软件的统一;由于LDM软件采用事件驱动,利用多线程方式处理文件,因此可以有效地解决拥塞问题和保证传输的优先级。采用LDM软件可以提高传输业务的整体工作质量,解决目前国内气象通信系统存在的传输软件不统一、文件数目多造成拥塞和文件优先级无法保证的问题。此外,通过安装部署LDM软件来代替国内气象通信系统数据传输软件部分的功能,也可减轻省级气象信息网络值班人员监控和维护的工作压力。因此,LDM软件较适用于我国气象数据交换业务,在我国气象数据交换中有良好的应用前景。

参考文献
[1] Unidata. Local Data Manager (LDM). [2009-07-09]. http://www.unidata.ucar.edu/software/ldm/.
[2] Kelvin K Droegemeier, Kevin Kelleher, Tim Crum, et al. Project Craft: A Test Bed for Demonstrating the Real Time Acquisition and Archival of WSR-88D Level H Data. [200907-09]. http://www.unidata.ucar.edu/projects/cratt/, January2002.
[3] Robert E Saffle, Robert C Elvander, Michael J Istok. NEXRAD Product Improvement —Expanding Science Horizons. [2009-0709] http://ams.confex.com/ams/pdfpapers/85890.pdf
[4] Joseph S Wakefield, Philip A McDonald, Mary Sue Schultzl, et al. Processing and Display of Atmospheric Electricity Data to Support Launch Operations at the Eastern Range. [200907-09]. http://ams.confex.com/ams/11aram22sls/techpro-gram/paper_81920.htm21Sep2004.
[5] Thomas J Ganger. The Current Linux-intel Portable WSR-88D Code Distribution and a Summary of How It Is Being Used in Research, Development, and Operations. [2009-0709]. http://amsconfex.com/ams/pdfpapers/85850.pdf
[6] Robert C Lipschutz, Christopher H MacDermaid. Recent Advances in the FSL Central Facility Data Systems. [2009-07-09]. http://ams.confex.com/ams/pdfpapers/86168.pdf
[7] Chris H MacDermaid, Robert C Lipschutz, Patrick Hildreth. Architecture of MADIS Data Processing and Distribution at FSL. [ 2009-07-09 ]. http://ams.confex.com/ams/pdfpa-pers/86227pdf
[8] Paul Hamer. FSL Central Facility Data System Concepts. [200907-09]. http://amsconfex.com/ams/pdfpapers/86232.pdf
[9] James McNitt, Joe Facundo. Transitioning the Meteorological Assimilation Data Ingest System (MADIS) into NWS Operations. [2009-07-09]. http://ams.conlex.com/ams/pdfpapers/116942.pdf.
[10] James McNitt, JosephFacundo, James O?Sullivan. Meteorological Assimilation Data Ingest System Transition Project Risk Reduction Activity. [2009-07-09]. http://ams.confex.com/ams/pdfpapers/134617pdf
[11] Darrel M Kingfield, Michael A Magsig. Leveraging National Weather Service Technology for Collaboration and Training. [2009-07-09 ]. http://ams.confex.com/ams/pdfpapers/150678pdf
[12] 中国气象局. 国内气象数据交换文件命名规范. 北京: 气象出版社, 2006.
[13] Unidata. LDM Factsheet. [2009-07-09]. http://www.unidata.ucar.edu/software/ldm/factsheet.html, February 17, 2007.
[14] DavisGP, RewRK, The Unidata LDM: Programs and Protocols for Flexible Processing of Data Products / Proceedings, 10th International Conference on Interactive Information and Processing Systems for Meteorology, Oceanography, and Hydrology. Amer Meteor Soc, 1994: 131–136.
[15] Unidata. What is the LDM?[2009-07-09].http://www.unidata.ucar.edu/software/ldm/ldm-6.6.5/tutorial/whatis.html.
[16] 中华人民共和国科学技术部. SDS/T2241-2004.数据分发服务指南与规范. 北京: 中国标准出版社, 2005.
[17] 艾艳, 王敏, 魏延涛, 等. 基于LDM的实时气象资料分发服务系统. 气象与环境科学, 2010, 33, (1): 77–80.
[18] 李集明, 沈文海, 王国复. 气象信息共享平台及其关键技术研究. 应用气象学报, 2006, 17, (5): 621–627.
[19] 王国复, 李集明, 邓莉, 等. 中国气象科学数据共享服务网总体设计. 应用气象学报, 2004, 15, (增刊): 10–16.
[20] 高梅, 接连淑, 张文华. 气象科研数据共享系统建设. 应用气象学报, 2004, 15, (增刊): 17–25.
[21] 邓莉, 王国复, 孙超. 基本气象资料共享系统建设. 应用气象学报, 2004, 15, (增刊): 33–38.
[22] 陈学君, 王国复, 陶建红. 基于Web西北地区干旱气象资料共享服务分系统. 应用气象学报, 2004, 15, (增刊): 161–164.
[23] 沈文海, 赵芳, 高华云, 等. 国家级气象资料存储检索系统的建立. 应用气象学报, 2004, 15, (6): 727–736.
[24] 艾艳, 魏延涛, 王敏, 等. 元数据技术在河南省气象科学数据共享服务中的应用. 气象与环境科学, 2009, 32, (2): 83–86.
[25] 马卫华, 王飞, 卫权岗, 等. 河南省自动雨量监测网地市分中心系统. 气象与环境科学, 2009, 32, (2): 87–89.