应用气象学报  2009, 20 (4): 497-503   PDF    
引用本文
肖文名, 酆薇, 杨根录. 气象信息传输业务流程优化的初步分析[J]. 应用气象学报, 2009, 20(4): 497-503.
Xiao Wenming, Feng Wei, Yang Genlu. The Preliminary Analysis and Optimization of Meteorological Data Delivery Operation Flow[J]. Journal of Applied Meteorological Science, 2009, 20(4): 497-503  
气象信息传输业务流程优化的初步分析
肖文名1, 酆薇2, 杨根录2     
1. 广东省气象信息中心, 广州 510080;
2. 国家气象信息中心, 北京 100081
2008-08-15 收到, 2009-03-30 收到修改稿.
摘要: 以雷达、自动站、T213数值预报产品及卫星4种资料为例, 应用规范的流程分析方法分别绘制了其传输流程图, 在此基础上选定了几个关键时间点(资料产生时刻、资料到省气象局时刻、省气象局发送时刻、国家气象信息中心接收时刻、国家气象信息中心广播时刻、省气象局广播接收时刻等), 并据此定义了几个关键性能指标(KPI:key performance indicator), 通过传输时效测试, 捕获了4类资料端到端流程中各关键点时刻, 然后进行定量统计和分析, 针对分析中揭示的影响时效的关键环节进行诊断, 提出优化调整方法并实施, 较大地提高了传输时效, 取得了很好的业务效果。
关键词: 业务流程    时效分析    KPI    
The Preliminary Analysis and Optimization of Meteorological Data Delivery Operation Flow
Xiao Wenming1, Feng Wei2, Yang Genlu2     
1. Guangdong Meteorological Information Center, Guangzhou 510080;
2. National Meteorological Information Center, Beijing 100081
Abstract: Radar products, AWS data, T213 model products and the satellite product data are taken as cases, and the operation process flows for them are drawn using standard flow analysis method. Several critical time points are defined (for instance, data zero time, time of data arrival in provincial meteorological bureau, time of data sent to National Meteorological Information Center, time of data broadcast and so on), then several KPIs (key performance indicators) are identified. During the process of experiments, critical time points are recorded, then quantitative analysis and statistics are performed for time consumed in each leg of data delivery. On this basis, the critical factor that influences timeliness of data delivery is analyzed. Analysis suggest that the critical factors that influences timeliness of radar product data and AWS data are T1(the internal of data zero time and time of data arrival in provincial meteorological bureau) and T2(the time internal of data arrival in provincial meteorological bureau and data sent to National Meteorological Information Center); the cause is that there is no standard data delivery service flow in the two leg of data delivery. The critical factor that influences timeliness of T213 is the DVB-S broadcast, which consumes 5852s, taking 99% of the end to end data delivery time. The amount of T213 files is so large that the bandwidth of broadcast is overloading. In addition, during the experiments it's also found that some log data of delivery is absent. So standard data delivery service flow for the whole operation system should be established. Then the optimization solution is proposed and implemented. The result of optimization shows that the timeliness of data delivery is increased significantly and better operation effect is obtained. The optimization has practical significance in establishing standard data delivery service flow and increasing the timeliness of data delivery.
Key words: operation process     timeliness analysis     KPI    
引言

近年来, 随着气象业务的飞速发展, 气象资料的种类越来越多, 新增资料传输文件数量大、信息量大、传输时效要求高, 分钟级甚至秒级的数据越来越多; 同时, 精细化预报、短时临近预报、公共气象服务等业务也要求资料高时效地到达用户手中。另一方面, 由于资料的增加, 传输流程也越来越复杂, 流程涉及的单位和环节多而不规范, 不可避免地造成部分信息传输时效满足不了业务要求, 所以, 对现有传输业务流程现状进行优化和定量分析, 找出影响传输时效的关键环节和问题, 有针对性地进行调整和优化非常必要。

本文通过对雷达资料、自动站、T213数值预报产品、卫星资料4类资料传输业务流程的优化分析, 确定了影响传输时效的关键环节, 有针对性地提出流程改进优化方案并实施, 提高了信息传输时效, 取得了很好的业务效果。通过这一工作, 探索出一套进行气象资料信息传输流程测试与分析的科学方法, 为今后持续改进气象信息传输流程创造条件。

1 业务流程优化及分析方法

业务流程是一系列结构化的可测量的活动集合, 并为特定的市场或特定的顾客产生特定的输出[1-2], 以业务流程分析、优化为核心的业务流程规划是企业信息化规划的重要组成部分[3], 业务流程分析、优化, 业务流程重组和业务流程再造已越来越多地被企业和政府部门重视和实践[4-14]。气象信息传输业务流程是指信息从台站生成到通过网络系统传输到用户手中所经过的所有环节及各环节对信息的处理活动。

朱海平等[15]针对管理型流程的特点, 基于任务活动执行时间为零或者服从指数分布的假设, 建立了业务流程的广义随机工作流网模型, 并利用马尔可夫链理论来分析流程的时间性能。针对气象信息传输业务的特点, 应用基于KPI (key performance indicator, 关键性能指标)的流程分析方法, 按资料对气象信息传输业务流程现状进行分析, 建立规范的气象信息传输现状流程图及流程说明表格文档, 通过计算相关KPI值, 定量分析了4类资料各环节传输耗时分布状况。

1.1 KPI定义

KPI的确定是为了准确、定量反映业务流程的现状, 在仔细分析了4类资料传输流程现状的基础上, 确定了主要的传输环节:测站到省气象局、省气象局到国家气象信息中心(NMIC), NMIC到广播主站, 主站广播到小站广播接收等主要环节。图 1为雷达产品时效统计指标示意图。图中t代表某个时刻, T代表某环节用时, T就是定义的传输耗时类KPI指标。为了更好地表征实际业务流量下的传输时效, 又定义了日传输文件数、日传输信息量等其他非时间性的KPI指标。

图 1. 雷达产品统计指标示意图 Fig 1. Statistical indicators of radar data delivery

图 1中, t0为雷达体扫开始时刻, t1为省气象局落盘时刻, t2为省气象局接收处理完成时刻, t3为省气象局发送开始时刻, t4为NMIC落盘时刻(实际上也是省气象局发送结束时刻)等, T1=t1-t0为体扫开始到文件传输到省气象局的耗时, T3=t3-t2为省气象局接收处理结束到省气象局发送开始耗时, 也就是资料在省气象局的处理耗时, 依次类推, T5至T8分别为相应环节的传输耗时。其他的资料也是按照类似方法设计了相应的KPI指标。不同资料的传输流程不一样, 因此定义的KPI值(如T1, T2, T3等) 含义也不一样。

分析统计时, 用各环节传输耗时的最大值、最小值和平均值来反映其传输耗时情况。最大值反映该类资料在该环节传输过程中的极端最慢状况, 最小值可反映极端最快状况, 平均值可反映该类资料所有数据文件传输的总体状况。

1.2 时钟同步

为保证整个传输流程中涉及的所有计算机时钟准确一致, 得到准确的各环节传输耗时分布, 测试方案中采用NTP (network time procotol, 网络时间协议)协议来建立时间同步系统, 实现时钟同步。在NMIC建立一级NTP服务器, 与互联网上标准时钟同步, 国家级相关计算机以此服务器时钟为时钟源; 在省气象局建立二级NTP服务器, 以国家级的一级NTP服务器时钟作为时钟源, 其他计算机(包括台站) 以二级NTP服务器时钟作为时钟源, 并每小时自动校时(可根据业务需求设置校时间隔)1次, 初步测试结果表明, 该方案实施后, 工作正常的机器时钟按1小时对时1次, 时间误差在0.05 s以内。

2 业务应用数据获取与处理 2.1 业务流程图的绘制

流程分析的前提是准确分析理解流程现状。实际测试分析中采用自顶向下工作方式对业务流程进行详细调查, 调查结果用泳道流程图形式来表示, 形成对现行传输流程的概要描述。泳道流程图的描述形式为二维结构, 每一维代表一级业务组织机构或功能描述。首先画出高层管理的业务流程图(一级流程图), 然后再对每一泳道进行分解画出详细的泳道业务流程图(二级流程图), 这样层层分解流程图直到完全描述清楚流程细节为止。

针对各类气象资料传输流程的差异, 按照资料类型分别编写现状流程手册, 形成包括流程说明表格、KPI定义在内的系列文档, 并通过绘制业务流程图对各类气象资料从台站到省到国家到最终用户的端到端传输流程(包括国家级和省级) 现状进行逐层分解详细描述。由于篇幅所限, 文中仅给出自动站资料的业务流程分析图(图 2)。

图 2. 自动站资料的业务流程分析图 Fig 2. Operation process flows of AWS data

2.2 原始数据预处理

针对这4类资料, 国家气象信息中心联合广东、湖北、内蒙古先后开展了3次测试, 测试是在目前实际运行的业务系统上进行, 通过收集雷达、自动站、T213数值预报产品、卫星资料4个业务系统的日志文件获取原始数据, 并对原始数据进行分析处理。

测试需要的不同时间点数据分别存在不同的日志文件中。比如:省气象局接收时间在省气象局接收日志文件中, 省气象局发送时间在省气象局发送日志文件中; 同样, 国家级接收和发送时间分别在国家级的不同日志文件中。首先从原始日志数据文件中提取需要的测试数据, 经过初步整理后导入到数据库表中, 再对原始数据进行清洗和整理, 提取关键信息并进行规范化处理, 按资料类形成端到端的测试数据。

2.3 KPI计算

用经过预处理后的数据, 计算出资料在各传输环节的耗时, 即计算出相应的KPI值, 并对计算结果进行汇总存储, 形成包含KPI值的完整测试数据, 以便对结果进行一致的统计分析。

3 测试结果统计分析及优化 3.1 结果统计分析

表 1中所示为4类资料传输端到端总耗时统计结果(其中雷达资料以2008年5月12日3省测试全部数据为样本, 其他资料以5月14-16日3省测试全部数据为样本), 包括平均值、最大值、最小值、标准方差。对雷达资料和自动站这两类从台站开始传输的资料, 统计的是从台站产生至用户接收用时, 对T213产品和国内卫星资料这类从NMIC下发的资料, 统计的是从产品生成到省气象局接收用时。标准方差是所有统计样本数据文件传输用时与平均用时的方差。

表 1 4类资料传输端到端总耗时统计结果 Table 1 End to end time for delivery of four kinds of data

图 3是雷达产品、自动站、T213和卫星4类资料端到端传输各主要环节平均耗时按比例统计的饼状图。图 4是雷达、自动站资料端到端传输统计结果对比柱状图。

图 3. 雷达产品、自动站、T213和卫星4类资料端到端传输主要环节平均耗时对比 Fig 3. Comparison of average time consuming of end to end data delivery of radar products, AWS data, T213 and satellite products

图 4. 雷达、自动站资料传输耗时平均值统计结果对比 Fig 4. Comparison of average time consuming of data delivery of radar products and AWS data

从表 1、图 3、图 4可以看出:

①在雷达基数据传输中, T1(雷达体扫开始到数据传输到省气象局) 所占时间最长, 平均为762 s, 相对于T1, 其他环节(包括数据从省气象局传输到NMIC, NMIC经过内部所有流程到广播系统广播, 再到台站接收到广播数据) 耗时平均之和仅83 s, 即使去掉雷达体扫所需的360 s时间, 基数据从雷达站传输到省气象局所耗时间(762-360=402 s) 也是其他所有环节耗时的近5倍。雷达产品传输跟雷达基数据类似, 影响时效的主要环节也是从雷达站到省气象局这个环节。

②在自动站资料的传输中, T1(台站到省气象局)、T2(省气象局到NMIC)、T3(NMIC到用户) 耗时比例分别为40%, 28%和32%, 最大耗时环节还是台站到省气象局。

③在T213数值预报产品的传输中, 最大耗时环节是NMIC到用户(指通过广播下发到各地), 平均耗时5859 s, 占整个传输时间的99%。卫星资料的下发类似T213资料, 主要耗时也是出现在NMIC到用户(指通过广播下发到各地)。

对广东、湖北、内蒙古3省5月14-16日连续3 d自动站测试数据的统计平均值分别进行各环节传输耗时占端到端传输总耗时的百分比统计, 得到图 5。图 5中KPI值含义如下:T1=t1-t0:单站观测至省气象局收到单位文件; T2=t2-t1:省气象局收到单站文件至省气象局文件(打包/单站)上传NMIC; T3=t3-t2:省气象局(打包/单站)上传NMIC至文件NMIC落盘; T4=t4-t3:文件NMIC落盘至NMIC接收处理结束; T5=t5-t4:NMIC接收处理结束至NMIC本地分发结束; T51=t51-t4:NMIC接收处理结束至DVB-S主站落盘; T6=t6-t51:DVB-S主站落盘至DVB-S主站发送完成; T7=t7-t6:DVB-S主站发送完成至DVB-S小站收到。从图 5中可以看出, 3省自动站资料传输总耗时及各环节耗时百分比均不一样, 差异很大, 如T2(省气象局接收到省气象局发送耗时), 广东占50%和44%, 湖北占28%和24%, 内蒙古却只占6%和5%, 所以表 1中计算的各类资料传输耗时标准方差值很大, 说明这些资料在各省的传输中, 相同环节其传输流程和策略不很规范, 差异较大。

图 5. 自动站资料传输各环节传输耗时占端到端传输总耗时百分比 Fig 5. Percentage of time consuming for each stage in AWS data delivery

3.2 原因分析及初步优化改进

从上面统计分析来看, 雷达资料上传, 耗时最长的环节为测站到省气象局(T1), T1时间长的主要原因是雷达资料从测站到省气象局, 传输中间环节较多, 涉及的软件也较多, 有NMIC统一配发的, 也有省气象局自己开发的, 并且各环节均采用固定时间间隔查询发送的方式转发, 时间间隔各测站设置也不一样。要提高传输时效, 需统一规范传输流程, 减少雷达站到省气象局之间的传输环节, 改固定时间间隔传输策略为事件触发机制传输策略。优化工作因牵涉到雷达站业务改变, 第一阶段未对其实施流程优化, 需在下一阶段寻找合适时机实施优化调整。

自动站资料传输, 耗时最长的环节为测站到省气象局(T1) 和省气象局接收到省气象局发送(T2)。由于测站机器无法全网同步, 所以T1不完全准确, 但T2是准确的, T2时间长的主要原因是各省气象局根据自己的业务需求开发了各自的传输软件, 造成了目前传输流程的差异。通过减少省级处理环节和处理时间间隔(还未根本改变处理策略), T2是可以得到改善的。图 6是广东省自动站资料传输流程优化前后T2的对比, 从图 6可以清楚地发现, 优化改善的效果非常明显。

图 6. 广东省自动站资料传输流程优化前后T2值对比 Fig 6. Comparison of T2 before and after optimization of Guangdong AWS data delivery

T213资料广播分发传输, 耗时最长的是广播发送接收环节。主要原因是T213文件数太多, 且是大批量的文件同时到达, 造成I/O瞬间繁忙; 同时广播系统划分给T213资料的广播通道带宽太小(保证带宽仅30 Kbps, 最大广播带宽也不超过400 Kbps)。因此在T213文件广播时造成排队现象, 使得T213资料的传输耗时统计标准方差较大(卫星资料也是如此), 如表 1所示。因此要提高传输时效, 一方面需要采用文件打包等方式减少文件数, 另一方面需要调整广播系统的业务通道划分, 增加T213资料广播带宽, 经过这两方面的调整, T213资料传输时效改善非常明显。图 7为T213资料传输优化前后时效对比。

图 7. T213资料传输流程优化前后耗时对比 Fig 7. Comparison of time-consuming before and after optimization of T213 data delivery

4 结论与讨论

本文简要介绍了气象信息传输流程优化及时效分析方法, 对雷达、自动站、T213数值预报产品及卫星产品4种资料的传输流程和时效进行了分析和统计, 计算了资料传输各环节的耗时及分布, 分析了影响传输时效的主要环节及其原因, 并对部分资料传输流程进行了优化改进, 取得了很好的效果, 小结如下:

1) 测试结果表明建立全网业务时钟同步条件已经具备。从本次测试过程中建立的国家气象信息中心、广东省气象局、湖北省气象局、内蒙古气象局所有雷达站及相关业务机器的时钟同步效果来看, 建立全国气象业务时钟同步是完全可行并可业务化的, 时钟同步是传输时效统计分析的基础, 也是保障全网观测业务精准的前提, 对气象预报和气象科学研究具有非常重要的意义。

2) 雷达、自动站等由测站上传的资料, 影响时效的主要环节是测站到省气象局和省气象局接收到省气象局发送, 究其原因都是因为该环节没有统一标准的业务流程与业务规范。

3) T213数值预报产品、卫星资料等下发类资料, 影响传输时效的主要环节是DVB-S广播。如T213资料从开始广播到广播结束平均时间为5852 s, 占了整个端到端时间的99%, 主要原因是文件数过多, 广播带宽不够, 经过文件打包和增加带宽等优化处理后, 平均时间减少到549 s, 效果非常明显。此外, 在广播带宽不够的情况下, 可以考虑增加通过地面宽带网络来传输该类资料到省气象局, 也可以大幅度提高传输时效。

4) 测试分析中发现, 目前的传输过程日志文件不完备, 无法对全流程进行时效分析。由于缺少相应的传输日志记录, 在测试中无法定量分析测站到省气象局的流程情况。因此, 在流程规划和信息化规划中制定统一规范的传输日志是非常必要的。

业务流程是整个气象业务的核心, 业务流程优化分析是一项基础性、长期性工作。本文在气象部门对资料传输业务流程进行了定量化分析, 但由于时间限制, 仅仅包括了雷达等4类资料, 更多资料种类的流程分析还有待进一步开展。此外, 应用本文所介绍的方法, 进行预报业务流程和公共服务业务流程的定量化分析在建立现代气象业务体系中也具有重要意义, 此项工作也有待于专门领域的技术管理人员适时开展。

参考文献
[1] Davenport T, Short J, The New Industrial Engineering:Information Technology and Business Process Redesign. Sloan Management Review, 1990.
[2] 王玉荣. 流程管理. (第2版). 北京: 机械工业出版社, 2007.
[3] 范玉顺, 胡耀光. 企业信息化战略规划方法与实践. 北京: 电子工业出版社, 2007.
[4] 李集明, 沈文海, 王国复. 气象信息共享平台及其关键技术研究. 应用气象学报, 2006, 17, (5): 621–627.
[5] 高梅, 接连淑, 张文华. 气象科研数据共享系统建设. 应用气象学报, 2004, 15, (增刊).
[6] 梁海河, 高玉春, 刘黎平, 等. 分布式开放型多普勒天气雷达产品系统设计. 应用气象学报, 2006, 17, (1): 113–118.
[7] 陈佳. 信息系统开发方法教程. 北京: 清华大学出版社, 2005.
[8] 胡萍. 业务流程再造在政府中的应用. 合肥学院学报(社会科学版), 2007, 24, (5): 46–48.
[9] 袁亮. 浅谈业务流程重组. 科技信息(学术研究), 2007, (20): 299–301.
[10] 王维娥. 从优化业务流程谈信息化管理. 煤炭技术, 2006, (2): 10–12.
[11] 薛非. 业务流程重组(BPR)理念在图书馆工作中的运用. 江苏教育学院学报(社会科学版), 2005, 21, (5): 99–101.
[12] 赛迪顾问. 流程优化思路和方法. 中国计算机用户, 2004, (5): 24.
[13] 曹亮. 优化管理流程提高服务质量. 软件世界, 2007, (16): 96.
[14] 常丹, 王金银. 应用业务流程整合(BPI)方法设计供应链管理系统. 微型电脑应用, 2007, 23, (7): 18–20.
[15] 朱海平, 邵新宇, 肖诗旺, 等. 业务流程时间性能定量分析. 工业工程与管理, 2006, (2): 56–60.