2. 中国山西 041000 临汾中心地震台
2. Linfen Central Seismic Station, Shanxi Province 041000, China
测震台网经“十五”数字化建设,测震数据采集设备(以下简称数采)均内置大容量硬盘或者存储卡,具备本地存储能力,一般能够存储1天以上地震数据。但是在网络数据传输中断时,测震台网数据接收系统不能自动从数据采集设备补充中断数据,导致台网中心数据库数据丢失。而此部分缺失的波形数据在数采本地有存储,如何有效利用数采本地存储能力,将网络传输中断后的数据及时补充到测震台网中心数据库,是当前急需解决的问题。
地震波形数据是宝贵的原始记录资料,保证波形数据的完整性和连续性,对于地球物理研究具有重大意义。结合当前测震台网实际情况,研究测震台网补数技术原理及实现方法,针对测震台网使用的不同型号数采,分别开发测震台网自动补数服务器系统(以下简称SDARS)和测震台网手动补数工具软件(以下简称SeisDataUtil),其中SDARS作为测震台网生产系统JOPENS的伺服系统,与JOPENS紧密结合,自动检测JOPENS数据缺失记录,并自动从台站数采下载数据进行补充;SeisDataUtil作为SDARS的功能补充,提供从不同格式的地震数据文件(MiniSeed、GCF、EVT、SEED等格式)手动补数功能。
1 补数原理及实现当前测震台网使用的数采种类比较多,设备与测震台网中心通过实时流传输协议进行数据传输,当网络数据传输中断时,数采普遍不支持断点续传(仅美国SMART24数采支持断点续传),测震台网中心就会丢失中断期间的数据。当前数采设备基本配备硬盘或内存卡,数据会实时写入数采本地存储设备,补数原理就是充分利用数采本地存储数据来补充测震台网中心缺失部分数据。
为了实现波形数据补充,需要做到以下几点:①清楚测震台网中心缺失哪些波形数据,包括数据缺失时间及台站等信息;②确定如何远程获取地震台站缺失数据对应的数采本地波形文件;③解析数采本地存储波形文件格式;④将数采本地波形文件格式转换为测震台网中心波形存储格式,并将数据补充到测震台网中心存储库。
波形数据补充流程见图 1,流程中各步骤实现方法如下。
(1)获取测震台网中心波形数据缺失记录。当前测震台网基本采用JOPENS进行波形数据汇集和存储,JOPENS4.4以前采用MYSQL数据库进行波形存储,采用5.2版本后利用AWS进行存储(吴永权等,2010)。由于中国测震台网当前基本都升级到5.2版本,所以主要考虑针对5.2版本的数据补充。5.2版本波形存储采用每天/每通道1个MiniSeed文件的形式进行波形数据归档,可以通过读取并扫描每天的MiniSeed文件,得到波形记录缺失记录。
(2)针对每条波形缺失记录(包括台站、通道、数据缺失开始时间和结束时间)。从对应地震台站数采下载对应时间的波形数据文件,目前数采均提供用户下载本地存储数据的接口(如:港震机电有限公司数采提供FTP,用户可以使用FTP工具下载波形数据;英国Guralp数采提供Web网页方式,用户登录数采网页下载波形数据),根据数采型号的不同,采用相应下载工具将波形数据文件下载到本地。
(3)不同型号数采的波形数据文件格式各不相同。如:港震机电有限公司数采采用EVT格式(不同时期的数采EVT格式也不同),英国Guralp数采采用GCF格式,其他数采采用SEED格式或其他特定格式。由于目前测震台网绝大多数数采采用港震、Guralp设备,因此主要考虑二者数采的数据格式,对不同格式的波形数据文件进行解析,得到波形数据文件控制头信息及原始波形数据。
(4)将解析后的原始波形数据转换为MiniSeed格式。读取待补充的测震台网中心缺数波形归档文件,查找缺失记录在文件中的位置,将转换后的MiniSeed数据补充到该位置,即完成波形数据补充。
2 自动补数系统及补数工具软件为了实现波形数据补数功能,需编制软件实现波形数据补充流程的相关步骤,如:扫描JOPENS波形归档文件获取数据缺失记录、解析数采本地存储波形文件、提取数采波形文件内容补充缺失波形记录等(刘克骧,2015)。
大部分波形数据补数流程可以通过程序自动完成,而从数采远程下载波形文件需要人工手动完成。港震数采提供FTP方式下载波形文件,也可以通过程序自动完成(使用第三方FTP库);其他数采,如Guralp数采只提供网页形式的波形文件下载,因未公开其内部接口,不能自动下载波形文件,只能手动进行补数。基于此,分别开发自动补数系统(SDARS)和辅助补数工具软件(SeisDataUtil)。SDARS可以自动检测数据缺失记录,并自动从数采(仅支持港震数采)下载波形数据进行补充;SeisDataUtil作为SDARS的辅助软件,支持其他类型数采的手动数据补充。
2.1 自动补数系统SDARSSDARS采用JAVA语言开发,运行于流服务器端(JOPENS5.2及以上),24小时不间断运行,定时检测流服务器归档目录下各通道数据文件缺失情况,当检测到某通道数据缺失时,系统会调度一个工作任务,从数采下载相应波形文件,转换成MiniSeed格式,并插入缺失通道的归档数据文件,完成数据补充。当前自动补数系统支持港震机电公司的EDAS24-IP和EDAS24-GN数采(彭朝勇等,2012),SDARS同时定时生成补数情况报告和数据完整率报告。自动补数系统SDARS主要包含:总控制台、设备数据管理器、数据工具及数据服务4部分功能模块,系统结构见图 2。
(1)总控制台。总控制台是系统控制中心,负责系统运行流程和数据流程的流转,主要包含配置管理、调度器、线程池和报表生成模块。配置管理模块管理系统配置,自动补数台站配置及通道数据映射等;调度器负责任务的调度,包含缺数检测任务、报表生成任务、数据下载任务及补数任务等;线程池是任务执行容器,提供线程池以提高系统运行效率;报表生成模块提供补数情况报告及流服务器数据完整率报告的生成。
(2)设备数据管理器。设备数据管理器对自动补数台站设备数据进行统一管理,提供数采设备波形文件的本地缓冲,避免多次下载数据文件。由于部分数采设备本地只保存少量数据文件(部分数采只提供最近12小时波形数据存储),因此系统每小时定时从数采下载波形文件到本地,避免数采数据文件丢失;提供定时清理缓冲数据文件,避免本地数据文件过多,导致硬盘空间不足。
(3)数据工具。该部分包括缺数检测模块和数据补充模块。缺数检测模块向流服务器AWS发送命令获取数据缺失记录,数据补充模块支持MiniSeed格式文件数据的补充。
(4)数据服务。该模块提供报表及状态等数据服务,在指定端口监听,通过专用协议和客户端通讯,接收客户端请求并返回相应数据响应。
2.2 补数工具软件SeisDataUtilSeisDataUtil是1个JAVA图形界面工具软件,是对自动补数系统的功能补充,提供手动补数功能。SeisDataUtil提供MiniSeed格式归档文件扫描功能,能够扫描到MiniSeed文件缺失记录,用户自行准备缺失记录对应的数据源,软件从数据源抽取相应数据记录进行补充。当前数据源支持的地震文件格式有SEED、SAC、GCF、EVT(港震)。
补数工具的主要组件包括MiniSeed文件扫描器、数据补充模块及与自动补数服务器通信模块,其中:①MiniSeed文件扫描器组件能够扫描MiniSeed格式地震数据文件,扫描其中是否有数据缺失,扫描完成后返回缺失记录列表,每条缺失记录包含起始时间及持续时间;②数据补充模块将不同文件格式的地震数据文件内容补充到MiniSeed格式数据文件,当前支持的地震数据文件格式包括Seed、SAC、Gcf、Evt和MiniSeed。数据补充模块根据扫描到的缺失记录,在相应数据文件里提取对应时间及长度的数据,并编码成MiniSeed格式数据(STEM2)(IRIS,2006),填充到待补充数据文件;③通信模块提供与自动补数服务器之间的数据交换,采用自定义基于Socket的通信协议,客户端可以获取服务器自动补数情况报告、流服务器数据可用率报告及服务器状态等信息;④SDARS和SeisDataUtil之间通过专用协议进行通讯,通过该协议,补数工具可以从SDARS下载各类报告,并获取服务器运行状态。
3 应用效果SDARS作为JOPENS系统的伺服系统,与流服务器部署在一起,定时监视流服务数据接收情况,及时补充因网络中断而丢失的原始波形数据;SeisDataUtil作为SDARS的有效功能补充,对于不能自动补数的数采,通过SeisDataUtil手动进行原始波形数据补充,对于长时间网络中断情况(如几天)更加有用,用户可在数采设备本地下载数据,通过SeisDataUtil进行数据补充。SeisDataUtil作为SDARS的辅助补数软件,有利于提高测震台网波形数据完整率。
山西测震台网目前主要使用港震机电有限公司和英国的Guralp数采设备,其中港震设备约占60%,Guralp占40%。港震数采可以使用SDARS进行自动波形数据补充,Guralp可以使用SeisDataUtil进行手动补数,目前二者已在山西测震台网使用,总体效果良好。
在未使用SDARS前,山西测震台网港震数采数据完整率均在99%以上,即使网络数据传输不中断,也难保持100%的数据完整率,连续波形文件扫描经常发现间歇性丢包现象(持续时间一般几秒)。部署SDARS后,通过补数报告发现,间歇性丢包数据基本可以补充,运行率可基本保持100%;对于网络故障(网络中断几小时),在网络恢复后SDARS会及时从数采下载波形文件到本地,并在指定时间完成波形数据补充。从系统试运行情况看,SDARS总体运行良好,对于网络中断时间不太长的情况,基本能实现波形数据的自动补充。
对于山西测震台网使用的英国Guralp数采,暂时未发现间歇性丢包现象,若网络无故障,数据完整率基本保持100%;若出现网络故障,可以人工登录数采Web页面下载波形文件,使用SeisDataUtil工具手动补充数据;对于长时间网络中断(大于1天),运维人员到数采本地下载波形文件并带回测震台网中心,使用SeisDataUtil工具补数。
全国其他测震台网跟山西测震台网基本类似,使用的数采绝大多数是港震或Guralp的,因此系统在可全国范围内得到良好的应用。
4 结束语为了提高测震台网数据完整率,更好利用数采设备本地存储能力,开发自动补数系统(SDARS)和补数工具软件(SeisDataUtil)。SDARS系统在试运行期间运行稳定,能够应付大多数数据丢失现象;SeisDataUtil作为辅助补数工具软件,使用灵活,能够适应更多应用场景。系统同时提供更精确、实时的系统完整率统计报表和补数统计报表;数采设备管理器能够定时将数采设备的波形数据备份到本地,方便系统运维。系统试运行期间运行稳定,有效提高了山西测震台网数据完整率及运行率(中国地震局监测预报司,2003)。
系统初期主要考虑当前使用最多的数采设备,今后将支持更多型号的数采,补数工具今后将支持更多波形文件格式。地震波形是宝贵的原始资料,在数据补充时务必保证原始波形数据的安全性和完整性,需多次测试,验证数据安全性。
补数系统开发遵循行业标准,部署方便,可以在中国测震台网推广使用。
刘克骧. JOPENS 系统下断记记录数据补救[J]. 地震地磁观测与研究, 2015, 36(4): 117-121. | |
彭朝勇, 杨建思, 薛兵, 等. 通用地震数据采集器 EDAS-24GN 中 CPU 数据收发方式[J]. 地震地磁观测与研究, 2012, 33(1): 117-122. | |
吴永权, 黄文辉. 数据处理系统软件 JOPENS 的架构设计与实现[J]. 地震地磁观测与研究, 2010, 31(6): 59-63. | |
中国地震局监测预报司. 数字地震观测技术[M]. 北京: 地震出版社, 2003. | |
IR IS. SEED Reference Manual[M]. New York: United States Geological Survey, 2006. |