国家卫星气象中心自1983年开始接收数字化的气象卫星数据，数据的存档和服务发展历程大体可分为3个阶段：① 人工存档与服务阶段。20世纪80—90年代，气象卫星数据使用6250开盘带和3480盒式磁带进行人工数据存档，每盘磁带的容量约30~200 MB。每天存档数据的磁带需要人工登记、入库 (脱机磁带库) 和上架。用户调用数据时，从查阅数据登记记录、查找磁带、借带、出库、装载至磁带机读出数据等一系列环节均人工完成，工作量大，数据容易丢失。② 数据自动存档阶段。90年代末期，自动磁带库和数据库技术日趋成熟，国家卫星气象中心依托风云一号 (02) 批工程建设，引入自动磁带库作为主要的数据存储设备，利用数据库和元数据技术，构建存档资料数据库，建成第一代气象卫星存档与服务系统^[1]。在这一阶段开发的系统实现了数据的自动存档和编目，用户通过数据库实时查询检索存档数据，改变了卫星资料人工存档，检索提取脱机进行的状况^[2]。但受限于网络带宽，采用C/S方式进行数据调用，局域网以外的数据服务只能由专人根据用户需求将数据从文件系统或磁带库中调出。随着卫星数据在气象应用领域不断拓展，用户对气象卫星数据共享服务的需求越来越迫切^[3-4]，原有存档服务系统已不能适应数据服务的需要。③ 基于Internet的数据共享阶段。21世纪以来，互联网以及WebGIS、分布式空间数据库和三维影像发布等各种衍生技术迅猛发展，社会对于气象信息的需求日益迫切，基于互联网的气象科学数据共享平台建设提升了气象信息共享水平^[5-8]。针对气象卫星数据日增量和存量数据巨大、历史数据的调用率高、各类用户遍布全球^[9]的特点，从2004年开始，国家卫星气象中心依托风云二号 (02) 批和风云三号工程进行卫星数据存档与服务系统的建设。这一阶段，注重解决了对大容量、更新频率高的数据存档和管理，为用户提供快捷方便的多种查询检索方法和高效的数据下载，从多个视角展示气象卫星数据和为全球用户提供基于Internet的数据服务等问题。

气象卫星数据存档与服务系统的建成，满足了在轨业务气象卫星日增2 TB的数据存档管理和每日平均1 TB数据下载服务的需求^[10]。目前，在我国民用遥感卫星数据服务领域，国家卫星气象中心数据存档和服务系统首次实现了基于Internet的存档数据全集 (在线、近线、离线) 共享服务业务运行。24000多个注册用户可7×24 h下载订购1.1 PB的国内外卫星存档数据。本文详细介绍了气象卫星数据存档与服务系统的系统目标、总体架构、主要功能以及基于Internet的存档数据全集共享、分布式时空一体化数据库存储技术、基于WebGIS的全球卫星影像发布技术、可视化处理与显示技术、三维地球影像发布技术、多源数据融合处理技术等多项关键技术的研究和应用。

依托风云卫星工程，根据风云二号和风云三号系列各批次卫星遥感仪器和数据产品的特点，建立长期、可靠、安全的业务化卫星数据存档管理系统，实现面向全国乃至全世界气象卫星数据共享服务^[11-12]。打破各个工程建设分批设备采购、分次软件系统研发带来的竖井，进行统一设计、统一调配、统一运行、统一风格，构筑一个功能完整、运行可靠的气象卫星数据存档与服务系统。实现了PB级数据的存档与管理，为不同级别的用户授予各自的访问权限和数据限量，为全球各类用户随时提供任意位置的授权数据的自动共享调用，在线数据数分钟内完成数据准备，近线数据1 h内提供回调数据，满足并发用户对数据共享服务的时效要求。

数据存档与服务系统的设计与实施，遵循了将风云卫星应用系统卫星数据存档和服务系统构成一个功能完整、运行可靠的分布式数据存储与服务系统的原则^[13]，将风云二号工程和风云三号各批次工程配备的服务器、存储和网络设备，共同构建了风云卫星数据存档与服务体系。系统整体架构如图 1所示，该系统分为4个层次：硬件基础平台、系统软件和数据资源平台、技术支撑平台和应用系统，通过应用服务门户、管理门户和移动设备门户与各类用户和管理人员交互连接。其中，硬件基础平台包括小型机服务器集群、PC服务器集群、大容量磁盘阵列、自动磁带库，以及业务网、办公网和DMZ区组成的复杂网络环境。系统软件和数据资源平台包括Unix, Linux, Windows操作系统，Oracle, SQL Server, MySQL等数据库，GPFS共享文件系统以及文件系统和数据库中保存的各类数据和信息。技术支撑平台由LSF作业调度平台、TSM存储管理平台、GIS平台、运行监控平台、移动商务平台和内容管理平台构成。软件系统分为数据存档与管理、数据检索与订购、空间数据库和WebGIS发布、运行监控和统计、用户服务和支持5个分系统。

图 1

图 1. 数据存档与服务系统架构 Fig 1. Architecture of data archiving and service syste

气象卫星数据存档与服务系统包括以下5项主要功能。

① 数据存档管理功能 实现对存档数据进行质量检验，提取各类数据和产品的元数据信息并制作快视图，进行编目存档管理；对在线、近线、离线3个层次的数据实现了自动流转和管理；实现基于数据请求的自动数据回调；进行数据安全管理，所有资料及产品均存储双份介质。

② 数据检索与下载功能 通过国家卫星气象中心卫星数据服务网站 (satellite.cma.gov.cn)，为用户提供实时及历史卫星数据及产品的联机交互检索与获取能力。提供目录检索、图形检索、分类检索等检索方式，为用户提供实时及历史卫星数据服务；对内部用户与中国气象局直属单位用户开放FTP数据区，可直接获取最新卫星资料及产品。

③ 空间数据管理与服务功能 利用卫星遥感资料具有的空间属性，进行时间序列、空间范围的查询与检索以及数据处理；基于WebGIS进行数据与产品的发布和数据下载。

④ 运行监控和统计功能 对数据存档管理的各种策略、运行参数、统计参数进行配置管理；监视各个子系统硬件和软件的运行情况，监控数据流转各环节的状态，实现各种运行信息的查询；统计每天数据存档和服务的情况，生成日、旬、月或任意时段统计结果。

⑤ 用户支持和服务功能 对用户服务流程和多种服务进行统一管理。具有移动用户信息点播、短信彩信发布、支持WAP的手机用户上网浏览等功能；提供卫星数据用户进行卫星数据处理、遥感监测方法和大气探测手段的交流论坛。

气象卫星数据存档与服务系统研究并应用了多个关键技术，实现了气象卫星全集数据基于Internet的共享，保证了全系统高效、灵活、稳定运行。使用基于WebGIS的卫星影像发布技术、时空一体化数据库存储技术和三维地球影像发布技术，在气象卫星全球影像发布和数据服务方面有突破性进展。

由于数据量巨大，必须采用在线、近线和离线三位一体的存档数据库，作为全集数据共享的基础。在逻辑层面，将每个数据文件以元数据进行表述，建立相互间的索引和映射关系，存放于元数据库中。在物理层面，分别于磁盘阵列、磁带库和脱机磁带库设立在线数据池、近线数据池和离线数据池，数据按照预先设定的策略在各数据池中自动流转。目前建成的存档数据库和元数据库可管理数千万个文件，10 PB数据。

天气预报对气象卫星数据的时效性有很高的要求，特别是汛期，静止气象卫星每15 min获取1次数据，需要进行高效Internet数据发布。将硬件平台划分为多个处理域，各处理域中运行的作业并发处理。从数据到达，经数据质量检验、建立元数据与数据文件的映射关系等多个处理环节，到数据服务网站发布全过程实现了分钟级的数据发布。在Internet数据服务网站为用户提供基于时间序列、空间范围、感兴趣区域等多种数据检索方法。

提供基于Internet全集数据的共享服务。当Internet用户订购数据时，将元数据映射为数据实体，根据其物理位置进行在线、近线或离线数据的分层自动化回调，将数据从文件系统、磁带库或离线磁带库中提取出来，在保证存档数据安全的前提下实现全球各类用户随时对任意位置的授权数据提供高效的数据自动回调。其中，在线数据2 min内完成数据准备，近线数据1 h内提供回调数据。

传统的数据服务以文件为单位。如果用户感兴趣区域数据只占1个文件的很小部分，也需要获取整个文件。特别是当用户需要访问多时次数据时，需要下载多个文件，耗费了大量网络资源。

应用空间数据库技术，在其空间索引的基础上，加入时间索引，将时间变量、通道变量加入到卫星遥感数据的管理与存储过程中去，并通过空间属性将卫星影像与卫星科学数据建立关联，建立时空一体化的多维模型存储管理卫星影像与卫星科学数据，实现以像元为单位管理遥感数据的新方法。同时，基于SQL Server 2005数据库软件，应用文件流 (filestream) 和远程文档存储 (Remote Blob Store，RBS) 解决了海量卫星遥感数据的数据库存储和管理问题。

空间数据库系统设计为分布式存储，用计算机网络将物理上分散的多个数据库单元连接起来，使用统一的数据库管理系统来进行管理，组成的一个逻辑上统一的数据库，由提升单台主机性能的纵向扩展 (scale-up) 模式调整为使用多机集群、并行出入库的横向扩展 (scale-out) 模式，解决大批量数据存取的效率问题。

系统在国内遥感卫星数据共享服务领域率先应用分布式时空一体化数据库存储技术，业务化实现了以像元为单位对卫星遥感数据的存储管理。首先对卫星科学数据进行10°×10°分块、分通道处理，并按照时间序列分布式并行存储到数据库服务器中^[9]。数据访问时，按照时间和空间特性并发获取所需的数据块，进行拼接处理后提供给用户使用，不需要对整个数据进行下载。用户通过基于WebGIS的卫星影像发布界面 (图 2)，预览影像，使用图形工具选择空间范围，时间范围与通道，以及数据格式，定制下载所需数据，解决了以轨道文件为单位下载卫星数据造成数据冗余、网络带宽占用问题。

图 2

图 2. 基于WebGIS的卫星影像发布界面 Fig 2. Satellite image publishing interface based on WebGIS

传统的WebGIS技术，没有时间维度，而气象卫星每天都可以多次接收到覆盖全球的数据。如何基于WebGIS发布多时次气象卫星影像数据，不仅需要解决时间维度的管理，还要考虑多时次全球海量数据的发布时效。系统拓展了WebGIS技术，增加卫星影像金字塔存储结构时间维度管理，实现多时次与高分辨率风云卫星影像的Web发布问题。考虑到互联网发布基于GIS的卫星影像发布的高分辨率、海量特点，对海量影像数据进行多尺度组织以实现实时缩放显示。对卫星影像数据按照不同分辨率以金字塔方式进行分层分通道进行存储^[14]，建立起一系列影像，各分辨率影像反映不同尺度下卫星影像数据的详尽程度，从而提高卫星影像的处理效率和发布速度。同时，将卫星影像分布存储到多台图片服务器，并且保存多个备份，便于对外提供并行访问要求，满足卫星影像高效发布的业务要求^[15]。

到目前为止，系统存储了风云卫星多仪器、多分辨率的全球影像资料约1.2 TB，通过Web页面展示全球影像数据需要约2 s，放大到原分辨率影像时页面展示需要约2 s。

利用气象卫星数据反演的各种产品，具有不同的表现形式和特点。使用数据可视化处理显示技术，运用计算机图形学和图像处理技术，将数据换为图形或图像在屏幕上显示出来。气象卫星数据可视化主要是将大量的遥感数据按照其组织形式分为格点数据、栅格数据、矢量数据、离散点数据等多种类别，再根据这些类别采用不同的处理方式将其转换为图像或图形，通过基于网络的人机交互方式显示其影像图、等值线图、剖面图、散点图等。根据卫星数据和应用的特点，进行多种可视化处理，生成各类影像，包括真彩图、灰度图、填充图、等值线图等。

系统目前已存储了各类数据和产品的影像约1.5 TB，通过Web页面展示各级各类数据的影像需要约2 s。

现有的三维地球影像发布如GOOGLE EARTH等侧重于高分辨率影像的发布与展示。高分辨率卫星影像的采集时间长，更新频率低，因此用于发布的影像准备时间充分^[16-17]。而气象卫星三维地球影像发布着重解决的是更新频率极高的影像发布与检索，必须对卫星影像进行高效处理，生成各种分辨率的金字塔影像，并对海量金字塔文件进行管理。

系统采用高效的全球网格裁减算法和全球网格更新算法，解决全球影像数据量大、分辨率高、快速展示问题。全球网格最初可以分为5×10共50个网格，分辨率每提高1倍，网格总数则增加到原来的4倍，网格的数量随着分辨率呈指数级增长，因此分辨率较高时网格总数非常巨大。当画面更新时，不能逐一遍历所有网格，系统采用空间四叉排序树裁剪，实现了对全球网格的高效裁剪，迅速定位到画面范围内的网格，从而大大提高了系统性能。

在三维地球平台上，各种类型的数据 (比如影像数据) 在结构上均划分为M×N个等经纬度网格。用户在三维地球上浏览的时候，画面内所能看到的网格是M×N个中的一部分。这些网格的更新往往会涉及到网络下载、图片加载 (IO操作)、数学运算、三维渲染等操作。分辨率越高画面内包含的网格数就会越多，网格更新涉及到的操作就会越多，对性能的影响越大。为了解决这一问题，采用一种基于卡马克卷轴算法的网格更新方式，剔除大量没有必要的更新操作，从而大幅度提升性能。

静止气象卫星具有观测范围广，观测时间频次高的特点。将定位于不同经度的多颗静止气象卫星观测数据综合起来，就可以获得覆盖中低纬度地区的实时连续的全球红外云图，在天气预报领域和气候研究领域都具有十分重要的意义。

系统选取CGMS确定的6颗业务静止卫星 (GOES-W，GOES-E，METEOSAT，GOMS，FY-2，MTSAT) 同一时间对地观测的全圆盘图像，对数据源进行提取及标准化处理，对提取的多星红外通道圆盘图数据进行投影、空间匹配和镶嵌处理，根据多星数据的红外通道光谱特征进行亮度均衡处理^[18-19]；进行云识别与云信息提取，将提取的云信息与背景图像融合处理，最终输出彩色的静止气象卫星全球云拼图影像。该技术解决了定位匹配、云检测、资料拼嵌、色彩均衡处理4个方面的关键问题，在国内首次实现了全球业务静止气象卫星实时数据的合成拼嵌和全球云图动画自动处理，制作出实时的多源数据高分辨率全球云拼图影像，直接服务于气象业务预报及公众展示等方面。中国2010年上海世界博览会期间，使用该技术制作了“小球大世界”栏目。

风云卫星数据种类多，处理方式各异，为保证系统的扩展性和可维护性，系统采用可配置的动态加载容器技术对卫星数据存档和服务的处理算法与程序的动态加载和相关参数的灵活配置，增加软件的复用度和稳定度，减少开发周期。

采用通用的算法加载机制加载不同来源的异构的算法组件，规范插件化的接口，并在容器与策略算法库之间开发适配器。容器对处理构件实行插件式管理，支持动态加载和动态卸载算法。同时对于算法的多个版本进行依赖管理，防止算法因找不到所依赖的不同版本算法或类库导致系统无法执行。实现跨平台支持，可部署在Windows，Linux，Unix等各种操作系统上，支持SQL Server，Oracle，MySQL等多种数据库，并提供多种外部服务接口。

通过采用可配置的动态加载容器技术，对各级各类数据存档和服务的处理流程进行配置与程序动态加载，对0~3级数据的元数据提取策略、文件名属性与文件内容属性等多种质量检验策略、多种快视图生成策略、各种数据的处理作业运行时间与频率进行参数配置，保证业务稳定和高效运行。

针对海量数据高时效处理要求，系统采用多处理域作业负载均衡并发处理技术在多台机器上 (Unix, Windows操作系统) 上进行并行处理。其中，数据存档流程、数据回调流程基于Unix操作系统实现多机作业负载均衡并发处理，空间数据处理与影像发布流程、数据检索与订购下载流程基于Windows操作系统实现多机作业负载均衡并发处理。同时，实现多个文件系统的多处理域共享，采用锁机制来控制和解决并行处理中资源和作业的冲突，包括作业锁、目录锁、磁带库存储池锁、数据处理锁，在避免资源冲突的情况下，最大限度地利用机器硬件资源。作业执行完成后锁自动释放，对于由于停机或其他原因导致作业不能正常运行，释放超过有效时间的锁，后续的作业会对未正常完成的作业继续进行操作，确保所有数据都可以正常进行处理。

目前，系统利用6台Unix服务器 (或分区) 实现多机并行数据存档和回调，利用2台负载均衡器、4台FTP服务器以及NAS存储系统实现内网数据共享，利用2台负载均衡器、4台FTP服务器以及2台Web服务器实现基于Internet数据的检索与订购下载，利用多台Windows服务器实现多机并行空间数据处理与影像发布。

系统采用横向扩展的架构设计，当新增卫星数据产品上线，可通过配置实现新增业务，且可通过在处理域增加硬件处理节点方式提升系统运行效率以适应业务增长，无需对进行系统进行重构。

系统于2005年建成投入业务使用，截止到2011年8月31日，存档国内外21颗气象卫星801类共1150 TB数据。数据共享服务成倍增长，下载数据总量达687.88 TB，历年数据下载量统计见图 3。数据服务网站注册用户数量也连年倍增，见图 4。

图 3

图 3. 数据服务网站历年服务数据量 Fig 3. Data download volume

图 4

图 4. 网站用户注册数 Fig 4. Number of registered website users

由于拥有巨大的存量数据，具有丰富的数据展现方式，为用户提供了多种数据检索方法和快捷方便的数据获取手段，实现了基于Internet的风云卫星全集数据的发布和共享，风云卫星的数据已被国内外广大用户使用。

气象卫星数据存档与服务系统应用多种关键技术，在数据共享服务方面有多项突破性进展，其主要特点如下：

1) 首次为全球用户提供基于Internet的风云气象卫星全集数据共享。

2) 为用户提供基于空间和时间的像元级数据订购。

3) 实现多时次与高分辨率风云卫星影像的WebGIS发布。

4) 系统高效稳定运行，实现了风云卫星每日3万余个文件 (2 TB) 新增数据的存档和1 TB以上数据的下载。