随着对地观测技术的发展，遥感数据获取变得越来越容易。在遥感应用需求的推动下，遥感向着多源的方向发展，大型遥感应用平台的建立，遥感数据的处理量越来越大，不能用单机模式来生产大范围或全球的遥感产品，需要设计流程化自动化的遥感产品生产系统(王桥，2010；柳钦火等，2011；贺广均等，2012；Zhao等，2013)。国家高技术研究发展计划《星机地综合定量遥感系统与应用示范》课题《多尺度遥感数据按需快速处理与定量遥感产品生成关键技术》及《星机地综合观测定量遥感融合处理与共性产品生产系统》主要研究多源遥感数据协同定量遥感产品生产技术和原型系统平台。多源遥感数据由于其数据来自不同的卫星中心和不同的传感器，并且遥感数据格式缺乏统一标准，解决数据一致无差别读写问题是全球或大区域的多源遥感数据协同进行自动化流程化产品生产的迫切需要。

传统的实验或单机模式大多使用高级语言如Matlab、IDL进行算法设计和验证，一条语句就可以读取所需数据。然而在大型的流程化自动化生产系统中，为兼顾效率、可移植性和系统平台的整体考量，要求算法使用计算机低级语言编写，这样多源遥感数据的读取是摆在研究人员面前的一道难题。由于缺乏统一标准，不同的传感器，其数据有不同的文件格式，甚至是同一传感器，其来源不同其文件格式也略有差异(例如NASA和国家气象局的MOD02数据)，导致科学家想获取格式文件中的数据，还需了解各种不同文件格式，以致于不能集中精力于遥感科学研究层面，无疑是对遥感科学发展的阻碍。

科学家在进行遥感应用算法设计和产品生产时只关心自己想得到的数据，不关心任何数据文件格式的复杂定义。如果有一个库，能解决各种不同遥感数据格式的数据一致读取问题，并且可以对研究人员屏蔽数据格式的底层细节，这无疑将研究人员从复杂的格式中解放出来，回归遥感科学研究本身，本文正是基于这一思路展开的研究。

目前有很多关于遥感数据格式读写的研究，大多数都基于GDAL(http://www.gdal.org.)库来设计和实现(刘昌明和陈荦，2011；赵岩等，2012；余盼盼等，2010；查东平等，2013；孟婵媛等，2012；张宏伟等，2012)，也有一些针对GDAL库进行数据格式扩展的研究(郜风国等，2012；王亚楠等，2012)，但基于GDAL框架不能从根本上解决不同数据格式统一读写问题。如遥感数据格式读写涉及的库主要有HDF5(http://www.hdfgroup.org)和GDAL，两者划分层次不一样，HDF5按图像、组、数据集的模式划分的，GDAL按图像、数据集、波段的模式划分。其中HDF5没有波段的概念，GDAL没有组的概念，因此使用GDAL框架来解析HDF5格式数据时，其解析流程将与其他格式不同。而且GDAL还不支持HDF5文件的创建，但是HDF5文件在存储和处理科学数据集时有很多优点(Folk等，1999)，特别是在并行处理和高性能处理方面，如HDF5的数据选择策略与MPI-IO的结合调优(Yang和Koziol，2006)及HDF5与MPI、硬件平台的结合调优(Soumagne等，2010；de la Cruza等，2011)。

GeoTIFF格式是遥感领域应用最为广泛的栅格图像格式(陈端伟等，2006)，是一种包含地理信息的TIFF格式，支持单个大于2 GB的文件，支持文件压缩等功能。GDAL由Open Source Geospatial Foundation支持开发，专门针对栅格数据进行读写、采样、投影变换等的开源库，以及一个单独的OGR库，用于矢量数据的操作。GDAL的核心是一个抽象数据模型Dataset，所有栅格数据都是针对这个抽象数据模型进行的操作。GDAL的主要优点是：(1)开源并且使用C/C++语言编写，具有很好的跨平台性；(2)对于新增数据格式的支持，官方有很好的示例，数据文件格式扩展性强；(3)支持大多数遥感栅格和矢量数据格式的读写，特别是一些商业软件也是用GDAL作为底层数据格式库。但其缺点是不支持应用越来越广泛的HDF5文件创建操作。

HDF格式分为HDF4和HDF5两种，有对应数据读写库HDF4和HDF5，都是由NCSA公司支持开发。HDF4是最早的HDF格式，但是有一些存储上的限制(如文件大小不能超过2 GB，对数据集的个数也有限制)，所以对HDF4进行了扩展产生了HDF5。根据HDF官方公告，将不再为HDF4格式增加新的特征，建议用户转到HDF5库以获得改进的性能和特征，所以本文实现的DFAL不集成HDF4库的读写接口。官方网站对HDF5的描述为：一种文件格式、可以管理任何类型的数据；一种软件、存取这种文件格式数据的库和工具；特别适合于大而复杂的数据；与平台无关；开源并且免费；支持C，F90，C++，Java APIs等语言。

NOAA AVHRR 1B格式是NOAA AVHRR数据自己定义的格式，与传统影像数据格式最大的区别是数据区域在影像中间，根据GDAL官方说明，该格式原本可以由GDAL库进行读取的。但国内大部分NOAA AVHHR数据都来自于国家气象局，国家气象局改变了原始数据的字节顺序，导致GDAL无法进行读取，然而国家气象局对发布的NOAA AVHRR 1B数据有详细官方文档，用户只需要按照文档获取每个属性和数据集的偏移、数据长度、字节序就可以完成对应数据的读取。但是针对该格式没有一个通用的数据格式读写库，在工程应用中颇为不便。

目前遥感应用按分辨率不同，其主要的数据源分别是30 m的HJ-CCD和Landsat TM；1 km的MODIS Terra/Aqua及NOAA AVHRR；5 km的静止卫星等。从数据实例可以看出，不同的数据都有其自身的特点，导致其选择不同的数据存储格式。

HJ-CCD和Landsat TM数据：HJ-CCD和TM传感器的文件格式基本都是GeoTIFF，每个GeoTIFF文件存储一个波段，每个文件各自带有投影信息，另外用文本文件记录角度信息，用XML文件记录附加元数据信息。此外，Landsat TM还存在不同波段其分辨率不一致的情形，如ETM第6波段与其他波段分辨率不同，这也是导致数据分波段存储的一个原因，因为GeoTIFF无法存储尺寸不一致的数据。

MODIS和静止卫星数据：MODIS和静止卫星(如FY2E，MSG，GOES等)传感器的文件格式基本上都是HDF5或可转换后使用HDF5库进行读取的格式。HDF5文件的特点是属性和数据集特别多，数量上没有限制。每个数据集和属性都是自描述的，同一文件支持不同尺寸的数据集。对于HDF4格式的情形，可使用官方工具H4toh5工具进行转换。

NOAA AVHRR数据：该数据来源于国家气象局，与标准的NOAA AVHRR数据格式不一致，最主要的是数据字节序是小端模式，导致常规的图像处理软件无法打开。

多源遥感数据格式抽象库DFAL的设计目标是为解决多源遥感数据的统一读写问题，并且能够让遥感科学研究人员方便使用。因此需要遵循以下设计原则：

统一性原则：对于不同数据文件格式，为用户呈现统一的数据操作接口。即用户在使用DFAL库时无需关心数据文件格式的具体类型，对于不同的数据文件格式，都使用统一的接口进行数据读写、创建等操作。

易用性原则：HDF5库函数多，应用复杂，DFAL为用户屏蔽一些细节，对数据读写功能进行了抽象，并且遵照GDAL的接口形式，实现数据读写的基本功能，以能满足日常应用和工程需求为限。将HDF5、NOAA AVHRR 1B、原来由GDAL支持的各种文件格式集成于一体，用户无需了解每类文件格式的详细信息，只需要将注意力集中在数据上，可更快更方便地编写遥感应用程序，从繁琐的遥感数据格式读写中解放出来。

为解决跨遥感数据处理平台和用户实际需求，基于DFAL，设计和实现了两个格式互转工具：GeoTIFF转HDF5格式和HDF5转GeoTIFF格式。GeoTIFF转HDF5格式用于解决GeoTIFF数据进入到多尺度按需定量遥感产品生产系统进行处理的问题。HDF5转GeoTIFF格式用于解决一些商业软件如ENVI等不支持HDF5格式或HDF5压缩格式的问题。

以GeoTIFF格式存储的遥感图像，文件中主要包含栅格影像和投影信息，在进行格式转换时，将GeoTIFF的每个波段作为1个数据集存储，投影信息作为属性存储在HDF5的属性中。

图 2显示了通过GeoTIFF转HDF5工具转换1景TM图像的实例。原TM图像中只包含1个波段和投影信息(图 2)，转换成HDF5文件只有1个组Group和1个数据集DataSet_1及投影信息ProjectionStr和ProjectionPara(图 2)。

图 2 TM的GeoTIFF格式转换到HDF5格式

Figure 2 GeoTIFF format converted to HDF5 format for TM

多源定量遥感产品生产系统中数据预处理是将原遥感数据进行几何校正、辐射校正、大气校正后(3类处理根据实际情况有选择地进行)，把原来各种不同文件格式统一存储为HDF5格式。DFAL库在其中提供数据读写的接口，通过使用DFAL，可以对不同的文件格式进行统一读写，无需考虑文件格式的差异性，使研究集中于几何、辐射、大气校正算法的改进和优化。预处理涉及的数据格式主要有GeoTIFF、HDF5、NOAAAVHRR 1B等，涉及的卫星有HJ、Landsat、Terra、Aqua、NOAA、FY2E、FY3A、FY3B、GOES、MTSAT、MSG等。图 4显示了基于DFAL库实现的HJ-CCD数据由原始数据到标准产品的变换过程示意，将原来HJ-CCD的4个GeoTIFF文件以及文本文件中存储的4个角度数据经过几何、辐射、大气处理后存储在一个HDF5文件中。

图 4 HJ-CCD数据标准产品生产过程示意图

Figure 4 Schematic diagram of production process for HJ-CCD standard products

多源定量遥感产品生产具有数据源多，数据格式复杂等特点，给遥感科学研究带来了很大的不便，本文在研究了各种遥感图像数据文件格式的基础上，针对现有遥感数据格式库GDAL、HDF5的不足，主要问题是GDAL不支持HDF5格式的创建和写操作，并且GDAL与HDF5库在抽象层次上也不一致，没有办法实现一致读写；HDF5库在应用中对于遥感行业人员来说太复杂，没有与GDAL一样层次清晰的接口；各种遥感数据格式读取没有一个统一的接口，因此设计了一个具有全新顶层架构的DFAL库来解决多源遥感数据格式的读写问题。

基于统一接口形式的多源遥感数据格式抽象库，使遥感专业人员可以从繁杂的遥感数据格式中解放出来，将更多的精力投入到遥感科学研究上。基于DFAL库实现的两个遥感栅格数据格式转换工具：GeoTIFF转HDF5格式和HDF5转GeoTIFF，可以实现不同遥感平台间数据格式相互转换，起到促进行业交流和应用的目的。此外当前遥感应用的一些软件如ENVI也不能很好支持HDF5格式，通过这两个工具，可以将HDF5格式数据转成GeoTIFF后再使用。

在多源遥感定量产品生产系统中，基于多任务平台1000多景影像的多源定量遥感产品生产测试，没有出现DFAL自身问题而导致的错误，证明了DFAL库的可用性和实用性。目前该库已经提供给了国家高计术研究发展计划项目《星机地综合定量遥感系统与应用示范》中的多个参加单位使用，简化了多源定量遥感产品生产算法的程序编制。如多源产品生产主要涉及3种不同数据格式，不使用DFAL时3种数据格式需要分开考虑，使用DFAL后3种不同数据格式可以统一对待，其IO部分的代码、逻辑的工作量只有原来的三分之一。

未来将主要进行3方面的研究和扩展：对支持的遥感数据格式进行扩展，并实现自动的遥感数据格式匹配；支持基于DFAL库的自动投影转换，以更方便地应用于不同投影数据的协同处理；支持多源时间序列数据的读写操作，更好地为多源、长时间序列的遥感应用服务。