测绘地理信息   2016, Vol. 41 Issue (1): 74-78
0
多源数据组织建模在海洋空间数据管理中的应用研究[PDF全文]
邢喆1, 王祎婷1, 李艳雯1, 樊妙1    
1. 国家海洋信息中心,天津,300171
摘要: 针对现有海洋空间数据管理的业务需求,应用多源数据模型建模与组织管理技术,分析研究了现有各类海洋空间数据的存储模型、组织模型、结构模型和业务模型,并分别构建出其空间数据模型,在此基础上,研发出海洋空间数据信息管理系统,实现了多种类、多形态、多模式数据的简便入库和一体化管理,极大提升了现有的数据管理信息化服务能力。
关键词: 数据建模     元数据建模     海洋多源数据     多源异构    
Marine Spatial Data Management System Based on Multi-Source Data Organization Infrastructure
XING Zhe1, Wang Yiting1, Li Yanwen1, FAN Miao1    
1. National Marine Data and Information Service, Tianjin 300171, China
First author: XING Zhe, senior engineer, mainly engaged in marine surveying and mapping work. E-mail:xz_nmdis@163.com
Foundation support:The State Oceanic Administration of Marine Special Public Industry Research (20125004)
Abstract: To address the operational needs for efficient management of marine spatial data, we analyze storage model, organization model, infrastructure model and business model for currently available marine spatial data, and propose the spatial data model by applying modeling and organization techniques for multi-source data. Using the established multi-source spatial data models, we develop the marine spatial data management system, which realizes the easy storage and integral management of spatial data of multi-kinds, multi-formats and multi-modes. This system has greatly enhance the capability of national oceanic spatial data management and information service.
Key words: data modeling     metadata modeling     oceanographic multi-source data     multi-source heterogeneous    

近年来,随着国家海洋综合调查能力的不断提高,获取到了大量包括海洋基础地理数据、海底地形、海洋地球物理、海洋地质、海洋航空与卫星遥感等海洋空间数据,这些资料主要以两种形式保存,一种是原始观测结果以及数据来源和时间等,它们被保存在不同的介质中;另一种是这些原始资料的数字化形式,并记录了相关的项目和观测手段等,它们被以文档的形式存放。同其他方面的数据资料相比,这些海洋空间数据呈现出多源性、多态性和多样性的特点[1-3],如何对这些数据进行统一管理,是摆在海洋数据管理部门亟待解决的问题。

在现有的海洋空间数据信息化管理过程中,数据库的管理对象主要是磁盘、矢量、栅格等文件型的数据,管理内容为资料的描述信息和实体,其中描述信息是指资料的元数据和空间范围信息,实体包括介质实体和电子实体两种,主要需要管理实体的存储信息和实体文件结构信息。数据在资料分类、物理形态、存储状况、数据格式上都比较复杂,而且数据体量大,对于海量、结构复杂的资料数据来说,用单一的数据结构快速搭建库体比较困难, 存在着共享能力差、数据冗余度大、完整性和安全性较差等缺点[4]。现有的海洋空间数据管理大多局限在对于元数据和图层的管理,而对于其相关联的实体数据并未实现真正意义上的数据入库[5-8],尤其是在海洋原始调查汇交资料以及介质、文档资料的管理中,仍延用着纯文件的方式进行存储,数据信息只能通过人工制作表格的方式进行查询统计,信息化程度较低。鉴于此,本文应用多源数据模型建模与组织管理技术,对多源海洋空间数据按类别实现数据的定义与分类,完成数据库的快速构搭建和灵活扩展,并设计研发了相应的信息系统,旨在实现对现有各类海洋空间数据及文件、介质等的高效一体化管理和共享服务。

1 数据建模原理

数据建模是根据数据的特征在资料分类的基础上完成资料的元数据、空间范围、数据类型、存储位置等方面的定义,构建生成资料型数据的模型,并挂接到数据目录,以保证数据库的快速搭建。

建模的业务流程主要包括元数据项定义、元资料类型建模、资料类型建模、数据类型建模、资料编目等环节,如图 1所示。首先依据数据分类规范,定义数据的类别、元数据项以及空间特征,利用数据类型建模来定义数据实体的组织结构,通过编目实现数据模型到目录的挂接,完成数据到数据库的快速构建。在构建之后,建模支持数据类型及元数据项的扩增,保证数据库具备扩展性。

图 1 数据建模业务流程 Figure 1 Work Flow of Data Modeling

1) 元数据项定义。依据资料分类整理规范,定义资料的类别、元数据项,包括元数据项的名称、类型、长度等设置。

2) 元资料类型建模。定义当前资料的抽象分类,规范资料的固有元数据项及空间化情况,该模型的创建依据是资料所包含的元数据、空间范围、数据类型、存储位置信息的情况。

3) 资料类型建模。定义某类资料的表结构和特征,指定所属的元资料类型,规范资料的扩展元数据项及空间特征,其中扩展元数据项是在资料固有元数据项基础上追加资料的个性化字段,空间特征则包含常见的点、线、面3种类型。资料类型模型生成之后,可配置该资料类型的资料标识、资料名称、是否显示、是否编辑等业务规则。

4) 数据类型建模。数据实体包括介质实体、电子实体两种类型,介质实体仅需要采集和存储实体的存储位置信息,不需要数据类型建模;电子实体需要通过数据类型建模,定义最小的资料数据实体单元,定义资料实体文件的命名、格式及关联关系,以确定资料实体文件的组织结构。

5) 编目管理。在目录上创建数据节点,将资料类型模型、数据类型模型挂接到该节点,同时配置节点关联的实体存储位置、入库插件等信息,完成基于数据节点的资料型数据模型的构建。

2 多源海洋空间数据的存储与建模 2.1 数据存储管理

由于海洋空间数据类型多样、数据量庞大,首先从数据应用的角度对海量多源数据进行划分,根据不同的应用需求采用相应的存储技术。

对于包含空间特征的矢量、栅格、电子地图等地理信息数据,采用空间数据库技术实现多数据集、分布式存储。

对于大量的文件型数据,采用关系数据库和文件编目相结合的方式进行管理,即通过关系数据库管理文件型数据的元数据和空间范围信息,并通过存储位置定位至数据实体,通过统一的数据目录管理存储于磁盘上的文件型数据。

对以文件方式存储的海洋空间数据,如海量影像数据、海洋原始调查数据文件、介质资料等,数据仓库采用在线、近线、离线三级存储模式,提高数据调用的效率。

2.2 数据组织与建模

采用面向对象的数据仓库管理,应用“数据类型-数据对象”的模式管理多维空间数据,将不同数据对象划分到相应的数据类型中,对不同数据类型建立相应的数据模型。

从物理存储角度考虑,将海洋空间数据划分为3大类:文件型数据、矢量数据、栅格数据,对每种类型数据提供数据模型的建模能力。

1) 文件型数据建模。文件型数据建模针对以文件方式存储的数据对象,主要为介质、纸质等调查单位原始汇交的资料,采用数据库表和文件系统相结合的方式进行存储。数据库表主要存储元数据信息和介质结构,文件系统存放相对应的数据实体,数据建模包括数据分类和元数据定义。如图 2所示。

图 2 文件型数据组织与数据建模 Figure 2 Data Organization and Data Modeling of File Type

2) 矢量数据建模。矢量数据包括了系列比例尺的海洋基础地理数据、船测重力测线数据、海域海底地名数据等内容。矢量数据建模支持面向多种空间数据源的各种矢量数据集模型的定义,通过“特征数据集-特征类-要素”的层次关系对矢量要素数据进行组织[9, 10],如图 3所示。矢量数据通过Featureclass、FeatureDataset方式存储在ArcSDE Geodatabase中,具备对空间图层、空间参考、属性字段、比例尺等信息的自定义操作。

图 3 矢量数据组织与数据建模 Figure 3 Data Organization and Data Modeling of Vector Type

3) 栅格数据建模。栅格数据包括了卫星遥感影像、航空遥感影像(DOM、DEM)以及海底多波束调查形成的网格DEM产品。栅格数据建模支持面向多种空间数据源的各种栅格目录模型的定义,采用Mosaic Dataset方式进行存储,并生成FOOTPRINT服务, 通过ArcSDE Geodatabase中的相应空间数据库表去访问和查询检索, 如图 4所示。具备对栅格数据存储方式、压缩方法、拼接方式等参数的设置。

图 4 栅格数据组织与数据建模 Figure 4 Data Organization and Data Modeling of Raster Type

2.3 数据时空一体化

对矢量形式的资料类型,采用按照数据时效性,将数据存储分为现势数据库和历史数据库,用以管理多时相的数据,矢量时空一体化存储模型如图 5所示。

图 5 矢量时空一体化存储模型 Figure 5 Integrated Storage Modeling of Vector Space Type

在数据库设计层次上,将每次更新作业以工程化形式开展,将更新工程的相关信息存储在“更新工程信息表”中。对每一个要素类,在数据库存储中都对应两个结构相同的空间表,即现势层和历史层。现势层存储当前最新数据,历史层存储被更新过的各个时相的数据。数据更新过程中,通过GUID对要素进行唯一标识,被更新要素在进入历史图层时,同时记录要素入库与消亡的时间。现势数据与历史数据通过GUID关联,结合要素入库与消亡时间,可对历史库与现势库进行联合查询分析,得到数据历史回溯与现势更新的关系。

对栅格、文件形式的资料类型,采用建立资料编目节点的方式来展示、管理多时相数据。

2.4 数据统一管理

采用差异化方式对海量、多维海洋空间数据进行存储。在数据存储的物理空间上,可以是集中存储或分布式存储,在数据物理存储方式上,通过数据库存储(二维表、BLOB、分区存储等多种方式)和建模技术以文件形式在磁盘上存储。

为实现海洋海量多维数据的统一管理,采用物理存储层、数据适配层、逻辑展示层等3层构建的管理体系。

1) 物理存储层。物理存储层存储各种形式的海洋空间数据,包括数据库二维表、空间数据集及以文件方式存储的数据。

2) 数据适配层。数据适配层是物理存储层和逻辑展示层间的中间层,连接了数据的逻辑组织结构和物理存储方式,使复杂多样的海洋地理信息数据能够独立于数据的存储方式、面向管理应用的需要进行逻辑结构组织,从而提供数据浏览、查询、提取等服务。

3) 逻辑展示层。逻辑展示层面向最终的用户。系统向用户提供灵活的配置能力。用户可根据不同的应用需求和数据类型,对逻辑层进行配置和展示。

3 应用实例

应用数据建模思路按照“数据与应用分离”的原则设计研发了海洋空间数据管理信息系统,整个系统基于数据建模的思路,实现了对现有海洋空间数据的入库,并提供了基于入库数据的查询浏览、分析统计等功能,实现了对海洋空间数据属性、资料范围、覆盖范围、快视图等的查询统计,如图 6(a)所示。

图 6 多源海洋空间数据管理实现 Figure 6 Realization of Multi-source Marine Space Data Management

数据建模是整个系统的核心内容,在设计上考虑到数据类型的多样性以及操作的简便,模-编目管理-存储管理-配置管理的步骤,向导式指引用户对入库前的数据项进行配置,如图 6(b)所示,用户可根据需要自定义设置字段信息和各类型数据模型,同时也使得模型的配置和数据管理更加的灵活和便捷。

4 结束语

本文应用多源数据模型建模与组织管理技术,采用“关系数据库+文件编目”的管理方式,形成了以海洋空间综合数据库为核心的各类数据资源和数据成果的集中管理模式。这种模式既独立于数据实体存储方式,又能通过存储位置、文件编目对文件型数据进行管理、展示,节约了大量的存储资源,提高了数据库的管理效率。在此基础上研发的海洋空间数据信息管理系统,数据入库配置方便、灵活,数据组织有效合理,管理规范统一,实现了多种类、多形态、多模式数据的简便入库和一体化管理,极大地提升了现有海洋综合数据的信息化管理服务能力。

参考文献
[1] 夏登文.数字海洋基础数据及业务流程建模方法及相关技术研究[D].沈阳:东北大学, 2006
Xia Dengwen. Study on Modeling Methods and Related Techinques of Fundamental Data and Business Processes in Digital Oceans[D]. Shenyang:Dongbei University, 2006
[2] 石绥祥, 夏登文. 海洋信息共享服务关键技术研究[J]. 资源科学,2001,23(1) : 64–68.
Shi Suixiang, Xia Dengwen. Research on the Key Technologies for Marine Information Sharing[J]. Resource Science,2001,23(1) : 64–68.
[3] 张峰, 刘金, 李四海, 等. 数字海洋可视化系统研究与实现[J]. 计算机工程与应用,2011,47(35) : 177–179.
Zhang Feng, Liu Jin, Li Sihai, et al. Research and Realization of Visual Digital Ocean System[J]. Computer Engineering and Appication,2011,47(35) : 177–179.
[4] 胡伟忠.海量海洋数据一体化管理研究[D].杭州:浙江大学, 2005
Hu Weizhong. Research on Massive Marine Data Management[D].Hangzhou:Zhejiang University, 2005 http://cdmd.cnki.com.cn/Article/CDMD-10335-2009024527.htm
[5] 邢喆, 奚歌, 章任群, 等. 海洋空间信息管理与服务平台设计与实现[J]. 测绘科学,2013,38(6) : 185–187.
Xing Zhe, Xi Ge, Zhang Renqun, et al. Design and Realization of Marine Spatial Information Management and Service Platform[J]. Science of Surveying and Mapping,2013,38(6) : 185–187.
[6] 邢喆, 李艳雯, 樊妙, 等. 海底地名数据库建设及应用研究[J]. 测绘通报,2013,(10) : 119–121.
Xing Zhe, Li Yanwen, Fan Miao, et al. Research on Construction and Application of Undersea Feature Names Database[J]. Bulletin of Surveying and Mapping,2013,(10) : 119–121.
[7] 徐胜华, 刘纪平, 王想红, 等. 基于三维GIS的海洋标量场数据动态可视化[J]. 测绘通报,2013,(10) : 50–53.
Xu Shenghua, Liu Jiping, Wang Xianghong, et al. Three Dimensional Dynamic Visualization for Marine Scalar Field Data Based on 3D GIS[J]. Bulletin of Surveying and Mapping,2013,(10) : 50–53.
[8] 王泽银. 海量空间数据组织及分布式解决方案[J]. 地球信息科学,2000,(1) : 67–70.
Wang Zeyin. The Distribute & Programme and Management of Magnanimity Spatial Data[J]. Geo-Information Science,2000,(1) : 67–70.
[9] 刘金, 朱吉才, 姜晓轶, 等. 海洋信息组织与存储模型研究及其在"数字海洋"中的应用[J]. 海洋通报,2011,30(1) : 73–76.
Liu Jin, Zhu Jicai, Jiang Xiaoyi, et al. Organization and Storage Model of Marine Information and Its Application in "China Digtial Ocean"[J]. Marine Science Bulletin,2011,30(1) : 73–76.
[10] 唐冬梅, 叶修松. 地理信息服务的思索与探讨[J]. 测绘与空间地理信息,2008,31(4) : 140–143.
Tang Dongmei, Ye Xiusong. Thoughts and Discussion on Geographic Information Services[J]. Geomatics & Spatial Information Technology,2008,31(4) : 140–143.