测绘地理信息   2020, Vol. 45 Issue (5): 112-116
0
山东省地理省情监测时空数据库管理平台设计与实现[PDF全文]
赵君1    
1. 山东省国土测绘院,山东 济南,250013
摘要: 地理省情监测时空数据是国家重要的战略资源,管理利用好多版本、多时相的省情监测数据十分重要。借助高性能变化统计分析、时空数据管理等先进技术,本文研发了地理国情监测数据库管理平台,实现了对多时态、多版本、多年份数据的综合管理,该平台提高了成果应用效率。
关键词: 地理省情监测    数据库    管理    
Design and Implementation of Spatio-Temporal Database Management Platform for the Conditions Monitoring of Shandong Province's Geography Province
ZHAO Jun1    
1. Land Surveying and Mapping Institute of Shandong Province, Jinan 250013, China
Abstract: Geographic spatio-temporal monitoring data is an important strategic resource of the country. It is very important to manage and utilize multi-version and multi-temporal provincial situation monitoring data. With the help of advanced technologies such as high-performance change statistical analysis technology and spatio-temporal data management technology, a database management platform for geographic national condition monitoring has been developed to realize the comprehensive management of multi-temporal, multi-version and multi-year data and improve the efficiency of application of the results.
Key words: geographical provincial conditions monitoring    database    management    

山东省人民政府于2016-05批复了《山东省“十三五”基础测绘规划》(鲁政字〔2016〕97号),确定“十三五”期间将实施常态化地理省情监测,为山东省经济社会发展、生态文明建设提供有力支撑。随着地理省情监测工作的不断深化,山东省已积累了大量的多时态、多版本、多年份的地理省情监测数据。如何管理、共享、利用、开发好庞大、复杂、多样化且多版本、多时相的省情监测数据,成为亟待解决的关键问题。本文结合山东省省级地理信息时空大数据中心的要求,为保障对多时态、多版本、多年份数据的综合管理,提高成果应用效率,借助高性能变化统计分析、时空数据管理等先进技术,研发了地理省情监测数据库管理平台,实现了数据建库、浏览、查询、提取、专题图制作和配置管理等功能;并研发了变化统计分析系统,以满足对地理国情普查数据和多时态、多版本、多年份的地理省情监测成果数据的管理与应用需求。

1 时空数据库设计

1) 数学基础。①空间坐标系。为实现各种数据统一存储和建库,山东省地理省情监测时空数据库采用2000国家大地坐标系,以度为单位,用双精度浮点数表示,至少保留9位小数。对于分幅,以m计算格网间距的数字正射影像图(digital orthophoto map,DOM),地形地貌数据仍采用2000国家大地坐标系和高斯投影6°或3°分带,以m为单位,至少保留4位小数。②高程基准。采用1985国家高程基准,高程单位为m,保留两位小数。

2) 数据库内容。山东省地理省情监测时空数据建库内容主要为汇交的普查成果数据、基础性省情监测成果、基本统计分析成果。就数据时态而言,包括2015年的国情普查数据,以及2016~2018年等多年份监测成果数据和基本统计分析成果数据。且数据库支持后续多年份地理省情监测数据的持续入库管理。并根据矢量、栅格、表格和文档等不同类型数据建立相应的数据模型对其进行存储和管理。

3) 物理设计。山东省地理省情监测时空数据库采用分区存储的方式对水系网及道路网数据(以下简称“网络数据”)基于结点数加以分区,数据量比较大的数据层基于行政区加以分区。数据种类不同,分区也不同,以此提升数据存储和管理效率。

由于地理省情监测时空数据量非常大,为便于数据备份和迁移,地理省情监测时空数据库借助小文件表空间加以管理,同时可实现自动分配。从存储角度来看,地理省情监测数据分为多种类型,如:矢量数据、表格数据等。结合时空数据库逻辑设计,对各种类型的数据物理分开存储。

4) 逻辑设计。为方便每年地理省情监测时空数据库可持续扩充,山东省地理省情监测时空数据库的数据集和数据层名称等统一添加年度后缀(2016、2017、2018…)。此外,山东省地理省情监测成果数据还包含变化信息数据。地表覆盖和地理省情要素变化数据层存储于相应版本数据层的数据集中。基础性地省情监测数据库基于Oracle Spatial的Geodatabase模型进行逻辑设计,使用SDO_GEOMETRY类型字段存储GIS的空间数据,所有数据统一在2000国家大地坐标系、以度为单位的地理坐标下建库。基础性地省情监测数据库总体逻辑结构如图 1所示。

图 1 地省情监测时空数据库逻辑结构 Fig.1 Logical Structure of Spatio-Temporal Database for Regional Situation Monitoring

5) 存储设计。山东省地理省情监测数据在空间数据库中的存储类型有地表覆盖分类数据集、道路网络数据集、水域网络数据集、地理单元数据集、城市地区数据集、元数据集、DOM数据集、表格数据等。

2 关键技术分析

1) 时空数据管理技术。结合省情监测数据的特点,建立集多基态、增量信息与历史变化量于一体的地理省情时空数据模型[1],实现对多时态数据的集成管理。多基态、增量信息与历史变化量一体化的地理省情时空数据模型以普查或最新一年的基础性监测成果数据为最新基态数据,每年监测本底数据为历史基态,增量更新数据为历史变化量。基态数据层存储整个范围的数据,变化数据层仅存储变化的数据。最新基态数据作为现状数据,历史基态和变化数据作为历史数据,用户可借助基态和增量更新数据回溯地理国情历史数据。现状数据和历史数据相对独立存储,既满足了地理国情现状数据库的高效查询应用,也保证了历史数据的快速回溯、查询。

2) 栅格数据动态镶嵌与管理技术。该技术用于解决传统影像数据管理模型中,由于存储属性不一致的地理省情监测影像造成的耗费存储空间大、入库时间长、浏览效率低、更新不便等问题[2-4]。实现方式包括以下两类:①文件系统+数据库系统组合管理模式。该模式将影像数据的元数据、编目、范围线、镶嵌线及实时处理设置参数存储在数据库中。各种不同类型传感器、分辨率、空间参考的影像数据文件,及各影像金字塔文件可在存储设备中进行管理。边界线、轮廓线和影像可在地图窗口中组合显示。②动态镶嵌技术。栅格数据采用镶嵌数据集进行存储管理,即在影像等栅格数据入库前,无需提前进行影像镶嵌工作,构建镶嵌数据集后,添加影像数据入库时,只需在空间数据库的镶嵌数据集中建立影像的索引,不需拷贝或改变原有的影像数据,原有影像文件仍然存储于文件系统。

3) 基于数据库驱动的地理国情监测快速图件制作技术。根据图数联动机制,建立统计数据源、指标计算结果及统计成果之间的业务关联[5],实现统计分析报告中图件成果的自动生成。主要技术包括以下两类:①“数据源-模板-成果”关联模型。系统通过建立一套完善的统计分析成果关联模型,将统计数据源、统计成果模版和统计成果之间的关联关系固定下来。当统计数据源发生变化时,系统可通过该模型实现报告中图件、文字、表格内容的联动更新。②报告成果模板化。根据统计分析成果关联模型,建立一套各种数据获取条件的规则,将统计分析报告中图件、文字、表格等的数据获取条件,通过可配置界面保存到统计分析报告模板中。当需要修改报告格式及增减内容时,通过修改统计分析报告模板即可完成,实现统计成果的可定制输出。

4) 基于版本匹配的高性能变化统计分析技术。采用分布式集群架构,以共享文件系统为支撑,以任务调度为核心,基于数据版本匹配技术[6-10],实现以数据为驱动的变化统计分析任务。

版本匹配变化统计。版本匹配技术能够直接对比不同版本数据进行空间分析,或以FEATID标识信息进行对比,监测全省范围内任一要素在不同版本中的发展变化信息。

高性能高可用的并行调度框架。并行调度框架是一个面向地理大数据并行处理的中间件,框架对底层分布式通信、资源分配以及调度逻辑进行了封装,可在较大程度上简化业务系统的构建过程。

负载均衡任务调度策略。基于负载均衡策略,根据数据特点将计算任务进行合理分解,并根据节点资源情况选择最优的计算节点,将计算任务动态分配到集群中各个计算节点上。

基于共享文件系统的分布式存储。以共享文件系统为基础,实现空间数据的分布式存储与复制策略。通过将待处理的数据直接分布式存储到计算节点上,解决单个节点存储空间不足、网络传输的压力问题。

3 时空数据库管理平台功能实现 3.1 总体技术架构

山东省地理省情监测时空数据库管理平台采用Oracle数据库,借助组件服务,完成数据管理与访问。整个地理省情监测时空数据库管理平台总体技术架构如图 2所示。

图 2 系统技术架构 Fig.2 Technical Architecture of Management Platform

3.2 支撑环境设计

山东省地理省情监测数据类型及格式多样、数据结构复杂、数据量巨大,对数据的存储和管理提出了巨大的挑战。同时,地理省情监测需要对不同时相监测数据进行多元化、多维度的变化统计和分析处理,提供对统计分析结果的高效查询和调用服务。传统存储环境和计算环境不能满足地理省情监测时空数据库应用的需要,需要采用云平台、云存储和云计算技术按需提供灵活扩展的网络存储、计算、服务资源。因此,本项目的支撑环境云平台基本架构如图 3所示。

图 3 云平台基本架构 Fig.3 Architecture of Cloud Platform

数据库服务器上部署Oracle 11g数据库管理软件和ArcSDE(ArcGIS Spatial Database Engine) 10.3。Web服务器和应用服务器上安装并部署Oracle 11g数据库客户端软件,安装ArcGIS Server10.3、JDK(Java Development Kit)服务软件。客户端上部署应用软件运行环境,包括Microsoft.NET Framework、ArcMap、ArcEngine、Office系列办公软件等。客户端工作站上部署Window操作系统、Office系列办公软件等。

3.3 平台功能实现

按照实际业务需求,山东省地理国情监测数据库管理平台的子系统包括地理省情监测数据入库检查工具、数据预处理工具、数据库集成管理系统、变化统计分析系统,这些子系统可实现全省地理省情监测数据的集成入库、管理与应用。

1) 地理省情监测数据入库检查工具。地理省情监测数据入库检查工具以检查任务为中心、质检方案为驱动,满足汇交目录和各类汇交成果的自动检查的设计要求,主要包括文件与结构一致性检查、属性项值域检查、拓扑一致性检查、网络数据检查、道路连通性检查,保证数据入库质量。

该模块根据技术规定检查文件与结构的一致性, 检查地表覆盖数据、地理国情要素数据等数据层的非空属性项的属性值是否符合标准,重要字段的编码是否符合规定;完成线面要素弧段检查、环粘连检查、地表覆盖变化信息采集正确性检查、地表覆盖在任务区范围内是否全覆盖检查等;进行拓扑一致性检查;实现网络数据结点处是否进行打断检查、新增障碍点处不可打断检查等网络数据检查,及公路要素V层数据及网络N层数据的连通性检查。

2) 地理省情监测数据预处理工具。地理省情监测数据预处理工具依据相关规定,实现功能如下:①数据结构调整功能,按照省情监测数据技术规定,调整监测成果数据结构,使数据命名及结构统一;②针对省情监测变化数据进行对象化编码更新处理,调整要素对象化编码更新处理功能;③针对不同年份省情监测数据内容进行要素完整化更新处理,完善要素完整化更新处理功能;④网络数据更新处理功能,处理多年份、多时相数据,根据更新后的省情监测网络弧段层生成网络结点层及障碍点层;⑤建库字段赋值处理功能,对地表覆盖、省情要素中的新增要素以及解译样本点要素进行FEATID更新处理;⑥属性字段赋值处理,可自定义赋值字段及图层;⑦线、面要素批量修复处理。

3) 地理省情监测数据库集成管理系统。地理省情监测数据库集成管理系统主要完成了多年份与多时态数据的数据入库、查询浏览、统计分析、专题图制作、数据提取以及运维管理等功能,实现地理国情普查成果数据、地理省情监测成果数据、统计分析成果数据以及专题数据的集中入库、浏览、查询检索和数据提取,达到多年份、多时态监测数据集成存储和管理目的。

4) 地理省情监测变化统计分析系统(图 4)。地理省情监测变化统计分析系统采用空间统计、任务并行等方法,将监测区域内历史数据与现势数据进行对比,快速发现不同版本数据之间的差异,监测地理省情数据要素级、地类级变化情况。系统包括统计计算、成果生成、任务管理、配置维护4个功能模块,实现地理省情监测数据的变化统计、图表制作、报表制作、图件制作、报告制作等。

图 4 地理省情监测变化统计分析系统 Fig.4 Statistical Analysis System for Monitoring Change of Geographical Conditions in Provinces

4 结束语

山东省地理省情监测时空数据库管理平台针对汇交的监测数据特点和山东省地理省情监测要求,搭建数据模型和数据库结构,构建持续、稳定、标准和权威的地理省情监测时空数据库,满足多时态、多版本、多年份地理省情监测汇交数据存储管理的要求;开发地理省情监测数据检查工具、预处理工具、省情监测数据库集成管理系统及变化统计分析系统,实现了对多时态、多版本、多年份数据的综合管理,提高了成果应用效率。

参考文献
[1]
曹建成, 申传庆, 余晓松, 等. 地理国(省)情监测时空数据库设计[J]. 测绘与空间地理信息, 2016, 39(2): 155-157.
[2]
廖芳, 罗海燕. 地理国情普查数据库管理及服务系统建设设计[J]. 测绘地理信息, 2016, 41(4): 77-79.
[3]
杨帆. 地理信息时空数据库更新技术研究[J]. 经纬天地, 2017(6): 44-49.
[4]
胡珂, 李成名, 沈建明. 分布式时空数据库去中心化负载均衡方法[J]. 测绘通报, 2018(12): 65-68.
[5]
刘雪俊, 田代恒. 广东省地理国情普查数据库系统设计与实现[J]. 测绘与空间地理信息, 2018, 41(1): 142-144.
[6]
刘华. 基于地理国情监测统计方法的讨论[J]. 山东工业技术, 2018(13): 204.
[7]
魏雪梅. 多级时空数据库联动增量更新方法[J]. 测绘通报, 2019(5): 134-138.
[8]
谢强. 山西省地理国情监测数据库的设计与实现[J]. 经纬天地, 2019(3): 96-98.
[9]
陈文彬. 地理国情监测数据库设计研究[J]. 测绘标准化, 2016, 32(1): 12-15.
[10]
黄志洲, 陈磊, 陈年青. 地理国情监测下的城市地理信息数据库建设[J]. 测绘通报, 2013(2): 113-115.