文章快速检索  
  高级检索
构建面向个性化服务的特大城市云空间数据中心
陶迎春1,2,3, 刘光2,3, 庞京辉2,3, 吴爱华2,3, 赵凌美2,3     
1. 北京大学地球与空间科学学院, 北京 100871;
2. 北京市测绘设计研究院, 北京 100038;
3. 城市空间信息工程北京重点实验室, 北京 100038
摘要: 特大城市测绘地理信息数据具有数据海量、增长快速、多源异构、频繁使用的特点。随着大数据和Web2.0时代的到来,传统的空间数据存储管理与共享服务模式存在成果缺乏整合和挖掘、空间信息服务被动且无差别性等缺点,难以满足用户不断提高的空间数据内容、服务响应速度和服务质量的要求,也难以适应因人而异的个性化空间信息服务的需求。本文对个性化服务和云空间数据中心构建的关键技术进行了研究,提出了个性化空间数据情境应用模式,以及一种基于Web客户端的个人异构空间数据在线集成方法,基于NoSQL实现了个人空间数据与传统空间数据服务集成,并以北京市为例基于私有云构建了安全可靠、高效运行、可扩展、用户参与度高、提供个性化服务的特大城市云空间数据中心。
关键词个性化服务     空间数据情景式应用     异构空间数据在线集成     云空间数据中心    
Construction of Mega City Cloud Spatial Data Center with Personalized Services
TAO Yingchun1,2,3, LIU Guang2,3, PANG Jinghui2,3, WU Aihua2,3, ZHAO Lingmei2,3     
1. Peking University, Beijing 100871, China;
2. Beijing Institute of Surveying and Mapping, Beijing 100038, China;
3. Beijing Key Laboratory of Urban Spatial Information Engineering, Beijing 100038, China
Abstract: The geographic information data of mega city has the characteristics of massive volume, rapid accumulation, heterogeneous and being frequent used. In the era of big data and Web2.0, traditional storage and management of spatial data and sharing service mode lacks of data integration and mining, as well as passively serves customers without differences. It is difficult to meet the increasing requirements of richer spatial data content, quicker response and higher quality. And it is difficult to adapt to individualized demand of spatial information service. In this paper, the key technologies of personalized services and cloud spatial data centre construction have been researched, personalized situational data application mode is proposed, a method of online heterogeneous space data integration has been described, individual spatial data and traditional spatial data service integration is realized based on NoSQL. Taking Beijing as an example, a mega cities space cloud data centre based on private cloud has been built, which is reliable, efficient, expandable and has high participation degree and provides personalized spatial services.
Key words: personalized service     situational application of spatial data     online integration of heterogeneous spatial data     cloud spatial data centre    

在当前大数据和Web2.0时代背景下,大量数据快速产生,用户对数据服务内容的丰富程度、服务响应的速度和质量要求空前高涨[1],对数据服务的个性化需求也层出不穷。以北京市为代表的特大城市测绘地理信息历史跨度长、种类多、数据量大且在不断迅速积累中,具有数据海量、增长快速、多源异构、频繁使用的特点。然而,以往测绘部门所产生的大量空间数据成果往往堆积在硬盘中,数据资源分散、缺乏整合和挖掘,空间信息服务存在同一性、被动性和无差别性等缺点[2],难以适应因人而异的个性化空间信息服务需求,空间数据存储管理与共享服务模式亟待升级。

云技术是当前数据中心建设的大势所趋[3]。目前国际国内IT巨头如谷歌、微软、百度等,均基于公有云建立了自身的数据中心,国内也有部分省市(如江苏省[4]、上海市[5]等)将政务空间数据置于政务云上。但是,受信息安全政策的限制,特大城市长期积累的海量、精准的空间数据的存储与应用不能采用以上方式。与此同时,国内外对空间信息服务的架构、主动推送技术和相关标准研究较多[6-7],但对服务的个性化问题研究相对匮乏。本文提出基于私有云构建安全可靠、高效运行、可扩展的特大城市云空间数据中心,拓展Web2.0下空间数据的情景应用模式,使得用户参与信息资源管理,产生个人数据内容,进行服务中的互动,为个性化信息服务发展趋势下的特大城市测绘地理信息管理与服务提升提供解决思路。

1、 个性化服务构建关键技术 1.1. 个性化空间数据情景应用模式

与流程固定的传统业务需求不同(见表 1),个性化的业务需求多样且复杂,具有不确定性和即时性,很难在信息系统开发时期明确定义[8]。个性化空间数据情景应用模式,即将来自个人客户端的数据和服务器端的多种空间数据服务组合成一个集成Web 应用,从组合中获取新的价值,达到“1+1>2”的效果。本文利用HTML5的拖放特性,基于Mashup技术构建了情境应用程序,实现了个人客户端数据与服务器端服务的简单、快速融合。用户将个人数据拖放至指定网页上,并选择所需的数据与功能服务,即可满足个性化的踏勘选点、路线规划、数据申请、数据下载、成果目视检查等多种测绘日常生产工作的情景应用需求(见表 2)。

表 1 个性化应用模式与传统固定业务模式区别
类别个性化应用模式固定业务模式
功能需求非预期使用由有限数量的用户/专家预先定义
对用户的要求不要求用户有较高的技能需要用户具有专业知识
对用户数据的要求宽松的数据格式与规格要求严格的数据格式与规格要求
功能实现最终用户主导由用户根据当前需求组合解决问题系统开发人员主导功能一旦实现,改变较困难
表 2 个性化测绘日常生产应用情境示例
个性化测绘场景用户个人客户端数据服务器端服务
踏勘选点路线规划某测绘工程主持人某工程范围正射影像服务在线编辑服务
资料申请资料下载某资料员某工程范围在线分发服务
成果检验某质检员某拨地成果拨地数据服务地形图服务
城市变化分析某规划人员某分析范围不同年代正射影像服务
1.2. 基于NoSQL的个人异构空间数据服务集成与在线协同

异构空间数据集成与共享一直是测绘地理信息研究的重要领域。个人空间数据内容各异,无法统一规格和数量,具有非结构性、不可预见性。传统的关系型数据库虽然在存储结构化数据时具有稳定性好、效率高等特点,但是无法满足非关系数据类型的存取需求。NoSQL数据库具有高扩展和高可用性,具有高并发处理能力,适用于非关系型的个人空间数据存取[9]。本文将NoSQL数据库与关系型数据库结合,在存储格式固定的基础地理信息数据时使用关系型数据库,在存储无固定规则的个人空间数据时使用NoSQL数据库,并在应用时集成服务,可实现优势互补。图 1展示了基于MongoDB的个人数据空间服务与传统空间数据服务的集成方法。

图 1 基于NoSQL的个人空间数据服务集成方法

城市测绘领域常见的异构数据格式包括AutoCAD数据(如DWG/DXF格式的地形图)、ArcGIS数据(如Shape格式的GIS数据)、图片数据(如TIFF格式的影像数据)、Excel表格数据(如CSV格式的统计数据)等。异构空间数据集成方法主要有空间数据交换、数据互操作、直接操作、基于Web集成等[10]。本文提出了一种基于Web客户端的个人异构空间数据松耦合在线集成方法(如图 2所示)。该方法支持城市测绘常见的CAD DXF、Shape、GeoTIFF等格式,对数据的内容规格几乎没有限制,且在客户端网页上显示的个人CAD数据能保持原始符号样式,Shape数据能查询属性。同时,通过HTML5的拖放特性提升了交互体验,本地及服务器NoSQL数据库中存储的个人文件可通过用户在网页上的简单拖放操作,实现在线显示、查询,并与服务器发布的其他数据服务叠加,从而支撑了多类异构数据的在线叠加分析和协同应用。

图 2 个人异构空间数据在线集成方法
2、 云空间数据中心构建关键技术 2.1. 数据资源管理组装模型

特大城市拥有大量、多年代、多尺度、多类型的测绘地理信息数据,但以往数据都存放在各自的存储设备中,相互独立、没有建立关联关系,用户难以全面掌握数据情况,不利于根据自身情况选取合适数据并进行多维度、多角度的分析。本文在构建面向个性化服务的云空间数据中心时,在对已有数据和增量数据全面调研的基础上,从核心应用目标出发,采用层级分类与时间序列相结合的方法,将庞杂的数据以清晰、便于用户理解的方式进行分类组装,形成了数据资源目录和元数据;同时,对数据资源进行体系化管理,针对每一项数据资源,规划设计数据的采集、整合加工、综合应用、共享发布、信息服务与更新推送等生产、服务与更新全套流程,从而形成一套完整的体系,确保数据源源不断地发挥最大价值。

2.2. 基于虚拟化平台的私有云空间数据中心

云计算具有按需服务、资源共享、快速弹性等特点,适合于个性化服务。云计算的部署模型包括私有云、公有云、混合云等,其中私有云的安全性最高[11]。本文采用VMWare vCloud搭建基于云架构的数据中心,将私有云平台用于特大城市海量异构的空间数据管理和服务中,形成了生产用私有云资源池、容灾用私有云资源池,业务连续性可保证恢复时间(RTO)为4 h,恢复点(RPO)为8 h。主要技术特点有:

(1) 资源池化。将多个独立的物理资源(CPU、内存)池化为统一的资源池,可依据需求动态分配资源,有效减少“一对一”硬件配置带来的资源浪费。

(2) 高效管理。通过虚拟化管理平台实现了灵活、高效、高可靠、可轻松扩展的管理,系统搭建、系统迁移、系统恢复时间成倍缩减。

(3) 高速存取。采用LanFree技术,将应用数据流与备份数据流分开,使业务系统与备份系统的数据流互不影响,提高客户端访问数据的存取速度。

3、 面向个性化服务的云空间数据中心构建 3.1. 总体架构

作为特大城市的代表,北京市积累了1934年以来地上地下、多源、异构、多时态、多尺度、海量的空间数据,数据使用频繁,用户个性化需求层出不穷。本文以北京市为例构建了面向个性化服务的特大城市云空间数据中心,总体架构如图 3所示。

3.2. 实现效果

基于上述关键技术和总体架构,在北京市地理信息中心建立了云空间数据中心,IT资源可依据应用需求动态分配,资源利用率提高50%以上;系统搭建、迁移、恢复时间由几天缩短为几个小时;数据备份效率提高约30%。空间数据经梳理规划后,归为6大类41中类110小类,通过资源目录和元数据规范描述,构建了单类资源同步增量更新与多类资源联动更新流程;按照“生产库与服务库分开、核心数据与个性化数据分开”的设计思路建立了数据库,并发布了数据查看、查询、处理、分发与更新等服务;开发完成了集数据管理、调度、处理于一身的数据管理集成管理系统,实现了全面、多角度、灵活、个性化的数据展示与多种、多样的分析的数据资源集成展示系统,以支撑个性化测绘生产数据产品分发服务系统,以及对社会大众提供基础地理信息产品查询服务的基础地理信息资源门户。部分系统界面如图 4所示。

目前,该云空间数据中心已经成为北京市重要的基础地理信息管理服务平台,并支撑着基础测绘、工程测量、GIS数据加工等测绘地理信息的日常生产工作。

图 3 总体技术架构
图 4 部分系统界面
4、 结束语

随着Web2.0的应用拓展,用户参与信息资源管理、参与产生个性化内容、进行服务中的互动是个性化信息服务的发展趋势。本文提出了针对测绘部门个性化业务需求的空间数据情境应用模式,通过NoSQL对用户参与产生的个人空间数据进行了管理,基于一种Web客户端集成方法实现了不限规格的多种异构个人空间数据即时、在线叠加分析和协同应用,基于Mashup技术将各类数据服务融合为特定情境下的Web应用,创新了个性化空间数据服务的应用模式和技术方法。

传统常规数据中心服务器资源空闲率高,管理和运行效率较低,可扩展性较差,本文以北京市为例,在将海量庞杂的空间数据资源按照分类清晰、便于用户理解的方式规划组装的基础上,采用虚拟化技术,在国内城市测绘领域率先建成高效运行、可扩展、面向个性化服务的云空间数据中心。目前,该数据中心已为城市规划、城市建设和管理提供了大量数据服务,其架构和关键技术也形成了一套解决方案,并应用于国家、市政府委办局、区县政府委办局等多个单位的地理信息系统中,通过大量实践验证了该技术的可行性和适用性。

参考文献
[1] 曾元武, 陈泽鹏, 方晓乐, 等. 大数据时代下地理信息公共平台建设展望[J]. 测绘通报, 2015 (11) : 84–87.
[2] 牟乃夏, 刘文宝, 张灵先, 等. 空间信息服务的个性化问题[J]. 测绘科学, 2011, 36 (3) : 104–106.
[3] 李井杰, 崔洪波. 浅谈地理信息数据中心的规划建设[J]. 测绘与空间地理信息, 2013, 36 (6) : 81–82.
[4] 李明巨, 吴勤书, 刘昱君. 一种基于云GIS技术的地理信息服务新方式[J]. 测绘通报, 2015 (2) : 92–94.
[5] 张桂芬. 基于云计算的城市地理信息公共服务平台设计与实现[J]. 城市勘测, 2012 (4) : 12–15.
[6] GAO M, LIU K, WU Z. Personalization in Web Computing and Informatics:Theories, Techniques, Applications, and Future Research[J]. Information Systems Frontiers, 2010, 12(5): 607–629. DOI:10.1007/s10796-009-9199-3
[7] 刘琼.面向地理信息主动服务的用户兴趣模型的研究[D].泰安:山东农业大学,2014. http://d.wanfangdata.com.cn/Thesis/Y2588252
[8] 李春, 朱珍民, 叶剑, 等. 个性化服务研究综述[J]. 计算机应用研究, 2009 (11) : 4001–4005.
[9] 陈崇成, 林剑峰, 吴小竹, 等. 基于NoSQL的海量空间数据云存储与服务方法[J]. 地球信息科学学报, 2013, 15 (2) : 166–174.
[10] 周顺平, 魏利萍, 万波, 等. 多源异构空间数据集成的研究[J]. 测绘通报, 2008 (5) : 25–27.
[11] ADINARAYAN G. Monitoring and Capacity Planning of Private Clouds:The Challenges and the Solution[C]//IEEE International Conference on Cloud Computing in Emerging Markets.[S.l.]:IEEE,2012.
http://dx.doi.org/10.13474/j.cnki.11-2246.2017.0039
国家测绘地理信息局主管、中国地图出版社(测绘出版社)主办。
0

文章信息

陶迎春, 刘光, 庞京辉, 吴爱华, 赵凌美
TAO Yingchun, LIU Guang, PANG Jinghui, WU Aihua, ZHAO Lingmei
构建面向个性化服务的特大城市云空间数据中心
Construction of Mega City Cloud Spatial Data Center with Personalized Services
测绘通报,2017,(2):10-13,24.
Bulletin of Surveying and Mapping, 2017,(2): 10-13,24.
http://dx.doi.org/10.13474/j.cnki.11-2246.2017.0039

文章历史

收稿日期:2016-05-30

相关文章

工作空间