2. 代表性建筑与古建筑数据库教育部工程中心, 北京 102616;
3. 北京未来城市设计高精尖创新中心, 北京 100044;
4. 现代城市测绘国家测绘地理信息局重点实验室, 北京 102616;
5. 建筑遗产精细重构与健康监测北京市重点实验室, 北京 102616;
6. 南京天枢星图信息技术有限公司, 江苏 南京 210042
2. Engineering Research Center of Representative Building and Architectural Heritage database, Ministry of Education, Beijing 102616, China;
3. Beijing Advanced Innovation Center for Future Urban Design, Beijing 100044, China;
4. Key Laboratory for Urban Geomatics of National Administration of Surveying, Mapping and Geoinformation, Beijing 102616, China;
5. Beijing Key Laboratory for Architectural Heritage Fine Reconstruction & Health Monitoring, Beijing 102616, China;
6. Nanjing Alphastar Information Technology Co., Ltd., Nanjing 210042, China
室内环境的高精度三维信息获取类似于机器人在未知环境下进行定位和制图,在机器人领域称之为SLAM(simultaneous localization and mapping)[1]。室内测量可以借助推车SLAM技术来获取室内空间数据,实现室内实景三维测图,为室内导航定位提供数据基础。人们可以通过推车SLAM扫描获取三维信息(包括实景影像和点云数据),利用一定的技术手段制作出高精度的室内三维实景地图。而这种类型的地图,往往是基于三维实景影像与点云数据的融合原理制作而成,具有高保真度,能显示多细节信息。相比于传统的三维激光扫描仪只能单一获取三维点云数据,再通过第三方设备拍摄若干图像后进行纹理贴图和建模,推车SLAM系统的一体化数据处理过程可明显减弱人工贴图误差的影响,输出的三维地图精度更高,应用价值和前景更广。
1 相关研究现状中海达HiScan-SLAM凭借其灵活、机动的特性,基于LiDAR的SLAM技术,能够快速、实时、精准地获取室内环境的三维激光点云、全景影像和行驶轨迹,为室内定位、室内二三维地图和三维模型生产提供数据支持[1];华泰天宇IMS3D室内三维移动扫描仪测量速度快,精度高,应用范围广及完美的专业适应性,为快速实时获取室内高精度三维空间信息提供了新手段[2];室内移动测绘系统(i-MMS)[3]与室内多传感器采集系统(IMAS)[4]的出现缓解了典型移动式激光雷达扫描系统(MLS)等对于GPS的依赖,为室内空间数据的获取与导航定位提供了技术支持。但这些新型的推车SLAM系统仍然处于早期发展阶段,对于一些有超高精度要求的应用,如需要毫米级精度的测量工程和监测等,这类系统目前仍无法充分发挥作用(见表 1)。针对以上各种推车SLAM的特点和不足,本文重点介绍在以上各方面都表现出优势的SLAM移动测图系统NavVis,详细介绍基于NavVis的从数据采集、数据处理、网络发布到地图应用的一整套室内实景三维测图服务系统解决方案。
推车SLAM系统 | 特点 | 不足 |
中海达HiScan-SLAM室内移动测量系统 | 有灵活、机动的特点,能够快速、实时、精准地获取室内环境的三维激光点云、全景影像和行驶轨迹 | (1) 无法应用于需要毫米级精度的测量工程和监测中 |
华泰天宇IMS3D室内三维移动扫描仪 | 速度快、精度高、应用范围广、专业适应性强 | (2) SLAM系统在野外空旷区域作业适应性弱 |
Viametris i-MMS系统IMAS室内多传感器采集系统 | 缓解了典型移动式激光雷达扫描系统(MLS)等对于GPS的依赖 |
本文采用NavVis M3室内移动测量车作为数据获取手段,该推车为德国NavVis公司自主研发的以SLAM技术为基础的室内移动测量系统,可以快速完成对目标建筑的室内三维结构、720°全景、WiFi、地磁等信息的采集,现场测量完成后通过专业软件对扫描数据进行处理并完成信息模型构建,可以制作室内三维实景地图。从模型中可直接获得目标建筑的二维平面图和反映室内三维结构的点云数据,该点云数据可用于建模或相关性分析[5]。
NavVis M3室内移动测量车配有精密的仪器设备(如图 1所示),包括6台高分辨率全景相机、1台水平激光扫描仪、2台垂直激光扫描仪、1台触屏控制器和稳定轻量的行走平台等。通过各部件的协调工作,可以生成有全沉浸式VR互动的360°全景图,可支持输出LAS、PLY格式且兼容CAD系统的5 mm精度三维点云,支持自由添加文字、声音、视频等标注信息的高精度二维平面图,功能十分强大。
在NavVis M3室内移动测量车的结构中,6台照相机上装有鱼眼镜头,像素达到1600万,可以捕捉720°全景照片。在扫描过程中分别生成6张照片,并在后期处理时拼接在一起;1台水平激光扫描仪为即时定位与地图构建设备,M3移动扫描系统在创建地图时,运用位置算法对自身进行定位,定位所需数据来自水平激光扫描仪。该激光扫描仪在1.88 m的高度连续扫描,并依此获取定位和地图构建所需数据;2台垂直激光扫描仪安装在移动测量系统车身前方,垂直激光仪的盲点指向地面,这样移动扫描系统的任何一部分都不会处于激光仪的扫描范围之内。以上3台激光扫描仪中每台都可以捕捉30 m内270°范围内的景象。它们的放置方式保证了房间的三维空间均可被覆盖。在扫描过程中激光数据被连续记录,并生成三维点云数据;1台触屏控制器可以完成一键测图与采集工作,操作简单且实时显示扫描范围、测量点位与二维预览图[6]。
3 技术流程 3.1 数据采集本文试验测量范围是北京建筑大学测绘学院楼。在扫描工作开始前,首先要对扫描路线作简单的路线规划,应根据测绘学院楼建筑平面图,把整个建筑物的室内划分成若干个扫描区,要充分考虑扫描重叠度、单次扫描时间限制、建筑物尺寸与建筑布局等影响因素,以防止不必要的复测。
为提高地图创建的精度,扫描时需建立数据集的闭合环[7],即在大型地图中,在一个数据集内重复经过已扫描区域而形成的闭合路线。本文在扫描测绘学院楼每层楼道时,将移动扫描系统使其路径多次经过同一点,与先前走过的路线交叉,确保捕捉到已知环境,并识别出重要几何图像,以此生成精准正确的地图。扫描路径和二维栅格地图展示在触屏控制器上,如图 2所示,路径上的点为图像拍摄位置点,间隔为1 m,推车行进速度不超过6 m/s,推车每行进1 m系统发出响声,此时等待设备进行拍摄,拍摄完成后再继续行进,依此方法按规划路线进行扫描。从图中可以看出,扫描路径上有很多交叉点与闭合环,有效地提高了测图精度。
3.2 数据处理NavVis M3室内移动测量车能够捕获大量数据,包括激光扫描仪数据及高清鱼眼影像。为了从获取的数据中生成三维实景地图,需要在高效无缝运行NavVis软件的计算机上进行数据处理[8]。使用64位Ubuntu 14.04操作系统,在该硬件设备上处理NavVis数据。首先需要对原始数据、发布数据与网络数据作预处理,然后在IndoorViewer中对凌乱的原始点云数据作配准,其中包括数据单元的相对配准与全球配准两部分,接着在NavVis系统中创建导航图与云地图,为后续室内路径导航作铺垫,最后将处理好的数据上传至网络端并发布。数据处理流程如图 3所示。
3.2.1 数据预处理数据预处理过程主要分为3部分:原始数据预处理、发布数据预处理和网络数据预处理。该过程所需时间是数据采集时间的2~3倍。数据预处理的目的是将扫描实景上传至NavVis IndoorViewer中。IndoorViewer是一个在NavVis系统下基于浏览器端拥有直观用户界面的应用程序。原始数据的预处理是对所记录的数据集启动动态对象删除的后期处理过程,可以删除测量过程中移动的对象,即走动的人们。发布数据和网络数据的预处理是针对当前项目创建一个实例,并将扫描的数据单元加载到实例中。最后,对实例进行注册并登录后,IndoorViewer界面就会显示诸多管理图标,点击管理设置,就会显示当前实例的实际面积属性。
3.2.2 点云配准点云配准过程需在IndoorViewer中完成,目的是使点云数据集进行相互匹配和关联,以形成楼层与楼层之间、室内与室外之间、自身地理位置与全球地图之间正确的位置关联关系。点云配准包含两部分内容:数据单元的相对配准和全球配准[9]。
3.2.2.1 数据单元的相对配准在数据单元的相对配准过程中,利用Transform菜单中的角度旋转与轴向平移选项,结合左侧4幅视图影像进行精确点云配准。为了方便识别特征,提高配准精度,本文以测绘学院每层楼的电梯井和楼梯作为参考进行配准拼接,不同的数据单元用不同的颜色加以区分,并仔细核对顶视图中每层的投影重叠度,通过认真检校与对比,完成测绘学院楼各数据单元的相对配准工作(如图 4所示)。由于不同操作者的局限性,该点云配准的相对精度会有差异,但总体绝对精度可以保证。
3.2.2.2 全球配准与数据单元的相对配准类似,全球配准是基于OSM(open street map)的一种地理位置配准,主要目的是将数据集所在位置定位到全球坐标系,为后续生成导航图与云地图作铺垫,但由于OSM的精细化程度不高,需要借助谷歌地图等第三方平台进行辅助定位[10]。配准过程中,需要依据谷歌地图进行对比参照,将之前已完成相对配准的数据单元集拖拽至OSM的相应地理位置即可(如图 5所示)。由于不同操作者的局限性,全球配准的精度会有很大差异,这也是NavVis系统需要优化的一个重要问题。
3.2.3 创建导航图与云地图导航图显示了到达一个位置可能的路径网络,为后续的导航路径规划提供基础;云地图是扫描区域的2D小地图,展示在网页端的右下角。二者的创建是整个数据处理过程中必不可少的一部分,需要利用点云配准已保存的配准参数文件来创建导航图与云地图[11]。首先,调用之前已保存的配准参数文件创建导航云地图,此时会生成一个记录了导航图与云地图信息的文件夹。然后,重新加载导航图与云地图的数据单元,并清空实例中原有数据,用之前最新生成的配准参数文件重新加载。导航图与云地图的创建结果如图 6、图 7所示。
3.3 数据发布在完成导航图与云地图创建后,需上传数据到网络服务器,并创建IndoorViewer实例来发布数据,室内三维实景地图的网络发布成果如图 8所示。通过点击地面位置点移动视角,动态浏览室内实景影像[12]。
4 应用 4.1 兴趣点(POI)添加查询POI在地理信息系统中起着极为重要的作用,它包含了名称、类别、坐标、分类等丰富的信息,三维实景地图中POI的多少直接影响导航的准确程度。
室内三维实景地图可以实现兴趣点的添加查询功能。在IndoorViewer实景地图中的目标位置单击鼠标右键,选择“创建兴趣点”,在信息面板上即可编辑兴趣点信息,为室内某处电梯的兴趣点编辑面板,用户可以上传任何媒体形式的信息到兴趣点中。在文本窗口中,通过“添加文件”按钮,可以从电脑资源中选择上传图片、PDF文件或音频等文件。同时,在选择条中选择相应图标即可嵌入图片链接、音频或视频数据等资源。另外,点击“源代码”按钮,即可将HTML代码直接嵌入兴趣点中。在兴趣点高级功能部分,根据经纬度信息的可见和可编辑行,全球定位被划分为低、中、高3个重要级别。这个级别决定了在地图缩放或兴趣点过多时,哪些兴趣点最先消失。另外,兴趣点的图标也可以进行定制。
图 9所示为中国矿业大学环境与测绘学院的兴趣点添加查询结果,本文添加查询的兴趣点是一个消防箱,左上角显示了该消防箱的属性信息:位于中国矿业大学环境与测绘学院的一层。右下角的云地图中也显示了该消防箱所在的平面位置,其中该兴趣点的图标为特别定制。
4.2 室内导航路径规划添加兴趣点之后,可以利用IndoorViewer软件在各兴趣点之间实现虚拟路径规划。该功能实现的基础是由NavVis软件数据处理而自动生成的导航图[13]。
首先需要在IndoorViewer中完善自动生成的导航图。通过编辑及连接相关的导航结点,如楼梯或电梯等,可以关联不同的楼层,错误的导航结点和关联会导致不正确的路径规划(如图 10所示),需要手动删除。经过多次测试不同的路径规划以确认路径计算及导航逻辑的正确性。
在使用NavVis门户端口建立实例时,直接激活IndoorViewer的附加模块,其中会有路径规划功能。在中国矿业大学环境与测绘学院的实例中,路线规划功能激活后,每一个兴趣点面板都有“路径规划”选项。调出相应的兴趣点面板,保持路径规划面板打开,点击“路径规划”选项,选择相应的“起点”或“终点”。系统会根据导航结点网络自动计算并生成规划路径和相关导航信息。
图 11所示为中国矿业大学环境与测绘学院的一条室内导航路径规划,本文把导航的起点和终点分别设置为C107教室和消火栓,这两个地点都为事先添加并编辑完成的兴趣点。系统根据导航结点网络自动计算并生成规划路径和相关导航信息,可以看到三维实景影像地图中用依次关联的方向箭头来表示导航路径,左上角的路径规划面板上清晰展现了两个兴趣点之间的距离及步行所需时间。同时,右下角的二维平面图中也显示了导航路径,给用户以更加直观的二三维联动式交互体验。
5 结语随着测绘科技的不断进步,室内外测量技术的发展日新月异,以推车作为搭载平台,以SLAM作为核心技术的移动测量系统层出不穷,它们的共同点基本都是不依赖GPS和IMU惯导系统,集SLAM、激光扫描仪、高分辨率相机为一体,完成自主定位与三维实景测图工作[14]。相比传统三维激光扫描仪,其数据采集精度高,速度快。NavVis推车SLAM作为典型代表之一,其室内实景三维测图技术正日趋成熟,其最大的特点是提供了从数据采集、数据处理、网络发布到地图应用的一整套解决方案。其技术若推广到汽车辅助驾驶或自动驾驶领域,服务于高精度地图数据获取与制作,应会有更广阔的发展空间和应用价值。
[1] | 余建伟, 危迟. 基于SLAM的室内移动测量系统及其应用[J]. 测绘通报, 2016(6): 146–147. |
[2] | iMS3D室内三维移动扫描仪[EB/OL].[2018-09-04]. http://www.wtechgnss.com/pd.jsp?id=10#_pp=103_323. |
[3] | THOMSON C, APOSTOLOPOULOS G, BACKES D, et al. Mobile laser scanning for indoor modelling[J]. 2013, Ⅱ-5/W2: 289-293. |
[4] | JULIA A, CLAUDIO S V, FAUSTINO P C, et al. Indoor multi-sensor acquisition system for projects on energy renovation of buildings[J]. Sensors, 2016, 16(6): 785. DOI:10.3390/s16060785 |
[5] | M3 Trolley室内激光扫描系统[EB/OL].[2018-09-04]. http://www.huace.cn/product/product_show1/184. |
[6] | HUITL R, SCHROTH G, HILSENBECK S, et al. TUMindoor: an extensive image and point cloud dataset for visual indoor localization and mapping[C]//IEEE International Conference on Image Processing. Orlando, FL: IEEE, 2013: 1773-1776. |
[7] | 汤圣君.多视图像增强的RGB-D室内高精度三维测图方法[D].武汉: 武汉大学, 2017. http://cdmd.cnki.com.cn/Article/CDMD-10486-1017192073.htm |
[8] | 赵一路.移动机器人SLAM问题研究[D].上海: 复旦大学, 2010. http://cdmd.cnki.com.cn/article/cdmd-10246-2010194981.htm |
[9] | 侯荣波, 魏武, 黄婷, 等. 基于ORB-SLAM的室内机器人定位和三维稠密地图构建[J]. 计算机应用, 2017, 37(5): 1439–1444. |
[10] | 权美香, 朴松昊, 李国. 视觉SLAM综述[J]. 智能系统学报, 2016, 11(6): 768–776. |
[11] | 徐冬云.基于Kinect的视觉同步定位与建图研究[D].哈尔滨: 哈尔滨工业大学, 2016. http://cdmd.cnki.com.cn/Article/CDMD-10213-1016702259.htm |
[12] | 张翠红.基于Kinect深度相机的室内三维场景重构[D].大连: 大连理工大学, 2013. http://cdmd.cnki.com.cn/Article/CDMD-10141-1013199286.htm |
[13] | SCHROTH G, HUITL R, CHEN D, et al. Mobile visual location recognition[J]. IEEE Signal Processing Magazine, 2011, 28(4): 77–89. DOI:10.1109/MSP.2011.940882 |
[14] | SCHROTH G, HUITL R, ABU-ALQUMSAN M, et al. Exploiting prior knowledge in mobile visual location recognition[C]//ICASSP. Kyoto, Japan: IEEE, 2012: 2357-2360. |