测绘地理信息   2021, Vol. 46 Issue (S1): 49-52
0
基于LiDAR点云控制的倾斜影像高精度几何定向技术研究[PDF全文]
陈立波1, 聂倩1, 陶鹏杰2    
1. 宁波市测绘和遥感技术研究院,浙江 宁波,315042;
2. 武汉大学遥感信息工程学院,湖北 武汉,430072
摘要: 随着倾斜摄影及实景三维建模技术的发展,测绘领域对于实景三维建模自动化和精度提出了更高的要求。本文提出了一种基于机载LiDAR(light detection and ranging)点云控制的倾斜影像高精度定向方法,通过对倾斜影像空三加密点的刚性变换和基于LiDAR点云控制的影像区域网平差的非刚性优化两个步骤,实现了基于LiDAR点云的云控制,有效提高了倾斜影像空三精度,为高精度实景三维自动化建模奠定了坚实基础。
关键词: LiDAR点云    倾斜影像    实景三维模型    倾斜影像配准    云控制    
Research on the Technology of High Precision Georeferencing of Oblique Imagery Based on LiDAR Point Clouds
CHEN Libo1, NIE Qian1, TAO Pengjie2    
1. Ningbo Institute of Surveying, Mapping and Remote Sensing, Ningbo 315042, China;
2. School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430072, China
Abstract: With the development of oblique photogrammetry and 3D real-world modeling technology, the automation and accuracy of 3D real-world modeline is required to be higher in the field of surveying and mapping. A high accuracy oblique imagery bundle adjustment method using airborne LiDAR point clouds as control data is proposed in this paper. Through the rigid transformation and non-rigid bundle adjustment of the pass points produced by aerotriangulation, the cloud-control based on the LiDAR point clouds is realized, which effectively improves the overall accuracy of aerotriangulation of the oblique imagery, this means that the automatic modeling of high accuracy 3D real world is very feasible.
Key words: LiDAR point clouds    oblique imagery    3D real-world model    oblique imagery matching    cloud-control    

倾斜摄影测量技术[1]作为近年来测绘行业的一项全新技术,在智慧城市建设[2]、应急安保、军事侦察等领域得到广泛的应用。它通过在一个飞行平台上搭载多个传感器,同时获得地物垂直和侧面影像,克服了传统航空摄影只从正射角度采集影像的限制[3]。然而,由于其多视角的成像方式,导致倾斜影像存在几何畸变和辐射畸变较大、摄影比例尺不一致、区域网平差解算参数的相关性和影像信息冗余度高等问题,为此很多人基于倾斜影像开展了相关精度研究[4-7]。与传统垂直摄影测量类似,目前倾斜影像几何定向主要采用离散控制点的“点控制”方法,离散控制点需要外业逐个测量,该方法制约了影像快速和高精度处理,因此“点控制”摄影测量已难以满足大数据时代影像处理。

近年,张祖勋院士提出“云控制”摄影测量的概念[8],以带有地理空间信息的正射影像、数字高程模型和LiDAR(light detection and ranging)点云等已有数据作为控制信息代替外业控制点,通过自动匹配获取大量密集的控制信息。本文基于“云控制”摄影测量的基本原理,提出了一种基于LiDAR点云控制的倾斜影像高精度定向方法,该方法采用ICP(iterative closet point,ICP)[9, 10]算法配准倾斜影像空三加密点和LiDAR点云,并通过非刚性变换筛选高质量配准点作为控制点,然后通过倾斜影像区域网平差与ICP的交叉迭代,实现倾斜影像高精度空三解算。

1 基于LiDAR点云控制的倾斜影像高精度定向原理

基于LiDAR点云控制的倾斜影像空中三角测量技术的关键步骤为LiDAR点云与倾斜影像的配准,并提取高质量配准点作为控制点,通过迭代完成倾斜影像区域网空三(空中三角测量)。然而,倾斜影像与LiDAR点云的数据维度和类型不同,二者之间的配准具有一定的特殊性。为此,本文研究了一种刚性与非刚性组合的LiDAR点云与倾斜影像配准方法,其关键技术可概括为基于ICP算法的刚性配准和基于SBA(Sparse Bundle Adjustment)[11, 12]的非刚性配准两个部分。其中,ICP算法在全局层面上促使倾斜空三点云与LiDAR点云保持整体几何一致性;而SBA(sparse bundle adjustment)算法则改正倾斜影像区域网局部的畸变和扭曲;通过ICP和区域网平差交叉迭代,实现倾斜空三加密点云与LiDAR控制点云的不断逼近,从而实现基于LiDAR点云的云控制,具体原理如图 1所示。

图 1 联合ICP与SBA的配准原理 Fig.1 Registration Principle of Combined ICP and SBA

1.1 LiDAR点云与倾斜影像刚性配准

基于ICP算法的刚性配准主要通过迭代最邻近算法将倾斜影像区域网空三的加密点空间基准变换成与LiDAR点云的一致,从而消除倾斜影像空三加密点云与LiDAR点云之间的系统性偏移,其实质是两组三维点云的空间相似性变换,因此又被称为刚性配准。对于倾斜影像空三加密点云和LiDAR点云,通常需要定义最临近点距离来判定二者之间的配准效果。本文采用点面距离最近原则作为几何配准的判定准则,其原理如图 2所示。对于任一空三加密点采用矢量Vi={Vix, Viy, Viz, 1}表示,首先搜索其在LiDAR点云中的最临近点集,并拟合得到一个平面Pi(z)=Aix+Biy+Ci(见图 2中线段表示),该点在LiDAR点云中的“同名点”为其到拟合平面的垂足点。

图 2 ICP算法中的点面距离 Fig.2 Distance Between Points and Surfaces in ICP Algorithm

ICP算法在于求解最佳的变换矩阵Mopt

$ {\mathit{\boldsymbol{M}}_{{\rm{opt}}}} = \min \sum\limits_\mathit{\boldsymbol{i}} {{d^2}} \left( {\mathit{\boldsymbol{M}}{\mathit{\boldsymbol{V}}_\mathit{\boldsymbol{i}}}, {\mathit{\boldsymbol{P}}_\mathit{\boldsymbol{i}}}} \right) $ (1)

式中,d()为点面距离函数,MMopt是4×4的空间相似性变换矩阵,该式表示的最小化问题可通过非线性最小二乘求解。当求解得到最优矩阵Mopt时,根据式(2)变换所有倾斜影像的投影矩阵。

$ {\mathit{\boldsymbol{H}}_{\mathit{\boldsymbol{i}} + 1}} = {\mathit{\boldsymbol{M}}_{{\rm{opt}}}}{\mathit{\boldsymbol{H}}_\mathit{\boldsymbol{i}}} $ (2)

式中,Hi为第i次迭代时倾斜影像的投影矩阵;Hi+1为第(i+1)次迭代时投影矩阵。

1.2 LiDAR点云与倾斜影像非刚性配准

基于ICP算法的刚性配准可实现倾斜空三加密点云与LiDAR点云的整体配准,但无法消除无控制条件下相机镜头畸变、GPS线性漂移和影像连接强度不均等多种因素造成的倾斜影像区域网内部存在的局部畸变。因此,采用ICP算法实现倾斜影像空三加密点云和LiDAR点云的刚性配准后,需筛选出高质量的配准点作为控制点,即寻找倾斜影像空三加密点云在LiDAR点云中的“同名点”,并将该控制点加入到倾斜影像区域网平差之中,以解算新的定向参数,如此迭代,直至配准精度满足设定的阈值。

对经典的区域网平差对应的能量方程进行扩展,增加空三加密点与LiDAR点云距离最小化约束,构建如式(3)所示的能量方程。

$ C = {C_p} + {C_g} = \sum\limits_i {\sum\limits_j {{{\left\| {f\left( {{V_i}, {X_j}} \right) - {p_{ij}}} \right\|}^2} + \sum\limits_i {{w_i}{{\left\| {d\left( {{V_i}, {P_i}} \right)/\delta } \right\|}^2}} } } $ (3)

式中,Vi为第i个加密点的地面坐标;pij为其在第j张影像上的像点坐标;Xj为第j张影像的定向参数;f(Vi, Xj)为第i个加密点在第j张影像上的投影坐标;Pi表示Vi在LiDAR点云最临近点集拟合得到的平面;d()为距离函数;δ表示倾斜影像的平均地面分辨率,用于将第二项归化为像素单位;wi为权值函数。

对于不同的倾斜空三加密点,其周围的LiDAR点云具有不同的局部特征。当空三加密点周围的LiDAR点云整体较为平整时,拟合平面的残差较小,因此可以在平差中赋予这些点较高的权重;当周围的LiDAR点云起伏较大时,平面拟合残差较大,故在平差中应赋予这些点较小的权重。假设V点附近的LiDAR点集N={N1, N2, …, Nn},拟合得到平面P,而D={D1, D2, …, Dn}分别代表LiDAR点集到拟合平面的距离,则该空三加密点的权重为:

$ w = 1/\sqrt {\frac{{D_1^2 + D_2^2 + \cdots + D_n^2}}{n}} $ (4)
2 试验及其结果分析

试验采用宁波市中心城区10 km2的倾斜影像和LiDAR点云数据。其中,航空影像采用倾斜数码航摄仪AMC5100拍摄,像幅大小为11 608×8 708像素,试验区倾斜影像数据共计1 451张,其中下视影像291张,其他4个视角影像分别为290张、291张、289张和290张;LiDAR点云数据由瑞典AHAB公司的蝙蝠机载激光雷达测量系统获取,点云密度为6个/m2,其高程中误差为±8 cm。在试验区野外实测了22个明显地物特征点作为检查点,用于精度评定,其检查点分布如图 3所示。

图 3 检查点分布图 Fig.3 Distribution of Inspection Points

利用本文方法对试验区倾斜影像进行处理后,将LiDAR点云投影至影像数据上,LiDAR点云与影像的套合情况如图 4所示。

图 4 配准后LiDAR点云与影像套合情况 Fig.4 Registration of LiDAR Point Cloud and Image Registration

图 4可以看出,经过配准后,LiDAR点云与影像整体套合较好,放大后可见如图 4(1)中屋顶狭窄的梁体和图 4(2)中较小的圆形物体都与LiDAR点云配准较好。

利用LiDAR点云控制条件下的倾斜影像区域网空三定向后,经过多视影像密集匹配技术生成稠密点云数据,并构建不规则三角网,然后通过纹理自动映射获得TIN网中每个三角形对应的纹理影像,从而生成倾斜实景三维模型。通过在倾斜实景三维模型上量取22个检查点的物方坐标,并将其与外业实测坐标进行对比分析,其检查点的误差如表 1所示。

表 1 检查点误差统计表/m Tab.1 Check Point Error Statistics/m

表 1可看出,22个外业检查点的xyz方向的中误差分别为±5.8 cm、±6.8 cm和±7.7 cm,即平面精度为±8.9 cm,高程精度为±7.7 cm。

试验表明,利用本文提出的利用密集点云“云”控制的倾斜影像定向方法,能够实现倾斜影像与点云的高精度配准,而进一步生成的实景三维模型也能达到很高的精度。

3 结束语

本文提出了一种基于LiDAR点云控制的倾斜影像高精度定向方法,采用联合ICP与SBA的LiDAR点云与倾斜影像配准算法,极大的提高了倾斜影像无外业控制点条件下的空三精度,为高精度实景三维自动建模打下了坚实基础。试验结果表明,本文采用的方法将LiDAR点云作为云控制信息,有效用于倾斜影像的高精度定向解算和倾斜实景三维建模。它同时表明利用高精度多源异构地理信息数据作为“云”控制开展倾斜影像的自动化建模是可行的。从原理上看,本文的方法同样适用于一般垂直影像的数据处理,后续将对其适用性及效果做进一步研究。

参考文献
[1]
潘成军. 基于倾斜摄影模型的1:500地形图要素提取及精度分析[J]. 测绘通报, 2017(S2): 62-66.
[2]
阚晓云, 孙景振. LiDAR及倾斜摄影技术在数字实景城市模型中的应用[J]. 测绘地理信息, 2014, 39(3): 43-46.
[3]
周旺辉, 蔡东健, 刘景山. 基于实景三维模型的1:500地形图测绘的分析与应用[J]. 测绘通报, 2017(S2): 57-61.
[4]
王京, 郭瑞隆, 马明义. 基于无人机倾斜摄影测量的三维重建及精度分析[J]. 测绘标准化, 2017, 33(3): 32-33.
[5]
曹琳. 基于无人机倾斜摄影测量技术的三维建模及其精度分析[D]. 西安: 西安科技大学, 2016
[6]
张平, 刘怡, 蒋红兵. 基于倾斜摄影测量技术的"数字资阳"三维建模及精度评定[J]. 测绘, 2014, 37(3): 115-118.
[7]
谭金石, 黄正忠. 基于倾斜摄影测量技术的实景三维建模及精度评估[J]. 现代测绘, 2015, 38(5): 21-24. DOI:10.3969/j.issn.1672-4097.2015.05.006
[8]
张祖勋, 陶鹏杰. 谈大数据时代的"云控制"摄影测量[J]. 测绘学报, 2017, 46(10): 1 238-1 248.
[9]
Besl P J, Mckay N D. A Method for Registration of 3-D Shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 239-256. DOI:10.1109/34.121791
[10]
Paul J. Besl, Neil D. McKay. Method for Registration of 3-D Shapes[C]//Other Conferences. Boston, MA, United States, SPIE, 1992
[11]
Shen X L, Dou Y, Steven M, et al. Distributed Sparse Bundle Adjustment Algorithm Based on Three-Dimensional Point Partition and Asynchronous Communication[J]. Frontiers of Information Technology & Electronic Engineering, 2018, 19(7): 889-904.
[12]
侯晓芬, 邢帅, 马东洋, 等. 面向序列影像的三维场景重建方法[J]. 测绘科学, 2016, 41(2): 126-129.