2019, Vol. 44引用本文 |
| 无人机高光谱内置推扫影像快速拼接方法 | [PDF全文] |
2. 四川双利合谱科技有限公司，四川 成都，200063;
3. 北京工商大学计算机与信息工程学院，北京, 100048;
4. 北京卓立汉光仪器有限公司，北京，101102;
5. 江西省农业科学院农业工程研究所，江西 南昌，330200
2. Sichuan Dualix Spectral Image Technology Co., Ltd., Chengdu 200063, China;
3. School of Computer and Information Engineering, Beijing Technology and Business University, Beijing 100048, China;
4. Beijing Zolix Technology Co., Ltd., Beijing 101102, China;
5. Institute of Agricultural Engineering, Jiangxi Academy of Agricultural Sciences, Nanchang 330200, China
高光谱遥感具有光谱分辨率高、波段范围窄、图谱合一、连续成像等特点，能够区分出地物光谱的细微差别，探测到其他宽波段遥感无法探测的信息[1]。因此，高光谱遥感在生态、大气、海洋、农业、林业、矿业等诸多应用领域具有非常大的优势[2-8]。随着成像光谱仪硬件技术不断发展，利用成像光谱仪获取高光谱影像更为方便、快捷[9]。随着无人机技术的日益成熟，将成像光谱仪与无人机高度集成获取地物无人机成像高光谱影像成为新的研究热点[10-11]。
然而由于无人机航拍受飞行高度，相机本身参数的影响，单张无人机影像所覆盖的区域面积不大，需要对多张影像进行拼接，才能有效地覆盖研究区域[12-14]。无人机载高光谱影像图幅较小，为每幅影像单独添加控制点信息工作量大、耗时长，而对影像统一添加控制点信息将大大缩短工作时间，提高工作效率[14-16]。相关学者对无人机影像数据的拼接做了很多研究[17-20]，主要方法有基于姿态参数(POS数据)的拼接、基于非特征的拼接和基于特征的拼接等[14]，其中无人机影像的拼接大部分是针对RGB图像或者多波段图像[21-23]，而针对无人机高光谱影像的拼接方法较少，特别是对于无人机高光谱内置推扫获取的高光谱影像数据，目前还没有研究者对其拼接方法进行研究。
鉴于目前对无人机高光谱影像数据拼接技术存在的不足之处，本文旨在研究一种低空无人机载高光谱影像自动拼接方法，其具有易于实现、拼接精度高、光谱畸变小等优点，可实现无地面控制点的无人机载高光谱影像的自动拼接，以解决当前单幅无人机载高光谱遥感影像图幅过小的问题。
1 数据处理流程试验地点在北京市大兴区南六环外黄村镇李村，无人机采用大疆无人机M600 Pro，在无人机平台上搭载的是由四川双利合谱科技有限公司自主研发的高光谱成像仪GaiaSky-mini。无人机高光谱影像获取时间为2017年11月8日下午的12:00~14:00，天气为晴，无人机飞行高度为400 m，采用的是2×4 Binning方式获取高光谱影像(2是空间维的，4是光谱维)(Binning是一种图像读出模式，将相邻的像元中感应的电荷被加在一起，以一个像素的模式读出)，高光谱影像的空间分辨率约为20 cm，此次飞行共获取24景高光谱影像数据，每景高光谱影像数据代表的地面幅宽约为190 m×190 m，面积约为36 100 m2，其中每景高光谱影像数据之间的横向重叠率为50%，纵向重叠率为40%。
1.1 数据的预处理与分析无人机高光谱影像的预处理利用SpecView软件，包括镜像变换[13]、黑白帧校准[14-15]，如式(1)所示：
| ${R_{{\rm{ref}}}} = \frac{{{\rm{D}}{{\rm{N}}_{{\rm{raw}}}} - {\rm{D}}{{\rm{N}}_{{\rm{dark}}}}}}{{{\rm{D}}{{\rm{N}}_{{\rm{white}}}} - {\rm{D}}{{\rm{N}}_{{\rm{dark}}}}}} \times {R_{{\rm{white}}}} $ | (1) |
式中，Rref是黑白校正过的影像反射率；DNraw是原始图像的DN值；DNwhite为白板的DN值；DNdark是相机系统误差的DN值；Rwhite为白板的反射率。
考虑到无人机飞到一定高度后，高光谱成像仪获取的高光谱影像数据可能会受到大气、水汽等因素的影响。为了消除这些因素的影响，我们在无人机起飞之前，在拍摄区域放置一块经过国家计量院标定过的2 m×2 m灰布，在高光谱影像获取的时候，只需要在其中的一景高光谱影像中覆盖到灰布即可。消除大气、水汽等因素影响的公式为：
| ${R_{{\rm{fixed }}}} = \frac{{{R_{{\rm{ref }}}} \times {R_{{\rm{standard }}}}}}{{{R_{{\rm{grayref }}}}}} $ | (2) |
式中，Rfixed是消除大气、水汽等因素后的影像反射率；Rref是经过黑白校正后的影像反射率；Rstandard是经过国家计量院标定的灰布反射率; Rgrayref是经过黑白帧校正后影像中灰布的反射率值。图 1为大气修正前后的光谱反射率曲线。从图 1中可知，经过大气校正之后，光谱曲线的主要变化集中在近红外区域特别是900 nm以后的区域；在可见光区域除450 nm之前的光谱有细微变化外，其他范围光谱曲线无显著变化。
 |
| 图 1 高光谱影像大气校正前后的光谱曲线 Fig.1 Spectral Curve Before and After Atmospheric Correction of Hyperspectral Image |
1.2 无人机高光谱影像拼接流程
对消除大气、水汽等因素影响的高光谱影像计算其波段信噪比，根据其信噪比的峰值筛选出特征波段，然后基于SIFT算法对选出的特征波段提取特征点并对特征点进行匹配，图像拼接过程中利用经纬度信息及墨卡托投影(Mercator)纠正图像的变形，同时利用重投影(Reproj)算法细化高光谱相机参数。在高光谱影像拼接之前选择是否对拼接图像进行匀色，最后得到拼接好的高光谱影像数据，拼接流程如图 2所示。
 |
| 图 2 无人机高光谱影像的拼接具体流程图 Fig.2 Flow Chart of Drone Hyperspectral Mosaic Image |
1.3 高光谱影像拼接效果检验
为了准确地验证高光谱影像拼接结果的有效性，提取了拼接结果重叠区域和非拼接图像相同经纬度的6个采样点的光谱反射率，利用光谱角填图(SAM)、波谱特征拟合分类法(SFF)及二进制编码(BE)对拼接前后、是否匀色的光谱曲线进行匹配与相似性计算，得到一个0~1的匹配度分值，结果总分值越高，则相似性越好。
2 高光谱影像拼接结果分析 2.1 高光谱拼接图分析以高光谱拼接图像的任意三波段作为RGB伪彩色合成图为例，从图 3可知，从总体上看，对图像特征点明显的区域，是否选择匀色对高光谱影像的拼接无显著差异。但在特征点不显著区域则图像显示差异较大，如图 4可知，对拼接图像是否采用匀色对高光谱影像的“图”有较为显著的差异，显然在采用匀色对拼接结果的“图”效果更好，而匀色是否对高光谱影像的“光谱”有较大的影响，则需要进一步的分析验证。
 |
| 图 3 高光谱影像拼接前后效果图(以RGB伪彩色为例) Fig.3 Before and After Splicing of Hyperspectral Images (RGB Pseudo-Color as an Example) |
 |
| 图 4 高光谱影像重叠区域拼接匀色与否对比 Fig.4 Comparison of the Uniform Color in the Overlapped Area of the High-Spectral Image |
2.2 高光谱影像拼接光谱分析
为了进一步验证高光谱影像拼接结果的有效性，本文提取了拼接结果重叠区域中典型地物(如植被、土壤、房屋等)的6个采样点的光谱反射率及拼接前两景图像对应位置的光谱反射率进行对比分析(表 1)，这6个采样点的光谱反射率曲线如图 5所示。图 5中第一条光谱和第二条光谱代表的是拼接前两景图像重叠区相同位置的光谱反射率，未匀色和匀色分别代表的是未匀色和匀色拼接图像相应位置的光谱反射率。从图 5可知，反射率较高的地物，其拼接前后的光谱重叠率较高，如第一类、第三类和第五类地物；而反射率较低的地物，其拼接前后的光谱差异较大，如第六类地物所示。总体而言拼接前后高光谱图像的光谱反射率曲线相似度非常高，拼接后其光谱反射率曲线保留了未拼接前高光谱图像的反射率曲线的大部分信息。
 |
| 图 5 6个采样点拼接前光谱曲线与拼接后光谱曲线对比分析 Fig.5 Comparison and Analysis of the Spectra Curves Before and After Splicing at 6 Sampling Points |
| 表 1 影像拼接前后其光谱相似度评价 Tab.1 Evaluation of Spectral Similarity Before and After Image Stitching |
 |
2.3 高光谱影像拼接前后光谱匹配度分析
在高光谱影像的实际应用中不仅注重空间信息更加注重其光谱信息，为了更为准确地验证拼接方法的有效性，分别选用光谱角填图(SAM)、波谱特征拟合分类法(SFF)及二进制编码(BE)对拼接前后、是否匀色的光谱曲线进行匹配与相似性计算，得到一个0~1的匹配度分值，SAM、SFF和BE等总分值越高，则相似性越好，具体计算结果如表 1所示。
从表 1可以看出，在SAM方面，在6个采样点中，未匀色拼接结果图像的匹配度最小值为0.959，最大值为1，匀色拼接结果图像的匹配度最小值为0.958，最大值为0.995；在SFF方面，在6个采样点中，未匀色拼接结果图像的匹配度最小值为0.881，最大值为0.999，匀色拼接结果图像的匹配度最小值为0.837，最大值为0.995；在BE方面，在6个采样点中，未匀色拼接结果图像的匹配度最小值为0.942，最大值为1，匀色拼接结果图像的匹配度最小值为0.883，最大值为1；在SAM、SFF和BE三者总分值方面，在8个采样点中，未匀色拼接结果图像的匹配度最小值为2.826，最大值为2.999，匀色拼接结果图像的匹配度最小值为2.801，最大值为2.985，因此是否对高光谱图像的拼接结果采用匀色处理，对其光谱并无太大影响。
不同采样点之间，当利用第一条光谱作为基准对其他光谱曲线进行匹配分析时，得出的匹配结果与利用第二条光谱作为基准对其他光谱曲线进行匹配分析时不一样，这是因为两景图像虽然有着重叠区域，但是受空间分辨率的影响，并不能保证存在重叠区的高光谱图像，其相应像素代表的地面物体完全相同，因此光谱曲线存在差异是正常的。为减少两景图像重叠区相同像素光谱的差异性，在选择采样点时尽量选择周边较为均一的地物。
2.4 图像拼接效率对比为了验证无人机高光谱影像的拼接效率，本文选取了两台笔记本的电脑，分别是Dell7520和ThinkPad T440P对24景、50景、120景、500景无人机高光谱影像进行拼接，如表 2所示。研究结果表明，硬件配置较好的DeLL7520拼接效率远远高于硬件配置较差的ThinkPad T440P，在处理24景无人机高光谱影像拼接时，DeLL7520比ThinkPad T440P处理速度快4 h；在处理50景无人机高光谱影像拼接时，DeLL7520比ThinkPad T440P处理速度快7.7 h；在处理120景和500景无人机高光谱影像时，ThinkPad T440P处理速度显然更慢，甚至出现笔记本卡死/蓝屏重启，而DELL7520则正常拼接。
| 表 2 硬件配置及图像拼接效率对比 Tab.2 Hardware Configuration and Image Stitching Efficiency Comparison |
 |
3 结束语
本文对消除大气、水汽等因素影响的高光谱影像计算其波段信噪比，并根据其信噪比的峰值筛选出特征波段，利用SIFT算法对选出的特征波段提取特征点并对特征点进行匹配，墨卡托投影(Mercator)纠正图像的变形以及重投影(Reproj)算法细化高光谱相机参数的方法对无人机高光谱影像进行自动拼接并对拼接结果进行匀色，同时运用SAM、SFF和BE光谱匹配算法验证了高光谱影像拼接算法的可行性。研究表明本文提出的无人机高光谱影像拼接算法解决了当前单幅无人机载高光谱影像图幅过小的问题，且对无控制点的无人机载内置推扫式的高光谱遥感影像可实现自动拼接，且拼接效果好、精度高、光谱畸变小，研究结果为其他无人机载高光谱遥感影像的自动拼接提供借鉴，同时无人机高光谱影像的拼接结果可应用于大范围的高光谱遥感影像分类与识别、土地利用/覆盖分类、精细农业、环保、矿产矿物勘测等多种领域中。
| [1] |
赵英石. 遥感应用分析原理与方法[M]. 北京: 科学出版社, 2003.
|
| [2] |
樊雪, 刘清旺, 谭炳香. 基于机载PHI高光谱数据的森林优势树种分类研究[J]. 国土资源遥感, 2017, 29(2): 110-116. |
| [3] |
Zhang B, Wu D, Zhang L, et al. Application of Hyperspectral Remote Sensing for Environment Monitoring in Mining Areas[J]. Environmental Earth Sciences, 2012, 65(3): 649-658. DOI:10.1007/s12665-011-1112-y |
| [4] |
Bryson M T. Airborne Vision-Based Mapping and Classification of Large Farmland Environments[J]. Journal of Field Robotics, 2010, 27(5): 632-655. DOI:10.1002/rob.20343 |
| [5] |
Garcia-Ruiz F, Sankaran S, Maja J M, et al. Comparison of Two Aerial Imaging Platforms for Identification of Huanglongbing-Infected Citrus Trees[J]. Computers and Electronics in Agriculture, 2013, 91: 106-115. DOI:10.1016/j.compag.2012.12.002 |
| [6] |
Asadzadeh S, Roberto D S F C. A Review on Spectral Processing Methods for Geological Remote Sensing[J]. International Journal of Applied Earth Observations and Geoinformation, 2016, 47: 69-90. DOI:10.1016/j.jag.2015.12.004 |
| [7] |
Tong Q, Xue Y, Zhang L. Progress in Hyperspectral Remote Sensing Science and Technology in China over the Past Three Decades[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(1): 70-91. DOI:10.1109/JSTARS.2013.2267204 |
| [8] |
刘益世, 杨敏华, 李海巍. 利用端元坐标的高光谱影像端元提取方法[J]. 测绘地理信息, 2013, 38(4): 42-44. |
| [9] |
许志方, 王双亭, 王春阳, 等. 尺度不变特征变换的UHD185高光谱影像拼接[J]. 遥感信息, 2017, 32(1): 95-99. DOI:10.3969/j.issn.1000-3177.2017.01.016 |
| [10] |
高林, 杨贵军, 于海洋, 等. 基于无人机高光谱遥感的冬小麦叶面积指数反演[J]. 农业工程学报, 2016, 22(3): 113-120. |
| [11] |
Córcoles J I, Ortega J F, Hernández D, et al. Estimation of Leaf Area Index Inonion (Allium Cepa L) Using an Unmanned Aerial Vehicle[J]. Biosystems Engineering, 2013, 115(1): 31-42. DOI:10.1016/j.biosystemseng.2013.02.002 |
| [12] |
侯舒维, 郭宝龙. 一种图像自动拼接的快速算法[J]. 计算机工程, 2005, 31(15): 70-72. |
| [13] |
何敬, 李永树, 鲁恒, 等. 基于SIFT特征点的无人机影像拼接方法研究[J]. 光电工程, 2011, 38(2): 122-126. DOI:10.3969/j.issn.1003-501X.2011.02.020 |
| [14] |
鲁恒, 李永树, 何敬, 等. 一种基于特征点的无人机影像自动拼接方法[J]. 地理与地理信息科学, 2010, 26(5): 16-19. |
| [15] |
牛璐璐.航空高光谱遥感影像自动拼接技术研究[D].长春: 吉林大学, 2016
|
| [16] |
王春阳, 许志方, 王双亭, 等.一种低空无人机载高光谱遥感影像自动拼接方法: CN105844587A[P].[2016-03-17].[2016-08-10].http://www.soopat.com/patent/201610153258
|
| [17] |
杨占龙.基于特征点的图像配准与拼接技术研究[D].西安: 西安电子科技大学, 2008
|
| [18] |
Brown J A, Ashlock D, Orth J, et al.Autogeneration of Fractal Photographic Mosaic Images[C].Evolutionary Computation (CEC), 2011 IEEE Congress on IEEE, New Orleans, USA, 2011
|
| [19] |
贾银江, 徐哲男, 苏中滨, 等. 基于优化SIFT算法的无人机遥感作物影像拼接[J]. 农业工程学报, 2017(10): 131-137. |
| [20] |
Brown M, Lowe D. Automatic Panoramic Image Stitching Using Invariant Features[J]. Int J Comput Vis, 2007, 74(1): 59-73. |
| [21] |
王茜, 宁纪锋, 曹宇翔, 等. 基于SIFT算法的无人机遥感图像拼接技术[J]. 吉林大学学报(信息科学版), 2017, 35(2): 188-197. DOI:10.3969/j.issn.1671-5896.2017.02.013 |
| [22] |
汪小钦, 王苗苗, 王绍强, 等. 基于可见光波段无人机遥感的植被信息提取[J]. 农业工程学报, 2015, 31(5): 152-159. DOI:10.3969/j.issn.1002-6819.2015.05.022 |
| [23] |
刘婷婷, 张惊雷. 基于ORB特征的无人机遥感图像拼接改进算法[J]. 计算机工程与应用, 2018, 54(2): 193-197. |