2. 中国地质大学(武汉)智能地学信息处理湖北省重点实验室, 湖北 武汉 430078;
3. 南京航空航天大学 电子信息工程学院, 江苏 南京 211106;
4. 哈尔滨工程大学 信息与通信工程学院, 黑龙江 哈尔滨 150001
2. Hubei Key Laboratory of Intelligent Geo-Information Processing, China University of Geosciences (Wuhan), Wuhan 430078, China;
3. College of Electronics and Information Engineering, Nanjing University of Aeronautics & Astronautics, Nanjing 211106, China;
4. College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China
多光谱图像可以为森林定位提供数据信息,已经用于生态预测、环境政治和城市发展等相关研究[1-2]。由于外界环境的影响和传感器的局限性,原始多光谱图像中普遍存在大量的混合像素,使得多光谱图像的分辨率变得模糊。图像分辨率的模糊性给包括森林在内的土地覆盖类型的空间分布带来了诸多挑战[3-5]。虽然光谱解混技术可以估计出像素属于每个地物类别的比例,但是仍然不能准确获得地物类别的分布情况[6-9]。为了解决这个问题,提出了亚像素定位(subpixel mapping, SPM)技术[10-12]。它处理丰度图像(原始图像的光谱解混结果)得到亚像素级的精细分辨率下的地物类别分类图像。
近年来,关于SPM的研究成果越来越多。文献[13-14]提出了基于像素交换的SPM算法,在混合像素内交换2个需要交换的亚像素的位置,然后迭代逼近SPM结果。文献[15-16]提出了基于Hopefield神经网络的SPM算法,该方法基于能量最小化原理,应用Hopefield神经网络获得代表亚像素的神经元输出高分辨率丰度图像,进而获得SPM结果。除此之外,可以利用BP神经网络、指示协克里格、空间-光谱相关性、时空信息和一些超分辨率改善SPM效果[17-23]。特别地,可以采用不同类型的空间吸引模型(space attraction model, SAM)对空间相关性进行量化,得到SPM结果,由于考虑到两尺度空间相关性,混合空间吸引模型(mixed space attraction model, MSAM)[24-25]可以得到更精确的定位结果。
SPM技术已成功用于获取森林区域定位,命名为亚像素森林定位(subpixel forest mapping, SPFM)[26]。特别地,由于物理意义简单,不需要任何先验信息,基于MSAM的SPFM(SPFM-MSAM)是一种常用的获得森林定位结果的方法。然而,SPFM-MSAM中的森林光谱信息往往得不到充分利用,影响了最终定位结果的精度。为了改进SPFM-MSAM,本文提出了一种面向空-谱信息的多光谱图像亚像素森林定位方法(subpixel forest mapping for multispectral image based on space-spectrum information, SPFM-SSI)。SPFM-SSI利用MSAM生成的空间项和归一化差分植被指数(normalized difference vegetation index, NDVI)[26]生成的光谱项共同提高定位精度。
1 多光谱图像亚像素森林定位方法(SPFM-SSI) 1.1 空间项在提出的SPFM-SSI中,根据空间相关性原理,将空间项TSPA定义为最大优化问题。MSAM用于计算中心亚像素pj(j=1,2, …, MS2; M是混合像素的数目; MS2是亚像素数目)和相邻的混合像素或相邻的亚像素之间的空间相关性。空间项TSPA的数学模型定义为:
$ \begin{gathered} T^{S P A}=\max \sum\limits_{j=1}^{M S^{2}} o_{j} \times\left[\sum\limits_{C=1}^{N} w_{j C} \times F\left(P_{C}\right)+\sum\limits_{c=1}^{N^{*}} w_{j c}\right]+\\ \left(1-o_{j}\right) \times\left[\sum\limits_{C=1}^{N} w_{j C} \times\left(1-F\left(P_{C}\right)\right)+\sum\limits_{c=1}^{N^{*}} w_{j c}\right] \end{gathered} $ | (1) |
式中:F(PC)表示通过光谱解混获得的第C个与中心亚像素pj相邻的混合像素PC属于森林类别的概率值;N是相邻混合像素的数目,N*是相邻亚像素的数目,在本文中,它们都被认为是最多8邻域;oj是每个亚像素的二进制标签(1表示森林标签,0表示背景标签)。wjC用于计算中心亚像素pj和相邻混合像素PC之间的相关性,wjc用于计算中心亚像素pj和相邻亚像素pc之间的相关性,如图 1所示为这2种尺度的空间相关性示意图。
Download:
|
|
wjC和wjc被定义为:
$ w_{j C} =\exp \left(-d\left(p_{j}, P_{C}\right)^{2} / r_{1}\right) $ | (2) |
$ w_{j c} =\exp \left(-d\left(p_{j}, p_{c}\right)^{2} / r_{2}\right) $ | (3) |
式中:r1和r2为非线性参数;d(pj, PC)是中心亚像素pj与相邻混合像素PC之间的欧几里德距离;d(pj, pc)是中心亚像素pj与相邻亚像素pc之间的欧几里德距离。根据空间相关性原理,在最大化TSPA的前提下,可以得到较好的亚像素分布。由于MSAM考虑了2种尺度的空间相关性,产生的空间项TSPA具有更加丰富的空间信息。
1.2 光谱项为了更充分地利用多光谱图像中森林的光谱信息,本文采用NDVI,提出了一种新型的具有光谱信息的光谱项TSPE。将森林光谱反射率从红色波段(red band, RB)到近红外波段(near-infrared band, NB)的急剧增加的情况考虑进NDVI中。因此通过最小化观测到的NDVI值(NDVIOBE)和模拟的NDVI值(NDVISIM)之间的光谱差导出TSPE。
NDVIOBE被定义为:
$ \mathrm{NDVI}^{\mathrm{OBE}}=\sum\limits_{1}^{M} \frac{r_{\mathrm{NB}}-r_{\mathrm{RB}}}{r_{\mathrm{NB}}+r_{\mathrm{RB}}} $ | (4) |
式中:rNB和rRB是2个波段中每个混合像素的观测光谱反射率; M是混合像素的数量。
通过计算NB中各混合像素的模拟光谱反射率oNB和RB中各混合像素的模拟光谱反射率oRB,得到NDVISIM:
$ \mathrm{NDBI}^{\mathrm{SIM}}=\sum\limits_{1}^{M} \frac{o_{\mathrm{NB}}-o_{\mathrm{RB}}}{o_{\mathrm{NB}}+o_{\mathrm{RB}}} $ | (5) |
每个混合像素的模拟光谱反射率被认为是其内所有亚像素光谱值的线性混合。oNB和oRB的数学模型为:
$ o_{\mathrm{NB}}=\left(o_{\mathrm{NB}}^{\mathrm{F}} \times h_{\mathrm{NB}}^{\mathrm{F}}\right)+\left[o_{\mathrm{NB}}^{\mathrm{BC}} \times\left(1-h_{\mathrm{NB}}^{\mathrm{F}}\right)\right] $ | (6) |
$ o_{\mathrm{RB}}=\left(o_{\mathrm{RB}}^{\mathrm{F}} \times h_{\mathrm{RB}}^{\mathrm{F}}\right)+\left[o_{\mathrm{RB}}^{\mathrm{BC}} \times\left(1-h_{\mathrm{RB}}^{\mathrm{F}}\right)\right] $ | (7) |
式中:oNBF和oRBF分别是NB和RB中森林的光谱反射率;oNBBG和oRBBG是2个波段中的背景反射率;hNBF和hRBF是2个波段中森林在每个混合像素中的比例,它们是通过森林亚像素数除以总亚像素数得到的。则背景所占的比例由1-hNBF和1-hRBF给出。
因此,光谱项TSPE被表述为:
$ T^{\mathrm{SPE}}=\min \left(\mathrm{NVBI}^{\mathrm{OBE}}-\mathrm{NVBI}^{\mathrm{SIM}}\right)^{2} $ | (8) |
SPFM-SSI的目标是通过一个权重参数δ(0≤δ < 1)最小化包括空间项TSPA和光谱项TSPE的优化函数E:
$ \min E=\delta T^{\mathrm{SPE}}-(1-\delta) T^{\mathrm{SPA}} $ | (9) |
为了得到更好的映射结果,本文采用了模拟退火算法优化函数E。首先,每个亚像素被随机分配森林标签或背景标签。然后迭代地改变亚像素的标签,直到得到E的最小值。在每次迭代中,森林标签都会更改为背景标签,反之亦然。如果E减少,则接受此更改,否则拒绝此更改。如果需要更改的标签少于总数的0.1%,则停止更改,完成模拟退火算法处理,得到最终的亚像素森林定位结果。
本文提出的SPFM-SSI通过空间项TSPA和光谱项TSPE充分利用了空-谱信息,因此使得最终的森林定位结果精度得到提高。
2 实验与分析 2.1 实验设置选取2幅来自巴西亚马逊雨林的Landsat 8 OLI多光谱图像作为实验数据。图像2的森林分布比图像1复杂。2幅800×800像素图像的测试区域如图 2所示。为了定量地估计SPFM-SSI的性能,利用亚像素定位最常用的实验设置,模拟的粗糙多光谱图像是通过对原始的精细多光谱图像通过比例尺度S进行降采样获得的。在这种情况下,可以知道亚像素级的土地覆盖类型,因此可以评估图像配准误差对本文所提出方法的影响。如图 3所示,通过S=10降采样产生模糊图像。采用基于最小二乘支持向量机的光谱解混方法得到丰度图像[4]。通过多次参数测试,对于2幅图像选择了参数δ=0.6和δ=0.5。
Download:
|
|
Download:
|
|
本文比较了3种SPFM方法:基于亚像素吸引模型的SPFM-SPSAM、SPFM-MSAM和提出的SPFM-SSI。利用总体精度(overall accuracy, OA (%))和kappa系数(Kappa)对3种SPFM方法进行评价。使用Matlab 2018a软件平台进行实验。
2.2 结果分析如图 4(a)和5(a)所示,2个测试图像的参考图像是对图 2(a)、(b)精细多光谱图像通过基于最小二乘支持向量机分类算法获得的。从图 4和图 5所示的数据1和数据2的4个SPFM结果可以看出,利用SPFM方法可以获得森林的空间分布。但是由于SPFM-SPSAM和SPFM-MSAM没有充分利用原始图像的光谱信息,使得结果中边界处也存在许多毛刺,平滑区存在许多断孔。由于考虑了更丰富的空-谱信息,可以观察到SPFM-SSI产生了更加理想的结果,并且更加接近参考图像。
Download:
|
|
Download:
|
|
表 1显示的3种方法的评价指标,可以观察到提出的SPFM-SSI各项评价指标均高于其他SPFM方法。例如对于图像1得到的结果中的OA,SPFM-SPSAM产生的OA值为95.42%,SPFM-MSAM产生的OA值为95.77%。与SPFM-MSAM相比,SPFM-SSI使OA值增加约1.0%。根据OA的定义,图像1包含800×800个像素,提高了约1.0%意味着将会增加6 400个像素被正确定位,因此所提出的方法可以明显改森林定位的精度。与图像1得到的结果相似,针对图像2中的各项评价指标。SPFM-SSI方法仍然可以得到最佳的森林定位结果。
此外,为了测试比例尺度S对SPFM的影响,对图像1中进行另外2个比例尺度S=8和S=20的测试。图 6所示为3种比例尺度S下的3种SPFM方法的OA和Kappa。与表 1中的结果类似,SPFM-SSI仍然可以得到最高的OA和Kappa值。
Download:
|
|
最后,研究所选参数δ对SPFM-SSI的影响。以0.1为间隔,从0到0.9,10个组合对2个测试图像进行测试。总体精度OA与参数δ的关系如图 7所示。由于参数δ是平衡空间项TSPA和光谱项TSPE对E的影响,因此选择合适的δ可以改善最终的森林定位结果。针对2个测试图像,当分别δ=0.6和δ=0.5时,可以得到最高的总体精度OA,即此时为更合适的参数δ值。
Download:
|
|
1) 利用混合空间引力模型充分提取多光谱图像多尺度空间信息,同时使用归一化差分植被指数充分利用多光谱图像森林光谱信息;
2) 通过充分地利用空-谱信息,SPFM-SSI提高了亚像素森林定位效果。
3) 对2幅Landsat 8 OLI卫星图像进行了测试,结果表明提出的SPFM-SSI较现有的SPFM方法得到了获得的亚像素森林定位精度更高。
本文通过多次试验选择了合适的参数δ。因此,一种自适应的选择参数δ方法是值得研究的。此外,SPFM-SSI在大面积真实图像中的性能值也得进一步研究。
[1] |
FOLEY J A, DEFRIES R, ASNER G P, et al. Global consequences of land use[J]. Science, 2005, 309(5734): 570-574. DOI:10.1126/science.1111772 (0)
|
[2] |
王立国, 赵亮, 石瑶. 基于最大最小距离的高光谱遥感图像波段选择[J]. 智能系统学报, 2018, 13(1): 131-137. WANG Liguo, ZHAO Liang, SHI Yao. Maximin distance algorithm-based band selection for hyperspectral imagery[J]. CAAI transactions on intelligent systems, 2018, 13(1): 131-137. (0) |
[3] |
LIU Peng, WANG Meng, WANG Lizhe, et al. Remote-sensing image denoising with multi-sourced information[J]. IEEE journal of selected topics in applied earth observations and remote sensing, 2019, 12(2): 660-674. DOI:10.1109/JSTARS.2019.2891566 (0)
|
[4] |
凌峰, 吴胜军, 肖飞, 等. 遥感影像亚像元定位研究综述[J]. 中国图象图形学报, 2011, 16(8): 1335-1345. LING Feng, WU Shengjun, XIAO Fei, et al. Sub-pixel mapping of remotely sensed imagery: a review[J]. Journal of image and graphics, 2011, 16(8): 1335-1345. (0) |
[5] |
毕晓君, 潘梦迪. 基于生成对抗网络的机载遥感图像超分辨率重建[J]. 智能系统学报, 2020, 15(1): 74-83. BI Xiaojun, PAN Mengdi. Super-resolution reconstruction of airborne remote sensing images based on the generative adversarial networks[J]. CAAI transactions on intelligent systems, 2020, 15(1): 74-83. (0) |
[6] |
LI Hao, FENG Ruyi, WANG Lizhe, et al. Superpixel-based reweighted low-rank and total variation sparse unmixing for hyperspectral remote sensing imagery[J]. IEEE transactions on geoscience and remote sensing, 2021, 59(1): 629-647. DOI:10.1109/TGRS.2020.2994260 (0)
|
[7] |
WANG Liguo, LIU Danfeng, WANG Qunming, et al. Spectral unmixing model based on least squares support vector machine with unmixing residue constraints[J]. IEEE geoscience and remote sensing letters, 2013, 10(6): 1592-1596. DOI:10.1109/LGRS.2013.2262371 (0)
|
[8] |
HONG Danfeng, YOKOYA N, CHANUSSOT J, et al. An augmented linear mixing model to address spectral variability for hyperspectral unmixing[J]. IEEE transactions on image processing, 2019, 28(4): 1923-1938. DOI:10.1109/TIP.2018.2878958 (0)
|
[9] |
李士进, 常纯, 余宇峰, 等. 基于多分类器组合的高光谱图像波段选择方法[J]. 智能系统学报, 2014, 9(03): 372-378. LI Shijin, CHANG Chun, YU Yufeng, et al. Multi-classifier combination-based hyperspectral band selection[J]. CAAI transactions on intelligent systems, 2014, 9(03): 372-378. DOI:10.3969/j.issn.1673-4785.2014.03.020 (0) |
[10] |
WANG Qunming, SHI Wenzhong, WANG Liguo. Allocating classes for soft-then-hard subpixel mapping algorithms in units of class[J]. IEEE transactions on geoscience and remote sensing, 2014, 52(5): 2940-2959. DOI:10.1109/TGRS.2013.2267802 (0)
|
[11] |
FAN Runyu, FENG Ruyi, WANG Lizhe, et al. Semi-MCNN: a semisupervised Multi-CNN ensemble learning method for urban land cover classification using submeter HRRS images[J]. IEEE journal of selected topics in applied earth observations and remote sensing, 2020, 13: 4973-4987. DOI:10.1109/JSTARS.2020.3019410 (0)
|
[12] |
WANG Peng, ZHANG Lei, ZHANG Gong, et al. Superresolution land cover mapping based on pixel-, subpixel-, and superpixel-scale spatial dependence with pansharpening technique[J]. IEEE journal of selected topics in applied earth observations and remote sensing, 2019, 12(10): 4082-4098. DOI:10.1109/JSTARS.2019.2939670 (0)
|
[13] |
ATKINSON P M. Sub-pixel target mapping from soft-classified, remotely sensed imagery[J]. Photogrammetric engineering & remote sensing, 2005, 71(7): 839-846. (0)
|
[14] |
WANG Qunming, ZHANG Chengyuan, TONG Xiaohua, et al. General solution to reduce the point spread function effect in subpixel mapping[J]. Remote sensing of environment, 2020, 251: 112054. DOI:10.1016/j.rse.2020.112054 (0)
|
[15] |
WANG Peng, WANG Liguo, LEUNG H, et al. Subpixel mapping based on Hopfield neural network with more prior information[J]. IEEE geoscience and remote sensing letters, 2019, 16(8): 1284-1288. DOI:10.1109/LGRS.2019.2895629 (0)
|
[16] |
LI Xiaodong, DU Yun, LING Feng, et al. Superresolution mapping of remotely sensed image based on Hopfield neural network with anisotropic spatial dependence model[J]. IEEE geoscience and remote sensing letters, 2014, 11(7): 1265-1269. DOI:10.1109/LGRS.2013.2291778 (0)
|
[17] |
许雄, 钟燕飞, 张良培, 等. 基于空间自相关BP神经网络的遥感影像亚像元定位[J]. 测绘学报, 2011, 40(3): 307-311. XU Xiong, ZHONG Yanfei, ZHANG Liangpei, et al. A sub-pixel mapping algorithm based on BP neural network with spatial autocorrelation function for remote sensing imagery[J]. Acta geodaetica et cartographica sinica, 2011, 40(3): 307-311. (0) |
[18] |
JIN Huiran, MOUNTRAKI G, LI Peijun. A super-resolution mapping method using local indicator variograms[J]. International journal of remote sensing, 2012, 33(24): 7747-7773. DOI:10.1080/01431161.2012.702234 (0)
|
[19] |
WANG Peng, WANG Liguo, LEUNG H, et al. Super-resolution mapping based on spatial-spectral correlation for spectral imagery[J]. IEEE transactions on geoscience and remote sensing, 2021, 59(3): 2256-2268. DOI:10.1109/TGRS.2020.3004353 (0)
|
[20] |
HE Da, ZHONG Yanfei, ZHANG Liangpei. Spatiotemporal subpixel geographical evolution mapping[J]. IEEE transactions on geoscience and remote sensing, 2019, 57(4): 2198-2220. DOI:10.1109/TGRS.2018.2872081 (0)
|
[21] |
HE Da, ZHONG Yanfei, ZHANG Liangpei. Spectral-spatial-temporal MAP-based sub-pixel mapping for land-cover change detection[J]. IEEE transactions on geoscience and remote sensing, 2020, 58(3): 1696-1717. DOI:10.1109/TGRS.2019.2947708 (0)
|
[22] |
WANG Peng, WANG Liguo, CHANUSSOT J. Soft-then-hard subpixel land cover mapping based on spatial-spectral interpolation[J]. IEEE geoscience and remote sensing letters, 2016, 13(12): 1851-1854. DOI:10.1109/LGRS.2016.2614810 (0)
|
[23] |
WANG Qunming, SHI Wenzhong, ATKINSON P M. Sub-pixel mapping of remote sensing images based on radial basis function interpolation[J]. ISPRS journal of photogrammetry and remote sensing, 2014, 92: 1-15. DOI:10.1016/j.isprsjprs.2014.02.012 (0)
|
[24] |
LING Feng, LI Xiaodong, DU Yun, et al. Sub-pixel mapping of remotely sensed imagery with hybrid intra- and inter-pixel dependence[J]. International journal of remote sensing, 2013, 34(1): 341-357. DOI:10.1080/01431161.2012.705441 (0)
|
[25] |
WANG Peng, WANG Liguo. Soft-then-hard super-resolution mapping based on a spatial attraction model with multiscale sub-pixel shifted images[J]. International journal of remote sensing, 2017, 38(15): 4303-4326. DOI:10.1080/01431161.2017.1317937 (0)
|
[26] |
ZHANG Yihang, ATKINSON P M, LI Xiaodong, et al. Learning-based spatial-temporal superresolution mapping of forest cover with MODIS images[J]. IEEE transactions on geoscience and remote sensing, 2017, 55(1): 600-614. DOI:10.1109/TGRS.2016.2613140 (0)
|