随着遥感技术的迅速发展，高光谱图像(hyperspectral image，HSI)在土地覆盖物分类中得到了广泛的应用^[1-3]。训练一个HSI分类器，通常需要大量的标记样本，而标记样本的采集过程既昂贵又费时^[4-5]。主动学习(active learning，AL)方法可以有效解决HSI标记样本少的问题^[6-7]。在AL方法中，多视图主动学习(multiview active learning, MVAL)方法可以从多个视图中提取互补信息，大大减少训练样本的数量^[8-10]。

学者们对MVAL的样本选择方法展开了广泛研究：文献[11]提出了自适应最大不一致(adaptive maximum disagreement, AMD)的样本选择方法，该方法利用各分类器对样本预测结果的不一致性选择样本；文献[12]提出了加权投票熵(weighted voting entropy, WVE)的样本选择方法，由于不同视图对于不同类别的区分能力不同，该方法通过各视图的权重体现了不同视图对样本的辨别能力的差异；文献[13]提出了一种IEUE样本选择方法，该方法综合考虑了视图内和视图间的不确定性。这些方法均取得了良好的分类结果，但是这些方法只考虑了样本的不确定性，没有考虑样本的多样性，导致所选样本中存在冗余。并且，随着迭代次数的增加，不同视图训练的分类器会趋同，具有相同的分歧程度的样本越来越多，样本冗余问题会进一步加剧^[11-14]。

目前，学者们对MVAL中所选样本的多样性研究较少。文献[15]提出了一种用于MVAL的基于聚类的多样性样本选择方法，该方法采用局部聚类密度度量方法对HSI样本进行聚类，采用光谱角距离作为聚类的距离准则。然而，该方法在聚类过程中只使用了光谱信息，没有考虑样本的空间信息，由此选出的相似样本会产生同谱异物的问题^[16-17]。

本文提出了一种基于超像素分割^[18]的MVAL多样性样本选择方法。HSI的超像素分割方法同时基于样本的光谱特性和空间特性，可以有效地避免样本选择过程中的同谱异物问题。

在MVAL中，多个视图训练的多个分类器，彼此独立并互相补充，共同对样本选择过程和得到最终分类结果起作用^[19]。分类器对不同样本的预测结果的一致性直接与样本间的相似性有关，因此本文又提出了一种基于多视图预测标签一致性的样本选择方法。

1 算法框架 1.1 MVAL的基本流程

基于MVAL的HSI分类的基本流程是：首先将HSI的全部已标记样本分为训练集和候选集，然后对HSI采用某种视图生成方法得到多个视图。每个视图分别训练一个分类器，并使用每个分类器对全部样本进行预测，得到其预测的结果和精度。根据预测结果，使用MVAL样本选择策略从候选集中选出信息量大的样本。依次迭代，直到满足停止条件。根据各个分类器的预测结果得到最终的分类结果和分类精度^[20-21]。停止条件一般为达到了最大迭代次数或分类精度达到某个值。基于MVAL的HSI分类的基本流程图如图1所示。

1.2 视图生成方法

本文使用了3D-Gabor滤波视图生成方法，通过使用不同频率和方向的3D-Gabor滤波器将原始HSI转换成多个具有不同频谱空间特征的数据集^[22]。利用这些数据集提供的频谱空间信息，将HSI的光谱和空间信息结合起来。3D-Gabor内核为

$ {G_{\omega ,\varphi ,\theta }}(x,y,\lambda ) = g(x,y,\lambda )\exp \{ {\text{j}}(x{\omega _x} + y{\omega _y} + \lambda {\omega _\lambda })\} $

式中： $ \omega $ 为波向量的中心频率； $ \varphi $ 为波向量和光谱维度的夹角； $ {\omega }_{x}、{\omega }_{y}、{\omega }_{\lambda } $ 分别是样本的特征向量在高光谱图像的横纵坐标轴x、y和光谱方向 $\lambda $ 上的投影； $ \theta $ 是样本的特征向量在地面x、y上的投影与x轴的夹角； $ g(x,y,\lambda ) $ 是在 $ (x,y,\lambda ) $ 域的三维高斯包络线。频率和方向的参数设置为： $\omega \in \left\{ \dfrac{1}{4},\dfrac{1}{8},\dfrac{1}{{12}},\right. $ $ \left.\dfrac{1}{{16}},\dfrac{1}{{20}}\right\}$ ， $\{ \varphi ,\theta \} = \left\{ 0,\dfrac{{\text{π}}}{4}{\text{,}}\dfrac{{\text{π}}}{2},\dfrac{{3{\text{π}}}}{4}\right\}$ 。当 $ \varphi {\text{ = 0}} $ 时，波向量与不同的 $ \theta $ 矢量方向相同，共13个方向。HSI经3D-Gabor滤波后，得到65个不同频率和方向的Gabor立方体，得到的Gabor立方体与原始HSI大小相同。

然后，采用文献[13]中提出的FR准则衡量视图的充分性。从得到的全部视图中选出充分性最大的5个视图作为MVAL的多视图。FR准则为

$\begin{aligned} \varphi_{\rm{FR}}=\frac{1}{B}\frac{2}{{r(r - 1)}}{\sum\limits_b^B}{\sum\limits_{i,j \in \{ 1,2, \cdots ,r\} } } {\sum\limits_{x \in {D_s}}}\quad\\ {\frac{{({{\boldsymbol{\mu}} _i} - {{\boldsymbol{\mu}} _j}){{({{\boldsymbol{\mu}} _i} - {{\boldsymbol{\mu}} _j})}^{\rm T}}}}{{({{\boldsymbol{\mu}} _i} - x){{({{\boldsymbol{\mu}} _i} - x)}^{\rm T}} + ({{\boldsymbol{\mu}} _j} - x){{({{\boldsymbol{\mu}} _j} - x)}^{\rm T}}}}}\end{aligned}$

式中：D_s为初始标记训练样本；r为地物类别数量； $({{\boldsymbol{\mu}} _i} - {{\boldsymbol{\mu}} _j}){({{\boldsymbol{\mu}} _i} - {{\boldsymbol{\mu}} _j})^{\rm T}}$ 为第i、j类的均值类间散射矩阵； $({{\boldsymbol{\mu}} _i} - x){({{\boldsymbol{\mu}} _i} - x)^{\rm T}} + ({{\boldsymbol{\mu}} _j} - x){({{\boldsymbol{\mu}} _j} - x)^{\rm T}}$ 为第i、j类的方差类内分散矩阵。

1.3 传统的AMD查询策略

传统样本选择方法通过比较各分类器对样本的不同预测结果个数，衡量样本的不确定性，并从候选集中选出不同预测结果个数最多的样本进行查询。该方法称为自适应最大不一致策略(adaptive maximum disagreement，AMD)。具体表达式为

$ {Q_{{\text{AMD}}}} = \mathop {\arg \max }\limits_{{x_i} \in {D_C}} |{L_k}({x_i}){|_{{\text{count}}}} \text{，} k = 1,2, \cdots ,K $

式中： $ {L_k}({x_i}) $ 为第k个分类器对样本 $ {x_i} $ 的分类结果，共有K个分类器； $ {D_C} $ 为候选集； $| \cdot {|_{{\text{count}}}}$ 为其中不同元素的个数。

2 MVAL样本选择方法的多样性选择策略

针对MVAL样本选择过程中存在冗余样本的问题，本文提出了基于超像素分割和基于预测标签一致性的两种MVAL多样性样本选择策略。在MVAL的传统AMD样本选择方法后，使用提出的多样性方法对所选样本进行进一步筛选，减少训练样本个数，从而降低人工标记成本。

2.1 基于超像素分割的多样性选择策略

传统的超像素分割方法有Meanshift、简单线性迭代聚类(simple linear iterative clustering，SLIC)、归一化分割(normalized cut)、基于熵率(entropy rate)等。其中，SLIC算法能够根据HSI的同质性和非均匀性特点进行超像素分割，使不同超像素的空间相干性大大降低。同时只需设置一个预分割超像素数量参数即可在运行速度、紧凑整齐度等方面有一定优势^[23]。因此，本文采用SLIC超像素算法^[24]用于HSI的MVAL多样性样本选择过程。

利用SLIC超像素方法对MVAL样本选择过程进行多样性改进的步骤为：首先对整个HSI进行SLIC超像素分割，分割后的HSI数据如图2。设共得到k个超像素，每个样本 $ {x_i} $ 均对应一个超像素标签 $ {L_i} $ ，同一超像素的样本的超像素标签相同。然后使用一种样本选择方法(如AMD策略)选出不确定性最大的m个样本，记为 ${{\boldsymbol{X}}_{{\text{AMD}}}} = [{x_1}\;{x_2}\; \cdots \;{x_m}]$ 。再从这m个样本找出属于相同超像素的样本。接下来对其中属于同一个超像素的样本，随机选出其中一个作为代表，剩下的样本放回候选集中。令选出的样本必须来自不同的超像素，从而实现样本选择过程的多样性改进。

得到超像素标签的表达式为

$ {L_i} = L({x_i}), \quad {L_i} \in [1,k] $

提出的基于超像素的多样性样本选择方法的定义公式为

$ {{\boldsymbol{X}}_{{\text{SLIC}}}} = {\text{unique}}\left[ {L({x_1})\;L({x_2})\; \cdots \;L({x_m})} \right] $

式中 ${{\boldsymbol{X}}_{{\text{SLIC}}}}$ 为 ${{\boldsymbol{X}}_{{\text{AMD}}}}$ 经过提出的基于超像素的多样性样本选择方法后得到的最终所选样本。 $ {\text{unique}} $ 函数的具体过程如图3。

此方法先对原始HSI进行超像素分割，该过程同时考虑了样本的空间相邻性和光谱相似性。将HIS中光谱相似且空间相邻的样本判别为相似样本，放入一个超像素区域中。通过超像素分割方法得到相似样本可以有效地避免同谱异物问题，从而更好地进行多样性样本选择。

2.2 基于预测标签一致性的多样性选择策略

在HSI分类的MVAL方法中，每个分类器均对样本进行预测。对于两个特别相似的样本，各分类器对它们的分类结果大概率相同。基于MVAL方法特有的多视图特点，以及每个视图分别训练分类器的特点，提出一种基于预测标签一致性的去冗余算法。该算法通过比较分类器对不同样本预测结果的一致性，找出所选样本中的相似样本，并去掉其中冗余样本。此方法的定义为

$ D = \sum\limits_{k = 1}^K | {L_k}({x_i}),{L_k}({x_j}){|_{{\text{equal}}}} $

$ |a,b{|_{{\text{equal}}}} = \left\{ \begin{gathered} 1,\quad a = b \hfill \\ 0, \quad a \ne b \hfill \\ \end{gathered} \right. $

式中： $ {x_i},{x_j} \in {U_C} $ ，且 $ {x_i} \ne {x_j} $ ；D为样本 $ {x_i} $ 和 $ {x_j} $ 的相似程度，D越大， $ {x_i} $ 和 $ {x_j} $ 越相似。

基于预测标签一致性的多样性样本选择方法如图4所示。首先使用一种样本选择方法(如AMD策略)选出一批信息量大的样本 $ \{ {X_1},{X_2}, \cdots ,{X_8}\} $ ，然后对从中找出预测标签完全相同的样本。从图4中可以看出，样本 ${{{X}}_1}$ 与样本 $ {{{X}}_{\text{3}}} $ 的预测标签完全相同，均为[3,4,4,6,7]；样本 ${{{X}}_{{5}}}$ 与样本 ${{{X}}_{{6}}}$ 的预测标签完全相同，均为[6,6,7,12,7]。从样本 ${{{X}}_1}$ 和样本 ${{{X}}_{{3}}}$ 中随机选择一个作为代表加入训练集，如样本 ${{{X}}_1}$ ，其余样本放回候选集；再从样本 ${{{X}}_{{5}}}$ 和样本 ${{{X}}_{{6}}}$ 中随机选择一个作为代表加入训练集，如样本 ${{{X}}_{{5}}}$ ，其余样本放回候选集，最终选择的训练样本为 ${\{ }{{{X}}_1}{{,}}{{{X}}_2},{{{X}}_4}{{,}}{{{X}}_5}{{,}}{{{X}}_7}, $ $ {{{X}}_8}{{\} }}$ 。从图4中可以看出，训练样本数由8个减少为6个，通过基于预测标签一致性的去冗余方法可以实现去除多余的训练样本的目的，减少人工标记成本。

3 实验结果与讨论 3.1 实验数据集

为了验证本文算法的有效性，采用了2个常用的高光谱图像进行仿真实验，分别是Indian Pines数据集和Salinas数据集。Indian Pines数据集包括16个类别，共有21025个样本，其中有真实标签的样本为10249个；Salinas数据集也包括16个类别，共有111104个样本，其中有真实标签的样本为54129个。

3.2 分类性能评价指标

本文使用综合精度(OA)、平均精度(AA)、Kappa系数(Kappa)对两组对比实验结果进行定量比较。

OA方法通过混淆矩阵判别总体分类精度，具体表达式为

$ {\text{OA = }}\frac{{\text{1}}}{N}\sum\limits_{i = 1}^n {{m_i}} $

式中： $ N $ 为全部样本数；n为类别总数； $ {m_i} $ 为将样本正确分类到第i类的数量。

AA表示在每个类别中分类正确的样本所占的比重。如果各类别样本数量相同，则平均分类精度AA与总体分类精度OA相同。AA的表达式为

$ {\text{AA = }}\frac{{\text{1}}}{N}\sum\limits_{i = 1}^n {\rm{CA}} $

式中： ${\rm{CA}} = \dfrac{{{m_i}}}{{{N_i}}}$ 表示各类别的分类精度； $ {N_i} $ 为第 $ i $ 类样本总数。

Kappa系数用来表示分类图与真实图像的一致性。Kappa系数的具体表达式为

$ {\text{Kappa}} = \dfrac{{N \times \displaystyle\sum\limits_{i = 1}^n {{m_i}} - \displaystyle\sum\limits_{i = 1}^n {{N_i} \times {m_i}} }}{{{N^2} - \displaystyle\sum\limits_{i = 1}^n {{N_i} \times {m_i}} }} $

3.3 实验结果对比

本节主要验证本文提出的两种多样性样本选择方法的效果，并将提出的基于超像素分割的多样性选择方法和基于预测标签一致的去冗余算法分别简称为方法A和方法B。采用选取的2组HSI数据进行3组实验。第1组：使用传统AMD策略进行样本选择，记为AMD。第2组：先使用AMD策略进行样本选择，再将所选样本使用方法A去除冗余，最后将去冗余后的所选样本加入训练集，进行MVAL，记为AMD+A。第3组：将方法A换成方法B，其他操作与第2组实验相同，记为AMD+B。将第2、3组实验结果与第1组实验结果进行对比，验证这2种方法的有效性。

以上所有实验均使用MLR分类器^[25]，采用3D-Gabor滤波视图生成方法，视图数量为5。3组数据使用相同频率和方向的3D-Gabor滤波器，滤波后均得到65个Gabor立方体，再通过FR准则选出充分性前5的立方体作为MVAL的5个视图。实验前，分别在Indian Pines数据集和Salinas数据集中有真实标签的样本中选出一部分样本作为初始训练样本。具体方法为：从每个类别中随机选出5个样本作为初始训练样本，共80个样本。其余的有真实标签的样本为候选样本，测试样本为有真实标签的全部样本。在AMD样本选择方法中，每次迭代最多选择15个样本，共迭代20次。在方法A中，超像素的边长为4×4，超像素个数大约为总样本数除以16，超像素中光谱和空间的权重因子为0.5。

为了进一步测试方法的效果，本文对比了实验中每5次迭代对应的分类精度以及各组实验的耗时情况。Indian Pines数据集的AMD和AMD+A实验迭代过程中的分类结果如表1所示。Salinas数据集的AMD和AMD+A实验迭代过程中的分类结果如表2所示。

从表1、2可以看出：无论迭代次数是多少，通过基于超像素分割的多样性选择方法改进后得到的实验精度基本不变，而训练样本数量均有不同程度的减少。

两个数据集在AMD和AMD+A实验中得到的最终分类结果如表3所示，分类结果对比图如图5、6所示。

由AMD和AMD+A的对比实验结果可以看出：3个HSI数据集在两组实验中的OA、AA、Kappa值区别不大，分类结果图也无明显差别，然而两个数据集在AMD+A实验中用到的训练样本总数比AMD实验中分别减少了10.2%、17.1%，耗时仅增加了3.49 s、24.92 s。Indian Pines数据集的AMD和AMD+B实验迭代过程中的分类结果如表4所示。Salinas数据集的AMD和AMD+B实验迭代过程中的分类结果如表5所示。

从表4、5中可以看出：无论迭代次数是多少，通过基于预测标签一致的去冗余算法改进后得到的实验精度基本不变，而训练样本数量均有不同程度的减少。两个数据集在AMD和AMD+B实验中得到的最终分类结果如表6所示，分类结果对比图如图7、8所示。

由AMD和AMD+B的对比实验结果可以看出：3个HSI数据集在两组实验中的OA、AA、Kappa值区别不大，分类结果图也无明显差别，然而两个数据集在AMD+B实验中用到的训练样本总数比AMD实验中分别减少了8.2%、25.4%。AMD+B比AMD实验的耗时增加0.88 s、14.34 s。

通过观察以上实验结果可以看出，AMD+A方法和AMD+B方法相对于传统AMD方法具有明显优势。从实验结果来看，将本文提出的两种样本多样性选择方法用在传统AMD样本选择方法后，OA、AA、Kappa及分类结果图均无明显变化，训练样本数量均有不同程度的减少。使用这两种改进方法虽然会少量地增加耗时，但增加的时间成本与节省的人工标记成本相比可以忽略不计。

4 结束语

本文基于SLIC超像素分割方法和各视图预测结果的一致性，提了出2种MVAL多样性样本选择方法，有效地解决了传统MVAL样本选择过程存在冗余样本的问题。在2组HSI中进行实验，验证了这两种方法能够有效地去除传统样本选择过程中的冗余样本，在分类精度不变的前提下，减少训练样本总数，进而减少人工标记成本。