高光谱分辨率遥感是将成像技术和光谱技术结合的多维信息获取技术^[1]，真正将光谱波段信息与图像相结合。高光谱因其波段数远大于多光谱图像，可以提供更详细的地物特征信息，识别和区分地物特征是高度可靠的，并且可以解决许多在多光谱中无法解决的目标探测和分类问题，但与此同时，高维特征空间出现的Hughes现象^[2]会对分类性能造成影响。因此，在实际应用中，通常使用降维或者波段选择方法先进行数据缩减。

半监督分类方法同时学习带标记样本和未标记样本中有价值的信息，如此可以获得更多的有标记的训练样本，能够有效地提高分类器性能，被广泛应用于高光谱影像分类处理过程。文献[3]提出了一种结合灰度共生矩阵提取的纹理特征与其邻域范围内的光谱特征的图的半监督分类算法。文献[4]提出了基于空-谱半监督局部判别分析的特征提取和最近邻分类器相结合的半监督分类算法。文献[5]提出了一种半监督分类方法是采用训练效果好的TWSVM与简单并收敛速度快的K-means聚类算法相融合。在文献[6]中，提出将空间邻域信息获取方法与半监督思想结合，通过主动学习选择具有代表性的一组未标记的训练样本，分类精度得到显著提高，有效地利用空间特征辅助半监督分类。基于某种特定的模型假设下，监督信息不足时，则可以通过半监督学习利用未标记数据来扩充现有的训练样本集，以达到辅助有监督学习任务的目的。除此之外，主动学习^[7]选择数据需要遵守某种规则而不是随机选择样本，也可减少训练过程对有标记样本数量的依赖。

基于图的半监督分类仅考虑样本与相邻样本之间的关系，并构建全局结构的连接图。但是在分类过程中，忽略了各个类别样本可能存在的不平衡问题。在保证分类性能的前提，主动学习只需从各个类别中选择少量的样本，可以有效避免样本不均衡对分类性能造成的影响。因此，本文融合主动学习与图的半监督学习思想，提出了一种结合主动学习中Breaking Ties策略和标签传递的算法用于高光谱遥感图像分类。该方法的流程是利用主成分分析提取的光谱信息和Gabor滤波提取的空间信息作为空-谱特征样本集，Breaking Ties策略查询式主动学习迭代寻找具有代表性的未标记样本，再利用标签传递算法预测该未标记样本原本的类别，以概率模型确定其样本的类别，作为新的有标记样本扩充到当前的训练样本集，提高分类器的分类性能。

1 基于Breaking Ties的主动学习算法

主动学习算法通过迭代抽样，而不是被动地接受数据，主动选择出具有典型特征的样本与原有的有标记训练样本，将主动学习选择出的有标记样本反复迭代，优化扩充训练样本集，以此达到最优训练样本集的目的。主动学习在高光谱图像分类、文字检索、物种识别、计算机视觉等领域已经取得一定的研究与应用成果。在遥感领域里常用的方法有：Breaking Ties^[8](BT)、边缘采样策略^[9](margin sampling，MS)、查询专家委员会^[10](entropy query-by-bagging，EQB)、基于多层次的不确定性样例选择方法^[11](multiclass level uncertainly，MCLU)等。

Breaking Ties是一种通过估计样本集中每个样本的后验概率的查询式学习方法，在二分类问题时，专注于后验概率最小差异的样本；在多类别分类情况下，需要先计算后验概率最大的2个类别的差异，然后选择最大概率差值较小的样本。在大量未标记样本集U中，使用BT算法选择的样本满足条件：

$ \begin{array}{*{20}{c}} {{x^{{\rm{BT}}}} = \mathop {{\rm{ argmin }}}\limits_{{x_i} \in U} \{ \mathop {{\rm{max}}p}\limits_{w \in N} (y_i^* = {w_1}|{x_i}) - }\\ {\mathop {{\rm{max}}p}\limits_{w \in N} (y_i^x = {w_2}|{x_i})\} } \end{array} $

(1)

式中U表示无标签样本集合。

在本文中所涉及的基于Breaking Ties算法主要是依赖于支持向量机(support vector machine，SVM)的主动学习，该算法需要预知后验概率，标准SVM不能以后验概率的形式输出，正常的输出结果为±1，因此将后验概率的表示形式引入SVM。

设训练样本x_i∈Rⁿ(i=1, 2, …, l)，标签为y_i∈{+1, -1}。文献[11]根据式(2)sigmoid函数估计后验概率:

$ P(y = 1|x) \approx {P_{A,B}}(f) = \frac{1}{{1 + {\rm{exp}}(Af(x) + B)}} $

(2)

式中：f(x)为标准SVM输出; 参数A、B是估计参数控制着sigmoid函数的形态。归一化的最大似然估计求解为：

$ \mathop {{\rm{min}}}\limits_{z = (A,B)} {\rm{F}}(z) = - \sum\limits_{i = 1}^n {({t_i}{\rm{log}}(} {p_i}) + (1 - {t_i}){\rm{log}}(1 - {p_i})) $

(3)

其中：

$ {t_i} = \left\{ {\begin{array}{*{20}{l}} {\frac{{{N_ + } + 1}}{{{N_ + } + 2}},}&{{y_i} = + 1}\\ {\frac{1}{{{N_ - } + 2}},}&{{y_i} = - 1} \end{array},i = 1,2, \cdots ,l} \right. $

(4)

式中：p_i=P_{A, B}(f_i)，N₊，N_-分别表示正负类样本数量，并使用文献[12]中的方法求解式(4)。此外，基于“one-against-rest”模型的概率输出为：

$ P(i|x) = \frac{{{p_{iar}}(i|x)}}{{\sum\limits_{j = 1}^N {{p_{jar}}} (j|x)}}{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} i = 1,2, \cdots ,N $

(5)

式中p_iar(i|x)表示样本x属于类别i的概率。

2 标签传递

标签传递算法^[13](label propagation algorithm，LP)模拟传递过程示意图如图 1所示，核心思想是同一类别的样本应被标记相同的标签。白色的球是待标记样本，与它相邻的黑色球和灰色球分别为类别2和类别1，通过比较转移概率的大小，黑色的球与1号白色的球的转移概率较大，因此1号白色的球极有可能也是黑色的球的类别。

标签传递算法是经典的基于图的半监督分类方法之一，它的实现步骤是将所有样本构造成一个连接图，图中的每个顶点都是一个样本，整个数据集内包含少数的标记样本与大量未标记样本，每一条边都表示每2个数据结点之间的权重即数据的相似程度。权值越大即代表 2个数据结点更加相似，反之越不相似。通过已知标签的数据和未知标签的数据之间的关系，计算出转移概率。将概率大的数据赋予与已知标签相同的标签，不断迭代，最后标签值趋于稳定，实现标签传递的过程。

标签传递的具体实现过程如下：

输入：有标记样本和相应的标签集合D_l={(x₁, y₁), (x_x, y₂)，…, (x_l, y_l)}⊂R^N，未标记样本集合D_u={x_l+1, x_l+2, …, x_n}⊂R^N，标签集L={1, 2, …, c}，循环变量i=0，初始化y_U⁽ⁱ⁾=0；

输出：未标记样本及对应标签集合D′ _u={(x_l+1, y_l+1), …, (x_n, y_n)}⊂R^N。

1) 包含标记样本和未标记样本构成的全连接图即关联矩阵W_ij^n×n:

$ {w_{ij}} = {\rm{exp}}\left( { - \frac{{{{\left\| {{\mathit{\boldsymbol{x}}_i} - {\mathit{\boldsymbol{x}}_j}} \right\|}^2}}}{{2{\varepsilon ^2}}}} \right),\quad \forall i \ne j $

(6)

式中：w_ij代表关联矩阵中每一个点的权值；ε为构图参数，根据具体算法确定；样本x_j属于样本x_i的k个近邻样本集合。

2) 根据已知的W计算转移概率矩阵；

$ {\mathit{\boldsymbol{P}}_{ij}} = \frac{{{\mathit{\boldsymbol{W}}_{ij}}}}{{\sum\limits_{k = 1}^n {{\mathit{\boldsymbol{W}}_{ik}}} }} $

(7)

式中P_ij表示从结点i到结点j的转移概率。

3) 计算并更新概率分布：

$ {F_{ij}} = \sum\limits_{k = 1}^n {{P_{ik}}} {F_{kj}} $

(8)

4) 重复步骤2)、3)，直到F收敛；

5)确定未标记样本的类别：

$ {y_i} = \mathop {{\rm{argmax}}}\limits_{m \le c} {F_{im}},1 \le i \le n $

(9)

式中：F_im代表样本x_i属于类别m的概率，同时将新产生的D′ _u替换原来的D_l。

6) D_l∪D′ _u作为训练数据，用SVM进行分类。

3 基于主动学习和标签传递的半监督分类算法

主动学习和半监督学习相结合的分类方法已经在一些模式识别的场景下，取得了研究成果。例如在文献[15]中提到手写字体字符识别中应用主动学习与半监督分类方法相结合的分类框架可以解决标签数据稀缺的问题。另一方面，在指纹识别^[16]的方法中应用结合主动学习和半监督分类方法也有提高识别的效果。因此，将主动学习与半监督分类方法相结合是一种可行的方法。然而影响高光谱图像的分类性能主要有3个方面：1)类别可分性，如果样本比较分散互不交集，这样的数据样本肯定是很好区分，但实际情况往往不是这样的；2)特征空间维度，众所周知高光谱是一个高维度的数据集一般在分类前都会进行数据降维处理；3)训练样本数目，以及分类算法的选择。

本文提出了一种结合主动学习和标签传递算法的分类方法(active learning based on label propagation algorithm, AL-LP)。该方法主要改善了影响高光谱影像分类性能的2个方面。1)选择的分类算法，本文利用半监督分类框架同时利用带标记样本与未标记样本作为训练样本，克服有标签样本选择的困难。2)通过主动学习与标签传递方法的结合，选择具有代表性的样本作为训练样本，扩充训练样本集数目。基于概率模型的主动学习方法更加适用于高光谱数据集(内含混合像元)，更与真实情况相近，进行估计类别样本的分布往往更具有可靠性。LP算法则依据相邻样本的转移概率估计训练样本集中未标记样本的类别，以此确定选择出的未标记样本的类别，提高分类性能。

主动学习基于迭代思想利用现有的标记样本先训练一个模型，设定一个停止标准，再根据选择策略在未标记样本中选取信息量较丰富的样本再利用分类器预测的标签标记，将其添加到初始训练样本集，反复重新训练分类器。本文设定n轮迭代循环后，此刻样本累计达到200个即停止主动学习。标签传递算法是经典的半监督方法，根据有标记样本与无标记样本的概率转移矩阵，为主动学习算法筛选出的富含丰富信息的新的训练样本标签传递，以此有效地扩充训练样本集。

鉴于前文所述，结合主动学习和标签传递分类算法的具体实现步骤为：标记样本及其对应的标签集合D_L={(x_i, y_i), …, (x_l, y_l)}, 未标记的样本及其标签集合D_U={(x_j, y_j), ()，…, (x_u, y_u)}，

1) 选择光谱特征：先对数据集进行PCA主成分分析，光谱特征信息x^w从其中选择；

2) 选择空间纹理特征：通过Gabor滤波提取得到空间纹理信息x^s，光谱信息与空间信息特征级联得到x=(x^w, x^s)；

3) 确定构图参数取值：ε=(δ_iδ_j/2)^1/2，其中，δ_i=d(x_i, x_iN)表示第x_i个样本与第N个光谱特征的欧式距离，同理δ_j；

4) 选择最优无标签训练样本：主动学习通过i轮迭代选择具有代表性的无标签训练样本D_U；

5) 构造连接图：根据最近邻算法构建光谱信息连接图W^w，再利用空间邻域信息参照式(6)构成空间连接图W^s，最后由式(10)组合成空-谱信息连接图，其中，μ∈[0, 1]构图影响因子，再计算式(11)转移矩阵P_ij；

$ {\mathit{\boldsymbol{W}} = \mu {\mathit{\boldsymbol{W}}^w} + (1 - \mu ){\mathit{\boldsymbol{W}}^s}} $

(10)

$ {{\mathit{\boldsymbol{P}}_{ij}} = \frac{\mathit{\boldsymbol{W}}}{{\sum\limits_{k = 1}^n {{\mathit{\boldsymbol{W}}_{ik}}} }}} $

(11)

6) 标签传递：利用LP算法对第4步选择出的未标记样本集D_U进行类别标注

7) 分类：重新组合训练样本集，将已知类别的标记样本集D_L和上一步预测类别的未标记样本集D_U叠加作为新的训练样本集，利用支持向量机分类器进行类别判定。

4 实验数据及仿真分析 4.1 实验数据集

本文的实验数据对象为地物信息分布比较平均、且类别信息分界明显的Indian Pines高光谱数据集, 和同类地物信息分布比较分散、且没有什么规律可循的University of Pavia高光谱影像的一个区域。

本文选择剔除了受水汽吸收、噪声污染严重波段后，剩余的200个波段的Indian Pines高光谱数据集作为实验对象。并且在数据集中选择样本数目较多的8个类别进行实验(主动学习中停止条件设定为无标签样本数目为200个，故未选择样本数目200左右的样本作为实验对象)，地物真实类别图如图 2(a)所示。

另一个实验数据集是University of Pavia高光谱数据集，它是拍摄于意大利北部的帕维亚大学，影像尺寸为610×340像素总共包含115个数据波段。本文选择的实验对象是剔除了受水汽吸收、噪声污染严重的波段后剩余的103个波段，其含有9个地物类别。本文实验中，University of Pavia参与实验的区域尺寸为144×144像素，包含8个地物类别，定标图如图 2(b)所示。

4.2 实验仿真

本文实验结果由下面3个标准评判。

1) 总体分类精度(overall accuracy，OA)。

总体分类精度是由混淆矩阵定义的，通过统计正确分类的样本数目，可直观展示分类结果。

$ {P_{{\rm{OA}}}} = \frac{1}{N}\sum\limits_{i = 1}^n {{m_{ii}}} $

式中：N表示样本的总数目；m_ii表示正确分类到第i类的样本数量。

2) 平均分类精度(average accuracy，AA)。

$ {P_{{\rm{AA}}}} = \frac{1}{N}\sum\limits_{i = 1}^n {{P_{{\rm{CA}}}}} $

式中：P_CA=m_ii/N_i代表单个类别的分类结果；某一类别的样本整体数目。AA的含义是根据类别统计分类成功的样本与该类别总体样本数目的占比。当每个类别具有相同的样本数目，AA与OA相等。

3) Kappa分析。

$ K = \frac{{N \times \sum\limits_{i = 1}^n {{m_{ii}}} - \sum\limits_{i = 1}^n {{N_i}} \times {m_{ii}}}}{{{N^2} - \sum\limits_{i = 1}^n {{N_i}} \times {m_{ii}}}} $

其值越大代表分类图像与监督图像一致性越高。

在CPU为Intel(R)Core(TM)i5-7200U，64位windows10操作系统，内存4 GB的PC机上，Matlab2014a进行仿真。

本文实验结果将分别与其他3种方法进行比较，以此证明本文方法的可行性。第1种方法是标准支持向量机算法(support vector machine，SVM)，这是经典的机器学习算法。第2种方法是在利用支持向量机的基础上结合光谱信息与空间信息的分类方法^[6](spatial-contextual semi-supervised support vector machine, SCS³VM)。第3种方法是结合空间邻域信息与主动学习的半监督分类方法^[6](spatial-spectral information based semi-supervised classification，S²ISC)。文献[6]以通过仿真实验验证这2种方法能够在一定程度上提高分类器性能并且取得较优的分类效果，因此本文选择它们作为对比实验方法。

Gabor滤波器的各个参数设定为f_max=0.25，P=10，Q=6，σ′=1，φ=0，γ=1，这些参数提取的空间特征所获得的分类精度较好^[9]。在主动学习的过程中，每次迭代选择20个样本进行标记，直到满足无标签样本数目达到200时为止，训练样本数目不超过样本总数目的5%。在[10^-1, 1]上反复实验确定合成光谱图和空间图的影响因子μ=0.1时分类效果较佳。高斯径向基作为本文实验过程中支持向量机算法的主要核函数，通过交叉验证搜索法自动取得核参数σ和惩罚因子C的最优值，并且不同类别的分类问题可以根据“一对余”的理论简化为两种不同类别的分类。

4.3 仿真结果分析 4.3.1 Indian Pines数据集实验

为证实本文算法的有效性，将在Indian Pines数据集进行实验。每类训练样本与测试样本的选择策略为最初随机选择10个已知类别的有标记样本，训练样本数目是总样本数目的5%，其他样本均为未标记样本即测试样本。

4种不同算法在印第安纳农林数据集实验的分类性能的优越性可由表 1中展示的评判参数(整体分类精度、平均分类精度、Kappa系数)对比得出。表 2展示了不同算法的运行时间。从横向比较可以得出，运算速率相差不多的情况下，AL-LP算法比S²ISC算法提高整体分类精度、平均分类精度、Kappa系数的幅度较为明显。此外，从表 1和表 2观察得出无论是在OA还是AA、Kappa系数都比其他3种算法要好，虽然在时间上略微逊色于S²ISC。所提算法除了结合空间信息和主动学习，进一步使用标签传递算法确定待分类样本的类别以达到扩充训练样本集的目的。由此可见，本文算法与其他3种对比方法相比，展示了更好的分类性能。

图 3以视觉图的形式直观展示出SVM、SCS³VM、S²ISC和AL-LP算法的实验分类结果。图 3(d)的分类效果明显优于其他3种方法的实验效果图，图 3(a)的“斑点”现象比较严重，在图 3(b)中该“斑点”现象略微减少，是因为SCS³VM加入了空间特征，图 3(c)的分类效果又比图 3(b)的效果好，被覆盖的类别(即已正确识别的分类类别)也可以以块状分布，但还是有一些“斑点”现象，图 3(d)可清晰看到多个类别的较为完整的分类，故分类效果是4种对比算法中分类效果最佳的方法。将前文提到的评价准则以数据直方图的形式展现，如图 4所示，也可以清晰得到本文算法AL-LP是一种可提高分类效果的方法。

有标记样本数目(S)与总体分类精度(OA)的关系如图 5折线图所示，本文实验S的范围是{3, 5, 10, 15, 20, 25}。在训练样本标签数目明显不足的情况(S=3)下，AL-LP算法的分类精度可以达到65%左右明显高于其他3种现有的分类方法，是因为AL-LP算法在选择更具有代表性的训练样本来扩充训练样本集。

4.3.2 Pavia大学数据集实验

Pavia大学高光谱遥感影像数据集在本文实验的视觉效果图如图 6所示，训练样本、测试样本的选择方法与前文相同，分类效果图展示的是有标记样本数目为10。依据整体分类精度、Kappa系数、平均分类精度的评判原则，分类性能如表 3所示，4种算法的运行时间如表 4所示。

SCS³VM算法比SVM算法的每种评价准则的提升幅度比较大，分别为6.11%、2.59%、0.080 9，说明空间信息辅助分类器有一定的效果。S²ISC算法比SCS³VM算法在整体分类精度方面增加了7.58%，平均分类精度增加了12%，Kappa系数增加了0.1046，说明主动学习也可以辅助分类器提高性能。虽然本文所提算法AL-LP与前2种分类方法的提升空间较小，但是AL-LP算法的分类精度已经达到95.23%，并且仍是4种方法中分类效果最佳，评价准则最优越的算法。

图 7以直方图的形式展示了本文分类算法在OA、Kappa系数与其他3种方法的差异性，清晰地看出本文算法在这2个评价准则方面优于其他3种方法。有标记样本数量(S)与总体分类精度(OA)的关系如图 8折线图所示，随着标记样本数目的不断增加，本文算法的分类精度虽然后续增益幅度不是很明显，但一直是持续提升的，而其他算法的分类精度不是平稳上升有过饱和的现象，说明本文所提算法与其他3种算法相比在提升分类效果方面具有更好的稳定性。另外，从折线图可以清晰看出本文算法在S=3时，整体分类性能要明显优于其他算法。由此可见，本文算法在小样本的条件下能够展示更好、更可靠的分类性能。

5 结论

1) 该方法与经典的LP算法有一个明显的不同之处就是利用了主动学习筛选出了更多有价值的样本，更加准确地解决标签稀缺性的问题，提升分类效果。

2) 在2个经典的高光谱遥感影像数据集进行实验，得出AL-LP相比其他的主流方法可以有效地提高分类精度，特别是在少量标记样本的情况下，AL-LP算法能够高效地选取准确性较高，具有代表性的样本扩充训练样本集，提高学习性能。