Multiview low-rank sparse subspace clustering based on diversity
-
摘要: 本文主要研究如何通过挖掘多视图特征的多样性信息来促进多视图聚类，提出了基于多样性的多视图低秩稀疏子空间聚类算法。该方法直接将视图多样性概念应用于多视图低秩稀疏子空间聚类算法框架中，确保不同视图的子空间表示矩阵的多样性；为了实现多个视图聚类一致性同时达到提高聚类性能的目标，在该框架中引入谱聚类算法共同优化求解。通过对3个图像数据集的实验验证了该算法的有效性，同时其聚类的性能优于已有的单视图及多视图算法。Abstract: This paper focuses on boosting multiview clustering by exploring the diversity of information among multiview features. A multiview clustering framework, called multiview low-rank sparse subspace clustering based on diversity, is proposed for this task. In the proposed method, the concept of diversity is successfully introduced into the framework of a multiview low-rank sparse subspace clustering algorithm to ensure that the representation matrix of different subspace views has certain differences and that the obtained information is diversified. In addition, the spectral clustering algorithm is added to the framework to achieve a joint optimization solution, which can markedly improve the clustering performance, to obtain a unified target clustering assignment. The effectiveness of the algorithm is verified by fully observing three image datasets, and the clustering performance of the proposed algorithm is better than that of the existing single-view and multiview algorithms.
-
在现实世界中，人类通过视觉、听觉、触觉等多种感官感知外部世界，这意味着大脑面对的信息是多视角的，大脑具有多视角学习的能力。同一事物可从不同视角、途径或结构进行描述如：相同的文件可以翻译成多种语言，相同的图片可以用不同的特征构造视图，这些不同来源、不同角度的信息构成了事物的多视图数据。尽管单视图数据可能足以完成学习任务，但融合来自不同视图的互补信息可以降低聚类任务的复杂性，大幅提高聚类性能。近年来多视图聚类(multi-view clustering，MVC)[1-3]逐渐成为炙手可热的研究方向。MVC的关键是如何将各个视图的信息结合起来，寻找多视图数据的潜在真实结构。MVC可分为4类：1）基于联合训练（co-training）的多视图聚类；2）基于多核学习（multiple kernel learning）的多视图聚类；3）基于图学习（graph learning）的多视图聚类；4）基于子空间学习(subspace learning)的多视图聚类。本文只要研究基于子空间的多视图聚类方法。该方法旨在从多视图数据中学习一个统一的潜在子空间，从而提高聚类性能，获得最优的聚类结果。
对于高维数据，其最具鉴别性的特征通常存在于一个潜在的低维子空间中，而不是均匀分布于整个高维空间中。通过探索低维子空间，我们可以得到数据的子空间结构。这样重构的低维子空间可以更好地表示数据样本，从而实现将高维数据向低维子空间的转换，最后通过谱聚类来实现聚类，降低了数据处理的复杂度，提高了聚类性能。基于谱的方法主要挑战之一是构建相似矩阵，而稀疏子空间聚类和低秩子空间聚类是解决这一问题最有效的方法。近年来，低秩稀疏表示[4-6](low-rank representation, LRR)由于其自表示特性，将数据表示为同一子空间的线性组合，有助于降低计算成本和提高对噪声的鲁棒性，在聚类分析中得到了广泛的应用。在子空间独立且数据采样充分的假设下，LRR保证了精确聚类。然而，对于许多现实世界的数据集来说，这种假设过于严格，并且假设数据是从不相交的子空间中提取的更为合适。稀疏子空间聚类（sparse subspace clustering SSC）[7-8] 将每个数据点表示为其他点的稀疏线性组合，这样就可对数据局部结构捕捉。相较于LRR而言，在假设方面该算法相对宽松，只在数据方面提出了要求，即不相交于子空间即可，然而一旦数据点的维度大于3，子空间就会被SSC过度细分。因此，为了捕获数据的全局信息和局部结构，同时结合低秩约束和稀疏约束尤为重要。
多视图子空间聚类可以看作是多视图或多模态学习的一部分。Wang等[9]提出了基于结构化优化的迭代LRR多视图谱聚类算法，从各个视图相关的特征空间中对局部数据流形结构进行编码，并通过迭代的方式实现多视图的一致性，同时更好地保留了所有视图中非线性流形结构的灵活性。然而，它们均属于先特征学习再聚类的两步走聚类模型。而Li等[10]提出了将计算稀疏表示矩阵和应用谱聚类的两个独立阶段集成到统一的优化框架。得益于统一思想的影响，不少学者在研究子空间聚类过程中采用联合优化一步走策略，提高了聚类的性能。多视图子空间聚类在处理高维多视图数据时，也经常引入低秩子空间聚类以及稀疏子空间聚类方法。Brbić等[11]在每个视图上分别学习低秩表示矩阵，并将学习的表示矩阵连接到一个矩阵，从中可以获得统一的图亲和矩阵，再利用Kumar等[12]的思想采用质心约束以及成对约束获得聚类结果。
基于多视图数据前提下不同视图间的关联性，绝大部分多视图子空间聚类均是由视图一致性为前提展开学习的，从而得到聚类结果。早期研究一般将各个视图子空间表示矩阵求均值或加权求均值。Yin等[13] 利用先验信息，实现每个高维数据点相对于同一视图中其他数据点的稀疏表示，最大化不同视图间的相关性，最终得到一致结果。然而Kang等[14]通过分析一致性表示矩阵，提出了一种多图融合方法从而得到一致表示图，同时根据各视图贡献不同采用自权重方法完成权重分配，最后在框架中引入谱聚类算法获得一致性聚类结果。Zhang等[15]通过寻找一致性潜在表示，并在该潜在表示下同时学习不同视图所对应的映射，使子空间表示更加准确和具有鲁棒性。然而，上述基于潜在嵌入空间的聚类方法一般只考虑了潜在嵌入空间的一致性，忽略了视图之间的多样性。一致性和多样性在多视图聚类中是相辅相成的，而仅考虑现实世界中多视图数据的一致性是无法探索多视图数据的全面信息。本文将稀疏低秩约束引入多视图子空间聚类模型，利用多样性正则项捕获每个视图中的固有差异获取全面而具有辨别性的特征空间，再利用谱聚类算法实现最终聚类分配。
1. 相关工作
1.1 低秩稀疏子空间聚类
假设数据矩阵
${\boldsymbol{X}} = [ {{\boldsymbol{x}}_1}\;{{\boldsymbol{x}}_2}\; \cdots\; {{\boldsymbol{x}}_n}]$ 中包含的样本点总量为n。LRR的目标是找到一个低秩表示矩阵${\boldsymbol{C}}$ ，LRR的目标函数如下：$$ \begin{gathered} \mathop {\min }\limits_{\boldsymbol{C}} \left\|{\boldsymbol{C}}\right\|_* \\ {\rm s.t.}\;\;{\boldsymbol{X}} = {\boldsymbol{XC}} \\ \end{gathered} $$ (1) $ ||.|{|_*} $ 为核范数，近似为矩阵${\boldsymbol{C}}$ 的秩。SSC寻求能将每个数据点表示为同一子空间其他点的稀疏线性组合的稀疏表示矩阵，其目标函数为$$ \begin{gathered} \mathop {\min }\limits_{\boldsymbol{C}} \left\|{\boldsymbol{C}}\right\|_{\text{0}} \\ {\rm s.t.}\;\;{\boldsymbol{X}} = {\boldsymbol{XC}},{\rm{diag}}({\boldsymbol{C}}) = 0 \\ \end{gathered} $$ (2) 而对
$ {l_0} $ 范数求解很难完成，因此把$ {l_0} $ 范数凸近似为范数$ {l_1} $ ，具体模型函数如式(3)：$$ \begin{gathered} \mathop {\min }\limits_{\boldsymbol{C}} \left\|{\boldsymbol{C}}\right\||_1 \\ {\rm s.t.}\;\;{\boldsymbol{X}} = {\boldsymbol{XC}},{\rm{diag}}({\boldsymbol{C}}) = 0 \\ \end{gathered} $$ (3) SSC、LRR均是以谱聚类为基础的子空间聚类算法。以上两种算法也被称为“两步走”策略：第1步便是将相应的数据自表示矩阵找到，第2步将所获得的数据自表示矩阵作为谱聚类算法的输入项，获得聚类分配结果。低秩稀疏子空间聚类结合了低秩约束和稀疏约束，以获取数据的局部信息以及全局信息，具体目标函数表示可以参照式(4):
$$ \begin{gathered} \mathop {\min }\limits_{\boldsymbol{C}} \left(\left\|{\boldsymbol{X}} - {\boldsymbol{XC}}\right\|_F^2 + {\alpha _1}\left\|{\boldsymbol{C}}\right\|_* + {\alpha _2}\left\|{\boldsymbol{C}}\right\|_1 \right)\\ {\rm s.t.}\;\;{\rm{diag}}({{\boldsymbol{C}}^{(v)}}) = 0 \\ \end{gathered} $$ (4) 假定多视图数据集
${\boldsymbol{X}} = \{ {\boldsymbol{X}}_N^{(1)},{\boldsymbol{X}}_N^{(2)},\cdots,{\boldsymbol{X}}_N^{(V)}\}$ 有$ V $ 个视图，$ N $ 个样本点，亦可表示成：$$ \begin{gathered} {\boldsymbol{X}} = \left\{ {{\boldsymbol{X}}^{(1)}},{{\boldsymbol{X}}^{(2)}},\cdots,{{\boldsymbol{X}}^{(v)}}\right\} \\ {{\boldsymbol{X}}^{(1)}} = \left\{ {\boldsymbol{x}}_1^{(1)},{\boldsymbol{x}}_2^{(1)},\cdots,{\boldsymbol{x}}_N^{(1)}\right\} \\ \vdots \\ {{\boldsymbol{X}}^{(V)}} = \left\{ {\boldsymbol{x}}_1^{(V)},{\boldsymbol{x}}_2^{(V)},\cdots,{\boldsymbol{x}}_N^{(V)}\right\} \\ \end{gathered} $$ (5) 式中：第
$ v $ 个视图表示为${{\boldsymbol{X}}^{{{(v)}}}}$ ；${\boldsymbol{x}}_{{i}}^{{{(v)}}}$ 为第$ v $ 个视图${{\boldsymbol{X}}^{{{(v)}}}}$ 中的第$ i $ 个元素。将低秩稀疏子空间聚类思想应用于多视图聚类模型，则目标函数可改写为$$ \begin{gathered} \mathop {\min }\limits_{{{\boldsymbol{C}}^{(v)}}} \sum\limits_{v = 1}^V \left\{ \left\|{{\boldsymbol{X}}^{(v)}} - {{\boldsymbol{X}}^{(v)}}{{\boldsymbol{C}}^{(v)}}\right\|_F^2 + {\alpha _1}\left\|{{\boldsymbol{C}}^{(v)}}\right\|_* + {\alpha _2}\left\|{{\boldsymbol{C}}^{(v)}}\right\|_1\right\} \\ \\ {\rm s.t.}\;\;{\rm{diag}}({{\boldsymbol{C}}^{(v)}}) = 0,v = 1,2,\cdots,{\boldsymbol{V}} \\ \end{gathered} $$ (6) 式中：视图
$ v $ 所对应的自表示矩阵为${{\boldsymbol{C}}^{(v)}} \in {{\bf{R}}^{N \times N}}$ ；$ {\alpha _1} $ 为低秩约束参数；$ {\alpha _2} $ 为稀疏约束参数。1.2 多样性表示
多视图数据是以多个特征表示同一个对象，因此存在不同视图之间共享信息，称为多视图数据的一致性。同时，每个视图也包含着固有的多样化信息，称为多视图数据的多样性。传统方法通常会直接通过连接、相加、加权求均值等方法获得全局特征，例如针对不同视图数据处理获得该视图的自表示矩阵，随后对自表示矩阵计算平均数，获得共享的一致性数据表示。然而该策略将分别处理每一个视图数据获得低维表示，因此整个表示学习过程无法兼顾各视图的互补性。如果两两视图自表示矩阵间差异性最大，即可捕获各视角的独特辨别特征，获得全面的差异性特征空间。
针对这一假设，2015年时Cao等[16]将现有的子空间聚类扩展到多视图领域，利用Hilbert Schmidt独立准则(HSIC)作为分集项，探索多视图表示的互补性，并利用交替最小化优化算法有效求解。该方法增强的各个视图之间的独立性即最大可能保持了视图的多样性，提高了聚类结果的准确性。然而对于传统独立性准则来说，仅可计算线性依赖性，面对高维复杂数据，还存在一定局限。为了使模型能够处理非线性依赖性作者引入将数据点映射到再生核希尔伯特空间（RKHS）中，随后对其独立性展开计算的HSIC准则获得原始数据所对应的联合高阶矩。可是HSIC的不足也比较明显，虽然不同视图的自表示矩阵块结构相似但元素值却相差很大，导致算法性能下降。而Wang等[17]为了完善HSIC的不足，采用以位置为核心的多样性计算方法。
${\boldsymbol{U}} \in {{\bf{R}}^{n \times n}}$ 以及${\boldsymbol{V}} \in {{\bf{R}}^{n \times n}}$ 间的多样性定义表示：$$ {\boldsymbol{H}}({\boldsymbol{U}},{\boldsymbol{V}}) = \left\|{\boldsymbol{U}} \odot {\boldsymbol{V}}\right\|_0 = \sum_{i,j} {({{\boldsymbol{u}}_{ij}} \cdot {{\boldsymbol{v}}_{ij}} \ne 0)} $$ (7) 式中：
$ \odot $ 代表哈德曼积,$ {l_0} $ 范数为$ {\left\| \cdot \right\|_0} $ 。由目标公式可知，多样性的计算是基于位置因素的。例如在$ {\boldsymbol{U}} $ 内${{\boldsymbol{u}}_{{ij}}}$ 非零的情况下，为确保矩阵具有多样性，${{\boldsymbol{v}}_{{{ij}}}}$ 则需设定为零。经推导变换，求子空间自表示矩阵时可依据式$ (8) $ ：$$ {\boldsymbol{H}}({{\boldsymbol{C}}^{(v)}},{{\boldsymbol{C}}^{(w)}}) = \left\|{{\boldsymbol{C}}^{(v)}} \odot {{\boldsymbol{C}}^{(w)}}\right\|_0 $$ (8) $ {l_0} $ 范数可凸优化为$ {l_1} $ 范数，从而得到式（9）：$$ {\boldsymbol{H}}({{\boldsymbol{C}}^{(v)}},{{\boldsymbol{C}}^{(w)}}) = \left\|{{\boldsymbol{C}}^{(v)}} \odot {{\boldsymbol{C}}^{(w)}}\right\|_1 $$ (9) ${{\boldsymbol{C}}^{{{(v)}}}}$ 和其余视图多样性可以表示为$$ \sum\limits_{v \ne w} {{\boldsymbol{H}}({{\boldsymbol{C}}^{(v)}},{{\boldsymbol{C}}^{(w)}})} = \sum\limits_{v \ne w} {\left\|{{\boldsymbol{C}}^{(v)}} \odot {{\boldsymbol{C}}^{(w)}}\right\|_1} $$ (10) 1.3 视图一致性
在目标函数联合优化过程中采用谱聚类方法，已有研究表明该方法的优势较为明显。S3C算法[9] 将计算稀疏表示矩阵和谱聚类两阶段同时集成到统一框架，凭借联合优化方式，大幅提高了聚类性能。一些传统（如SSC、 LRR等）算法首先在完成子空间学习的基础上获得数据子空间表示矩阵，随后选择谱聚类算法实现最终聚类结果的分配，也就是所谓的“两步走”，而在分步优化过程中极有可能得到次优解。该类方法通常在学习到表示矩阵
${\boldsymbol{Z}}$ 后求得对应的相似矩阵${\boldsymbol{S}}$ ，通过求解目标函数式（11）得到最终聚类结果。$$ \begin{gathered} \mathop {\min }\limits_{\boldsymbol{F}} {\rm{tr}}({{\boldsymbol{F}}^{\rm{T}}}{\boldsymbol{LF}}) \\ {\rm s.t.}\;\;{{\boldsymbol{F}}^{\rm{T}}}{\boldsymbol{F}} = {\boldsymbol{I}} \\ \end{gathered} $$ (11) 由
${\boldsymbol{L}} = {\boldsymbol{D}} - {\boldsymbol{S}}$ 得到拉普拉斯矩阵${\boldsymbol{L}}$ ，度矩阵为${\boldsymbol{D}}$ 。便于简化计算，式（11）可改写为$$ \begin{gathered} {\rm{tr}}({{\boldsymbol{F}}^{\rm{T}}}{\boldsymbol{LF}}) = \sum\limits_{i,j} {\frac{1}{2}{s_{i,j}}\left(\left\|{{\boldsymbol{f}}^i} - {{\boldsymbol{f}}^j}\right|_2^2\right)} = \\ \sum\limits_{i,j} {|{z_{ij}}|} \left(\dfrac{1}{2}\left\|{{\boldsymbol{f}}^i} - {{\boldsymbol{f}}^j}\right\|_2^2\right) = \left\|{\boldsymbol{Z}} \odot \Theta\right\|_1 \\ \end{gathered} $$ (12) 其中
${\theta _{ij}} = \dfrac{1}{2}\left\|{{\boldsymbol{f}}^i} - {{\boldsymbol{f}}^j}\right\|_2^2$ 。在多视图聚类问题中，一个多视图特征的数据点通过聚类对应唯一簇，因此引入一致性正则项：
$$ \begin{gathered} \min \sum\limits_{v = 1}^V {\left\|{{\boldsymbol{C}}^{(v)}} \odot \Theta \right\|_1} \\ {\rm s.t.}\;\;{{\boldsymbol{F}}^{\rm{T}}}{\boldsymbol{F}} = {\boldsymbol{I}} \\ \end{gathered} $$ (13) 在所有视图中，其一致性指示矩阵为
${\boldsymbol{F}}$ 。2. 本文算法模型
2.1 算法模型
基于以上分析，本文在低秩稀疏多视图子空间聚类算法引入低秩稀疏约束和多样性项，通过最大限度保留视图间的差异性，获得具有一致性和互补性的全局多样化特征空间。在求解第
$ v $ 个视图子空间时，则需要计算与任意视图子空间表示矩阵的多样性，目标函数为$$ \begin{gathered} \bigg({\beta _1}\left\|{{\boldsymbol{C}}^{(v)}}\right\|_* + {\beta _2}\left\|{{\boldsymbol{C}}^{(v)}}\right\|_1\mathop {\min }\limits_{{\boldsymbol{F}},{{\boldsymbol{C}}^{(1)}},{{\boldsymbol{C}}^{(2)}},\cdots,{{\boldsymbol{C}}^{(V)}}} \sum\limits_{v = 1}^V +\\ {\lambda _1}\sum\limits_{w \ne v} \left\|{{\boldsymbol{C}}^{(v)}} \odot {{\boldsymbol{C}}^{(w)}}\right\|_1 + {\lambda_2}\left\|{{\boldsymbol{C}}^{(v)}} \odot \Theta \right\|_1\bigg)\\ {\rm s.t.}\;\;{{\boldsymbol{X}}^{(v)}} = {{\boldsymbol{X}}^{(v)}}{{\boldsymbol{C}}^{(v)}},{\rm{diag}}({{\boldsymbol{C}}^{(v)}}) = 0,{{\boldsymbol{F}}^{\rm{T}}}{\boldsymbol{F}} = {\boldsymbol{I}} \end{gathered}$$ (14) 式中：低秩稀疏约束的参数分别为
$ {\beta _1} $ 和$ {\beta _2} $ ，平衡参数有$ {\lambda _1} $ 和$ {\lambda _2} $ 。其中，目标函数中第3项是引入的多样性正则项，第4项为一致性因子。2.2 算法优化
采用交换迭代法对目标函数式(14)优化：
1)对
$ F $ 进行固定，使用对交换方向乘子法求解${{\boldsymbol{C}}^{(1)}},{{\boldsymbol{C}}^{(2)}},\cdots,{{\boldsymbol{C}}^{(v)}}$ 。2)固定
${{\boldsymbol{C}}^{\left( 1 \right)}},{{\boldsymbol{C}}^{(2)}}, \cdots ,{{\boldsymbol{C}}^{(V)}}$ ，求解问题${\boldsymbol{F}}$ 。其详细流程为：
1)更新
${{\boldsymbol{C}}^v}$ 。确保
${\boldsymbol{F}}$ 固定，可将多视图求解问题式(14)转化成单视图优化求解，借助子问题即可求解出所有视图的C(v)。$$ \begin{gathered} \mathop {\min }\limits_{{C^{(v)}}} {\beta _1}\left\|{{\boldsymbol{C}}^{(v)}}\right\|_* + {\beta _2}\left\|{{\boldsymbol{C}}^{(v)}}\right\|_1 + \\ {\lambda_1}\sum\limits_{w \ne v} \left\|{{\boldsymbol{C}}^{(v)}} \odot {{\boldsymbol{C}}^{(w)}}\right\|_1 + {\lambda_2}\left\|{{\boldsymbol{C}}^{(v)}} \odot \Theta \right\|_1 \\ {\rm s.t.}\;\;{{\boldsymbol{X}}^{(v)}} = {{\boldsymbol{X}}^{(v)}}{{\boldsymbol{C}}^{(v)}},{\rm{diag}}({{\boldsymbol{C}}^{(v)}}) = 0 \\ \end{gathered} $$ (15) 将
${{\boldsymbol{A}}^{{{(v)}}}}$ 、${{\boldsymbol{C}}_{{1}}}^{\left( {{v}} \right)}$ 、${{\boldsymbol{C}}_{{2}}}^{\left( {{v}} \right)}$ 、${{\boldsymbol{C}}}_{3}{}^{\left(v\right)}$ 和${{\boldsymbol{C}}_{{4}}}^{\left( {{v}} \right)}$ 这些辅助变量代到式中，优化后进行求解式(16)。$$ \begin{gathered} \underset{{{\boldsymbol{C}}}_{1}^{(v)},{{\boldsymbol{C}}}_{2}^{(v)}\text{，}{{\boldsymbol{C}}}_{3}^{(v)}\text{，}{{\boldsymbol{C}}}_{4}^{(v)}\text{，}{{\boldsymbol{A}}}^{(v)}}{\mathrm{min}}{\beta }_{1}\left\|{{\boldsymbol{C}}}_{1}^{(v)}\right\|_{*}+{\beta }_{2}\left\|{{\boldsymbol{C}}}_{2}^{(v)}\right\|_{1}+\\ {\lambda}_{1}{\displaystyle \sum _{w\ne v}\left\|{{\boldsymbol{C}}}_{3}^{(v)}\odot {{\boldsymbol{C}}}^{(w)}\right\|_{1}}+{\lambda }_{2}\left\|{{\boldsymbol{C}}}_{4}^{(v)}\odot \Theta \right\|_{1}\\ {\rm{s.t.}}\;\;{{\boldsymbol{X}}}^{(v)}={{\boldsymbol{X}}}^{(v)}{{\boldsymbol{A}}}^{(v)},\\ {{\boldsymbol{A}}}^{(v)}={{\boldsymbol{C}}}_{2}^{(v)}-{\rm{diag}}({{\boldsymbol{C}}}_{2}^{(v)}),\\ {{\boldsymbol{A}}}^{(v)}={{\boldsymbol{C}}}_{1}^{(v)}={{\boldsymbol{C}}}_{3}^{(v)}={{\boldsymbol{C}}}_{4}^{(v)}\end{gathered} $$ (16) 将式(16)写成ALF形式时得到式(17)。
$$ \begin{gathered} {\boldsymbol{L}}(\{ {\boldsymbol{C}}_i^{(v)}\} _{i = 1}^4,{{\boldsymbol{A}}^{(v)}},\{ \varLambda _i^{(v)}\} _{i = 1}^5) = {\beta _1}\left\|{\boldsymbol{C}}_1^{(v)}\right\|_* + \\ {\beta _2}\left\|{\boldsymbol{C}}_2^{(v)}\right\|_1 + {\lambda_1}\sum\limits_{w \ne v} \left\|{\boldsymbol{C}}_3^{(v)} \odot {{\boldsymbol{C}}^{(w)}}\right\|_1 +\\ {\lambda_2}\left\|{\boldsymbol{C}}_4^{(v)} \odot \Theta \right\|_1 + \frac{{{\mu _1}}}{2}\left\|{{\boldsymbol{X}}^{(v)}} - {{\boldsymbol{X}}^{(v)}}{{\boldsymbol{A}}^{(v)}}\right\|_F^2+\\ \frac{{{\mu _2}}}{2}\left\|{{\boldsymbol{A}}^{(v)}} - {\boldsymbol{C}}_2^{(v)} + {\rm{diag}}({\boldsymbol{C}}_2^{(v)})\right\|_F^2 + \\ \frac{{{\mu _3}}}{2}\left\|{{\boldsymbol{A}}^{(v)}} - {\boldsymbol{C}}_1^{(v)}\right\|_F^2+\\ \frac{{{\mu _4}}}{2}\left\|{{\boldsymbol{A}}^{(v)}} - {\boldsymbol{C}}_3^{(v)}\right\|_F^2 + \frac{{{\mu _5}}}{2}\left\|{{\boldsymbol{A}}^{(v)}} - {\boldsymbol{C}}_4^{(v)}\right\|_F^2 + \\ {\rm{tr}}\left[ {\varLambda _3^{\left( v \right){\rm{T}}}\left( {{{\boldsymbol{A}}^{\left( v \right)}} - {\boldsymbol{C}}_1^{\left( v \right)}} \right)} \right]+ {\rm{tr}}\left[ {\varLambda _4^{\left( v \right){\rm{T}}}\left( {{{\boldsymbol{A}}^{\left( v \right)}} - {\boldsymbol{C}}_3^{\left( v \right)}} \right)} \right] + \\ {\rm{tr}}\left[ {\varLambda _5^{\left( v \right){\rm{T}}}\left( {{{\boldsymbol{A}}^{\left( v \right)}} - {\boldsymbol{C}}_4^{\left( v \right)}} \right)} \right] \end{gathered} $$ (17) 其中
$ \{ {\mu _i}\} _{i = 1}^5 $ 是惩罚参数，需调优参数。选择ADMM方法[18]求解式(17)的凸优化问题。求${{\boldsymbol{A}}^{{{(v)}}}}$ 偏导，并设成0，则$$ \begin{gathered} {{\boldsymbol{A}}^{(v)}} = {[{\mu _1}{{\boldsymbol{X}}^{(v)}}^{\rm{T}}{{\boldsymbol{X}}^{(v)}} + ({\mu _2} + {\mu _3} + {\mu _4} + {\mu _5}){\boldsymbol{I}}]^{ - 1}} \times \\ ({\mu _1}{{\boldsymbol{X}}^{(v)}}^{\rm{T}}{{\boldsymbol{X}}^{(v)}} + {\mu _2}{\boldsymbol{C}}_2^{(v)} + {\mu _3}{\boldsymbol{C}}_1^{(v)} + {\mu _4}{\boldsymbol{C}}_3^{(v)} + \\ {\mu _5}{\boldsymbol{C}}_4^{(v)} + {{\boldsymbol{X}}^{(v)}}^{\rm{T}}\varLambda _1^{(v)} - \varLambda _2^{(v)} - \varLambda _3^{(v)} - \varLambda _4^{(v)} - \varLambda _5^{(v)}) \\ \end{gathered} $$ (18) 根据文献[19]，更新
${\boldsymbol{C}}_{{1}}^{{{(v)}}}$ 具体方法为$$ {\boldsymbol{C}}_1^{(v)} = \prod\nolimits_{\tfrac{{{\beta _1}}}{{{\mu _3}}}}\left({{\boldsymbol{A}}^{(v)}} + \frac{{\varLambda _3^{(v)}}}{{{\mu _3}}}\right) $$ (19) 在这里面
${\prod\nolimits_\beta} {({\boldsymbol{Y}}) = {\boldsymbol{U}}{{\text{π}}_\beta }} ({\boldsymbol{\varSigma }} ){{\boldsymbol{V}}^{\rm{T}}}$ 针对$ Y $ 的奇异值实现软阈值运算，$ {\boldsymbol{Y}} $ 的奇异值分解主要为${\boldsymbol{U}}{\boldsymbol{\varSigma}} {{\boldsymbol{V}}^{\rm{T}}}$ ，软阈值运算主要由${{\text{π}}_\beta }({\boldsymbol{\varSigma}} )$ 代表，被定义成${{\text{π}}_\beta }({\boldsymbol{\varSigma}} ) = (\left|{\boldsymbol{\varSigma}} \right| - \beta ) + {\rm sgn} ({\boldsymbol{\varSigma}} )$ ，$ {t_ + } = \max (0,t) $ 。由文献[20-21]可知，更新
${\boldsymbol{C}}_{{2}}^{{\boldsymbol{(v)}}}$ 的方法为$$ \begin{gathered} {\boldsymbol{C}}_2^{(v)} = {{\text{π}}_{\tfrac{{{\beta _2}}}{{{\mu _2}}}}}\left({{\boldsymbol{A}}^{(v)}} + \frac{{\varLambda _2^{(v)}}}{{{\mu _2}}}\right), \\ {\boldsymbol{C}}_2^{(v)} = {\boldsymbol{C}}_2^{(v)} - {\rm{diag}}({\boldsymbol{C}}_2^{(v)}) \\ \end{gathered} $$ (20) 在这里软阈值运算用
${\text{π}} \beta ( \cdot )$ 来表示。类似于
${\boldsymbol{C}}_{{2}}^{{{(v)}}}$ 的更新策略，则${\boldsymbol{C}}_{{3}}^{{{(v)}}}$ 的更新公式为$$ {\boldsymbol{C}}_3^{(v)} = {{\text{π}} _{\tfrac{{{\lambda_1}\sum\limits_{w \ne v} {|{{\boldsymbol{C}}^{(w)}}|} }}{{{\mu _4}}}}}\left({{\boldsymbol{A}}^{(v)}} + \dfrac{{\varLambda _4^{(v)}}}{{{\mu _4}}}\right) $$ (21) ${\boldsymbol{C}}_4^{{(v)}}$ 的更新公式为$$ {\boldsymbol{C}}_4^{(v)} = {{\text{π}} _{\tfrac{{{\lambda_2}|\Theta |}}{{{\mu _5}}}}}\left({{\boldsymbol{A}}^{(v)}} + \dfrac{{\varLambda _5^{(v)}}}{{{\mu _5}}}\right) $$ (22) ${{\boldsymbol{A}}}^{(v)}、{{\boldsymbol{C}}}_{1}^{(v)}、{{\boldsymbol{C}}}_{2}^{(v)}、{{\boldsymbol{C}}}_{3}^{(v)}$ 和${\boldsymbol{C}}_{{4}}^{{{(v)}}}$ 给定后，可根据式(23)更新对偶变量。$$ \begin{gathered} \varLambda _1^{(v)} = \varLambda _1^{(v)} + {\mu _1}({{\boldsymbol{X}}^{(v)}} - {{\boldsymbol{X}}^{(v)}}{{\boldsymbol{A}}^{(v)}}), \\ \varLambda _2^{(v)} = \varLambda _2^{(v)} + {\mu _2}({{\boldsymbol{A}}^{(v)}} - {\boldsymbol{C}}_2^{(v)}), \\ \varLambda _3^{(v)} = \varLambda _3^{(v)} + {\mu _3}({{\boldsymbol{A}}^{(v)}} - {\boldsymbol{C}}_1^{(v)}), \\ \varLambda _4^{(v)} = \varLambda _4^{(v)} + {\mu _4}({{\boldsymbol{A}}^{(v)}} - {\boldsymbol{C}}_3^{(v)}), \\ \varLambda _5^{(v)} = \varLambda _5^{(v)} + {\mu _5}({{\boldsymbol{A}}^{(v)}} - {\boldsymbol{C}}_4^{(v)}), \\ \mu {\text{ = min(}}\rho \mu {\text{,}}{\mu _{\max }}{\text{)}}{\text{.}} \\ \end{gathered} $$ (23) 其中：
$ {\mu _{\max }} $ 为乘子系数的上线，ρ为乘子的正系数。2)更新
${\boldsymbol{F}}$ 。所有子空间表示矩阵
${{\boldsymbol{C}}^{\left( {{1}} \right)}},{{\boldsymbol{C}}^{{{(2)}}}},\cdots,{{\boldsymbol{C}}^{{{(V)}}}}$ 确定后，目标函数可简化为$$ \begin{gathered} \mathop {\min }\limits_{\boldsymbol{F}} \sum\limits_v {\left\|{C^{(v)}} \odot \Theta \right\|_1} = \mathop {\min }\limits_F \sum\limits_v {{\rm{tr}}({{\boldsymbol{F}}^{\rm{T}}}({{\boldsymbol{D}}^{(v)}} - {{\boldsymbol{W}}^{(v)}}){\boldsymbol{F}})} \\ {\rm{s.t.}}\;\;{{\boldsymbol{F}}^{\rm{T}}}{\boldsymbol{F}} = {\boldsymbol{I}} \\ \end{gathered} $$ (24) 这里，
${{\boldsymbol{D}}^{\left( {{v}} \right)}}$ 是第$ v $ 视图的度矩阵，邻接矩阵为${{\boldsymbol{W}}^{\left( {{v}} \right)}}$ 。则式(24)重写为$$ \begin{gathered} \mathop {\min }\limits_{\boldsymbol{F}} {\rm{tr}}\left({{\boldsymbol{F}}^{\rm{T}}}\sum\limits_v {\left({{\boldsymbol{D}}^{(v)}} - {{\boldsymbol{W}}^{(v)}}\right){\boldsymbol{F}}} \right) \\ {\rm{s.t.}}\;\;{{\boldsymbol{F}}^{\rm{T}}}{\boldsymbol{F}} = {\boldsymbol{I}} \\ \end{gathered} $$ (25) 若定义矩阵
${\boldsymbol{M}} = \displaystyle\sum\limits_v {\left({{\boldsymbol{D}}^{(v)}} - {{\boldsymbol{W}}^{(v)}}\right)}$ ，则式(25)可改写为$$ \begin{gathered} \mathop {\min }\limits_{\boldsymbol{F}} {\rm{tr}}\left({{\boldsymbol{F}}^{\rm{T}}}{\boldsymbol{MF}}\right) \\ {\rm{s.t.}}\;\;{{\boldsymbol{F}}^{\rm{T}}}{\boldsymbol{F}} = {\boldsymbol{I}} \\ \end{gathered} $$ (26) 而式(26)对应的解是特征矩阵
$ {\boldsymbol{M}} $ 的前$ k $ 个最小特征值所对特征向量。在K-means算法中，在特征向量矩阵$ {\boldsymbol{F}} $ 上应用K-means算法，得到最终聚类结果。为确保目标函数的优化流程更为清晰化，给定一致指示矩阵
$ {\boldsymbol{F}} $ ，通过算法1描述求解各个视图子空间表示矩阵的过程；算法2是对整个聚类模型的目标函数优化说明。设置算法的停止条件是最大迭代次数为200次或
$ |{\Theta _{t + 1}} - {\Theta _t}|{|_\infty } < 1 $ 。选择ADMM算法对问题求解的流程详见算法1。
算法1 选择ADMM算法对问题求解
输入 数据矩阵
${\boldsymbol{X}}$ 、μ、μmax、ρ。参数β1、β2、λ1、λ2。
输出
${\boldsymbol{C}}_{}^{{{(v)}}}$ 初始化：
${{\boldsymbol{A}}^{\left( {{v}} \right)}} = {{\boldsymbol{C}}_{{1}}}^{{{(v)}}} ={{\boldsymbol{C}}_{{2}}}^{{{(v)}}} = {{\boldsymbol{C}}_{{3}}}^{{{(v)}}} = {{\boldsymbol{C}}_{{4}}}^{{{(v)}}}{{ = 0}}$ ，$\{{\varLambda }_{i}^{(v)}= 0\}_{i=1}^{5}$ ，$\varepsilon = {10^{ - 5}}$ ，$v = 1,2, \cdots ,V $ while未收敛do
对任意视图
$ v $ ：$ 1 \leqslant v \leqslant V $ 依据式
$ (18) $ 更新${{\boldsymbol{A}}^{{{(v)}}}}$ ；依据式
$ (19) $ 更新${\boldsymbol{C}}_{{1}}^{{{(v)}}}$ ；依据式
$ (20) $ 更新${\boldsymbol{C}}_{{2}}^{{{(v)}}}$ ；依据式
$ (21) $ 更新${\boldsymbol{C}}_{{3}}^{{{(v)}}}$ ；依据式
$ (22) $ 更新${\boldsymbol{C}}_{{4}}^{{{(v)}}}$ ；依据式
$ (23) $ 更新偶变量${\{{\varLambda }_{i}^{(v）}={0}\}}_{i=1}^{5}$ ；更新
$ \mu = \min (\rho \mu ,{\mu _{\max }}) $ 。判断收敛条件：
$\left\| { {{{\boldsymbol{A}}^{(v)}} - {{\boldsymbol{C}}_1}^{(v)}} } \right\| \leqslant \varepsilon$ $\left\| {{{\boldsymbol{A}}^{(v)}} - {{\boldsymbol{C}}_2}^{(v)} + {\rm{diag}}\left( {{{\boldsymbol{C}}_2}^{(v)}} \right)} \right\| \leqslant \varepsilon$ ${\left\| {{{\boldsymbol{A}}^{(v)}} - {{\boldsymbol{C}}_3}^{(v)}} \right\|} \leqslant \varepsilon$ $\left\| { {{{\boldsymbol{A}}^{(v)}} - {{\boldsymbol{C}}_4}^{(v)}} } \right\| \leqslant \varepsilon$ 赋值
${\boldsymbol{C}}(v) = {\boldsymbol{C}}_{{2}}^{{{(v)}}}$ ，则问题式(14)的求解流程如算法2。算法2 问题式(14)的求解流程
输入 数据矩阵
$ {\boldsymbol{X}} $ 、$ \mu、{\mu _{\max }} $ 、聚类数目k、参数
${\beta _1}、{\beta _2}、{\lambda _1}、{\lambda _2}$ 。输出
$ {\boldsymbol{F}} $ 初始化：
$ \Theta = 0 $ ,迭代次数$ t = 0 $ Repeat:
对任一视图
$ v $ :$ 1 \leqslant v \leqslant V $ 给定
$ {\boldsymbol{F}} $ ，用算法1更新$ {{\boldsymbol{C}}^{\left( {\boldsymbol{v}} \right)}} $ ；给定
$\{ {{\boldsymbol{C}}^{(v)}}\} _{v = 1}^V$ ，用谱聚类算法即式（26）更新$ {\boldsymbol{F}} $ ；直到到达收敛条件
$ ||{\Theta _{t + 1}} - {\Theta _t}|{|_\infty } < 1 $ ；若不收敛
$ t = t + {\text{ }}1 $ 。3. 实验与分析
3.1 实验数据
为了对本文算法性能的全面评价，在普遍采用的ORL数据集、Handwritten数据集以及Extended Yale-B数据集3个普遍应用的图像数据集上展开聚类性能验证。
Handwritten数据集：涵盖0~9的手写数字样本2000个，总计有10类。抽取6个形态特征(MOR)、76个字符形状的傅里叶系数(FOU)、240个
$ 2 \times 3 $ 窗口中的像素平均值、64个Karhunen-Loeve系数(KAR)、216个轮廓相关的特征(FAC)和47个Zernike矩(ZER)共6个特征构造六视图数据集。ORL数据集：涵盖了40类，源于不同的40个人的400张图像，每人对应10张不相同的图像。每一张照片的拍摄光线、时间以及人物面部表情、面部细节等均不相同。实验中主要采用intensity、LBP[22]以及Gabor[23-24] 3种类型特征，构造一个三视图数据集。
Extended Yale-B数据集：包含来自38个人的2414张人脸图像，每个人在不同的照明下有64张图像。实验选择前10个人人脸图像共有640张包含intensity、LBP和Gabor 3种特征构造三视图实验数据集。
ORL和Extended Yale-B人脸图像数据集的特征和文献[25]保持一致，使用LBP、intensity和Gabor 3个的特征构造多视图数据。采样密度取8，使用滤波器大小为
$ {\text{7}}\times{\text{8}} $ 获得标准LBP特征；尺度参数γ设为4并从4个方向：$\theta = \{ 0^\circ ,45^\circ , 90^\circ ,135^\circ \}$ 提取Gabor小波。3.2 性能指标与对比算法
本文采用ACC、NMI和F-score 3个评价指标来验证所提出的方法的有效性和性能优劣。
ACC：主要是聚类分配结果标签对比数据集提供的真实标签。
$$ {\rm{ACC}} = \dfrac{{\displaystyle\sum_{i = 1}^n {\delta ({s_i},{\rm{map}}({r_i}))} }}{n} $$ (27) 式中：
$ {r_i} $ 代表数据$ {x_i} $ 对应的结果标签，$ {s_j} $ 代表数据$ {x_i} $ 对应的真实标签，数据总数用n来表示，最佳类标的重新分配用${\rm{map}}( \cdot )$ 来表示。指示函数用$ \delta ( \cdot ) $ 来表示，其计算公式如式（28）：$$ \delta (x,y) = \left\{ {\begin{split} &{1,}\;\; {x = y}\\ &{0,}\;\; {其他} \end{split}} \right. $$ (28) 标准化互信息（normalized mutual information，NMI）主要是对两个随机变量的关系的衡量，依据式(29)进行求解。
$$ {\rm{NMI}} = 2\frac{{I(X,Y)}}{{H(X) + H(Y)}} $$ (29) 式中：
$I(X,Y) = \displaystyle \sum\limits_{x,y} {p(x,y)\log \dfrac{{p(x,y)}}{{p(x)p(y)}}}$ ，$H(X) = \displaystyle \sum\limits_{i = 1}^n p({x_i})\cdot I({x_i})$ ，$ p(x,y) $ 为联合概率分布。NMI的取值区间为[0,1]，其数值和1越接近，则表示聚类效果越好。首先介绍精准度（Precision）及召回率（Recall）两个概念：Precision表示在真实正样本中，其预测结果在正样本的数据数目中所占据的比例，计算式为
$$ {\rm{Precision}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FP}}}} $$ (30) Recall是在正确预测结果中，真实正样本数据数目所占比的比例，计算式为
$$ {\rm{Recall}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}} $$ (31) 则F-score计算式：
$${\text{F-score}} = (1 + {a^2}) \times \frac{{{\rm{Precision}} \times {\rm{Recall}}}}{{({a^2} \times {\rm{Precision}}) + {\rm{Recall}}}} $$ (32) 式中：a是一个平衡参数，如果a=1，代表在重要程度上精准度和召回率是相同的；如果a<1，代表精准度的重要度要大于召回率；如果a>1，代表召回率的重要度大于精准度。
为了全面验证算法性能，本文分别将算法与3个经典单视图聚类算法和4种先进多视图聚类算法展开实验对比。具体介绍如下：
1)谱聚类(spectral clustering, SC)[26]：选择SC对随机视图的聚类结果作为基础算法。
2)稀疏子空间聚类算法(SSC)：选择稀疏子空间聚类的随机视图聚类结果作对比。
3)低秩子空间聚类算法（LRR）：选择低秩子空间聚类的随机视图聚类结果作对比。
4)多样性诱导多视图子空间聚类(diversity-induced multi-view subspace clustering, DiMSC)[16]：使用HSIC准则作为多样性约束项，最大化多视图数据间的互补信息，提高了聚类精度。
5) MLAN[27]：一种新的多视图学习模型，该模型同时实现了聚类/半监督分类以及局部结构学习。
6) AMGL[28]：通过修改传统的谱聚类模型来实现自适应权值的分配，且不需任何超参，可用于聚类及半监督分类任务。
7) ECMSC[17]：排他性–一致性正则性多视图子空间聚类方法，通过引入排他性项进行多视角间的表示矩阵学习，同时利用一致性获得多视角统一聚类分配结果。
3.3 实验结果与分析
本文将自表示矩阵的低秩约束和稀疏约束用参数
$ {\beta _0} $ 表示，那么$ {\beta _1} = {\beta _0}\theta $ 是低秩约束项参数，而$ {\beta _2} = {\beta _0}(1 - \theta ) $ 则为稀疏约束项参数，其中$ 0 \leqslant \theta \leqslant 1 $ 。借鉴ECMSC算法的优化调参策略设置参数$ {\beta _0} $ 、$ {\lambda_1} $ 、$ {\lambda_2} $ 的最优取值，令$ {\beta _0} = {\eta ^{1 - t}} $ ，$ {\lambda_1} = \alpha $ ，$ {\lambda _2} = \beta {\eta ^{t - 1}} $ ，其中$ \eta $ 取值1.2，$t = \{ 1,\;2,\;\cdots,\;T\}$ 是算法的迭代次数。基于此设置，模型仅需对参数$ \theta $ 、$ \alpha $ 和$ \beta $ 进行迭代调参，参数$ \alpha $ 和$ \beta $ 调参取值区间$\left\{ {0.1,\;0.2,\; \cdots ,\;1} \right\}$ 。首先固定参数$ \theta $ 值，对$ \alpha $ 和$ \beta $ 进行优化调整。通过实验得知，在参数$ \theta $ 数值取为$\left\{ {0.6,\;0.7,\;0.2} \right\}$ ，$ \alpha $ 数值取为$\{ 0.9, \;0.3,\;0.7 \}$ ，$ \beta $ 数值取为$\left\{ {0.5,\;0.1,\;0.5} \right\}$ 时，本文所提出的算法模型在该3个实验数据集上的聚类性能最佳。在实验中完成对比算法实验设置并对各自参数优化调优，直到获得各算法对应评价指标最优状态。基于此，将本文算法实验结果与其对比。表1是在Handwritten数据集中，选取3个评价指标，比较各算法性能，而表2是在ORL数据集中，选取3个评价指标，来对比其算法性能，表3是在Extended Yale-B数据集上，依据评价指标，判断比较算法性能。
表 1 在Handwritten数据集上性能比较Table 1 Performance comparison of Handwritten算法 F-score ACC NMI SCrand 0.498( $ \pm 0.023 $) 0.588( $ \pm 0.034 $) 0.561( $ \pm 0.012 $) LRRrand 0.685( $ \pm 0.005 $) 0.702( $ \pm 0.003 $) 0.765( $ \pm 0.002 $) SSCrand 0.706( $ \pm 0.035 $) 0.772( $ \pm 0.024 $) 0.727( $ \pm 0.014 $) ECMSC 0.818( $ \pm 0.011 $) 0.877( $ \pm 0.012 $) 0.853( $ \pm 0.015 $) MLAN 0.891( $ \pm 0.001 $) 0.942($ \pm 0.001 $) 0.904( $ \pm 0.002 $) AMGL 0.824( $ \pm 0.001 $) 0.890( $ \pm 0.012 $) 0.868( $ \pm 0.008 $) DiMSC 0.450( $ \pm 0.007 $) 0.593( $ \pm 0.009 $) 0.475( $ \pm 0.015 $) 本文算法 0.898($ \pm $0.014) 0.936 $ \pm $0.006 ) 0.921($ \pm $0.008) 表 2 在ORL数据集上聚类比较Table 2 Comparison among clustering algorithm on ORL算法 F-score ACC NMI SCrand 0.702 $ \pm $0.044) 0.762( $ \pm 0.042 $) 0.896( $ \pm 0.012 $) LRRrand 0.725( $ \pm 0.003 $) 0.860( $ \pm 0.004 $) 0.875( $ \pm 0.009 $) SSCrand 0.689( $ \pm 0.012 $) 0.782( $ \pm 0.001 $) 0.892( $ \pm 0.009 $) ECMSC 0.817( $ \pm 0.008 $) 0.908( $ \pm 0.005 $) 0.942( $ \pm 0.006 $) MLAN 0.789( $ \pm 0.007 $) 0.873( $ \pm 0.004 $) 0.906( $ \pm 0.007 $) AMGL 0.775( $ \pm 0.005 $) 0.864( $ \pm 0.003 $) 0.881( $ \pm 0.005 $) DiMSC 0.804( $ \pm 0.002 $) 0.828( $ \pm 0.003 $) 0.935( $ \pm 0.003 $) 本文算法 0.846($ \pm $0.003) 0.919($ \pm $0.003) 0.955($ \pm $0.006 ) 表 3 在Extended Yale-B数据集上聚类比较Table 3 Comparison among clustering algorithm on Extended Yale-B算法 NMI ACC F-score SCrand 0.352( $ \pm 0.011 $) 0.373( $ \pm 0.013 $) 0.321( $ \pm 0.015 $) LRRrand 0.606( $ \pm 0.01 $) 0.684( $ \pm 0.013 $) 0.523( $ \pm 0.007 $) SSCrand 0.501( $ \pm 0.003 $) 0.557( $ \pm 0.008 $) 0.491( $ \pm 0.002 $) ECMSC 0.759( $ \pm 0.012 $) 0.783( $ \pm 0.011 $) 0.597( $ \pm 0.010 $) MLAN 0.485( $ \pm 0.001 $) 0.499( $ \pm 0.005 $) 0.322( $ \pm 0.004 $) AMGL 0.438( $ \pm 0.012 $) 0.457( $ \pm 0.008 $) 0.297( $ \pm 0.011 $) DiMSC 0.664( $ \pm 0.003 $) 0.632( $ \pm 0.004 $) 0.608( $ \pm 0.007 $) 本文算法 0.786($ \pm 0.015 $) 0.803($ \pm 0.022 $) 0.748($ \pm 0.025 $) 在各个算法上分别运行30次实验，实验结果用均值（
$ \pm 方差 $ ）表示，在表1、表2以及表3中将性能最优结果使用黑体加粗标注。表1是在Handwritten数据集的实验结果，从表中可明显发现，所提出算法和单视图算法SC、LRR、SSC相比，如果
$ \theta $ 取0.6、$ \alpha $ 取0.7以及$ \beta $ 取0.2则所提出的算法聚类性能最好，证明了多视图算法比单视图算法具有优越性。将其与其他4种多视图算法展开对比，除了在ACC指标略低于MLAN，其他均最优，表明了该算法聚类效果明显提升。当
$ \alpha $ 取0.3,$ \theta $ 取0.9，$ \beta $ 取0.7，由表2在数据集ORL实验结果可知，在3个评价指标上，本文提出的算法性能最优。当参数
$ \theta $ 取0.5，$ \alpha $ 取0.1，$ \beta $ 取0.5，由表3中在Extended Yale-B数据集的实验数据显而易见，本文算法在3个评价指标上比其他算法更具优势。由以上实验数据证实了多样性约束加入之后，其对各视图子空间表示的重要性。结果表明：在3个常用多视图数据集上所提出的算法在很大程度上提高了聚类的性能，这也就证明了引入多样性约束项对获得更具有辨别性的子空间自表示学习的关键作用。4. 结束语
多视图数据具有两大内在优势：一致性和互补性。本文首先介绍了视图间存在多样性以及视图一致性的谱表示，并将其引入多视图低秩稀疏子空间聚类模型，提出了一种新的多视图子空间聚类方法，即基于多样性的多视图低秩稀疏子空间聚类算法。该方法考虑通过各个视图间特有特征差异，将多样性正则项引入模型，从而得到具有最大辨别性的各视图自表示矩阵；最后联合谱聚类算法构建统一优化框架，得到多视图数据的一致性聚类结果。此外，我们运用了ADMM算法的优化策略来求解目标函数。在3个图像数据集上进行了大量的集中实验，结果表明了基于多样性的多视图低秩稀疏子空间聚类算法是有效的。
-
表 1 在Handwritten数据集上性能比较
Table 1 Performance comparison of Handwritten
算法 F-score ACC NMI SCrand 0.498( $ \pm 0.023 $) 0.588( $ \pm 0.034 $) 0.561( $ \pm 0.012 $) LRRrand 0.685( $ \pm 0.005 $) 0.702( $ \pm 0.003 $) 0.765( $ \pm 0.002 $) SSCrand 0.706( $ \pm 0.035 $) 0.772( $ \pm 0.024 $) 0.727( $ \pm 0.014 $) ECMSC 0.818( $ \pm 0.011 $) 0.877( $ \pm 0.012 $) 0.853( $ \pm 0.015 $) MLAN 0.891( $ \pm 0.001 $) 0.942($ \pm 0.001 $) 0.904( $ \pm 0.002 $) AMGL 0.824( $ \pm 0.001 $) 0.890( $ \pm 0.012 $) 0.868( $ \pm 0.008 $) DiMSC 0.450( $ \pm 0.007 $) 0.593( $ \pm 0.009 $) 0.475( $ \pm 0.015 $) 本文算法 0.898($ \pm $0.014) 0.936 $ \pm $0.006 ) 0.921($ \pm $0.008) 表 2 在ORL数据集上聚类比较
Table 2 Comparison among clustering algorithm on ORL
算法 F-score ACC NMI SCrand 0.702 $ \pm $0.044) 0.762( $ \pm 0.042 $) 0.896( $ \pm 0.012 $) LRRrand 0.725( $ \pm 0.003 $) 0.860( $ \pm 0.004 $) 0.875( $ \pm 0.009 $) SSCrand 0.689( $ \pm 0.012 $) 0.782( $ \pm 0.001 $) 0.892( $ \pm 0.009 $) ECMSC 0.817( $ \pm 0.008 $) 0.908( $ \pm 0.005 $) 0.942( $ \pm 0.006 $) MLAN 0.789( $ \pm 0.007 $) 0.873( $ \pm 0.004 $) 0.906( $ \pm 0.007 $) AMGL 0.775( $ \pm 0.005 $) 0.864( $ \pm 0.003 $) 0.881( $ \pm 0.005 $) DiMSC 0.804( $ \pm 0.002 $) 0.828( $ \pm 0.003 $) 0.935( $ \pm 0.003 $) 本文算法 0.846($ \pm $0.003) 0.919($ \pm $0.003) 0.955($ \pm $0.006 ) 表 3 在Extended Yale-B数据集上聚类比较
Table 3 Comparison among clustering algorithm on Extended Yale-B
算法 NMI ACC F-score SCrand 0.352( $ \pm 0.011 $) 0.373( $ \pm 0.013 $) 0.321( $ \pm 0.015 $) LRRrand 0.606( $ \pm 0.01 $) 0.684( $ \pm 0.013 $) 0.523( $ \pm 0.007 $) SSCrand 0.501( $ \pm 0.003 $) 0.557( $ \pm 0.008 $) 0.491( $ \pm 0.002 $) ECMSC 0.759( $ \pm 0.012 $) 0.783( $ \pm 0.011 $) 0.597( $ \pm 0.010 $) MLAN 0.485( $ \pm 0.001 $) 0.499( $ \pm 0.005 $) 0.322( $ \pm 0.004 $) AMGL 0.438( $ \pm 0.012 $) 0.457( $ \pm 0.008 $) 0.297( $ \pm 0.011 $) DiMSC 0.664( $ \pm 0.003 $) 0.632( $ \pm 0.004 $) 0.608( $ \pm 0.007 $) 本文算法 0.786($ \pm 0.015 $) 0.803($ \pm 0.022 $) 0.748($ \pm 0.025 $) -
[1] 夏菁. 多视角子空间聚类算法研究[D]. 徐州: 中国矿业大学, 2021: 3−24. XIA Jing. Research on multi-view subspace clustering algorithms[D]. Xuzhou: China University of Mining and Technology, 2021: 3−24. [2] YANG Yan, WANG Hao. Multi-view clustering: a survey[J]. Big data mining and analytics, 2018, 1(2): 83–107. doi: 10.26599/BDMA.2018.9020003 [3] 刘相男, 丁世飞, 王丽娟. 基于深度图正则化矩阵分解的多视图聚类算法[J]. 智能系统学报, 2022, 17(1): 158–169. LIU Xiangnan, DING Shifei, WANG Lijuan. A multi-view clustering algorithm based on deep matrix factorization with graph regularization[J]. CAAI transactions on intelligent systems, 2022, 17(1): 158–169. [4] WEI Lai, WANG Xiaofeng, WU Aihua, et al. Robust subspace segmentation by self-representation constrained low-rank representation[J]. Neural processing letters, 2018, 48(3): 1671–1691. doi: 10.1007/s11063-018-9783-y [5] 夏菁, 丁世飞. 基于低秩稀疏约束的自权重多视角子空间聚类[J]. 南京大学学报(自然科学版), 2020, 56(6): 862–869. XIA Jing, DING Shifei. Self-weighted multi-view subspace clustering with low-rank sparse constrain[J]. Journal of Nanjing university (natural science edition), 2020, 56(6): 862–869. [6] XUE Zhe, DU Junping, DU Dawei, et al. Deep low-rank subspace ensemble for multi-view clustering[J]. Information sciences, 2019, 482: 210–227. doi: 10.1016/j.ins.2019.01.018 [7] 董文华. 稀疏子空间聚类及应用研究[D]. 无锡: 江南大学, 2019: 11−15. DONG Wenhua. Research of sparse subspace clustering and its applications[D]. Wuxi: Jiangnan University, 2019: 11−15. [8] 张小乾. 子空间聚类模型与算法研究[J]. 南京:南京理工大学, 2021: 6–10. Zhang Xiaoqian. Research on Subspace Clustering Model and Algorithm[J]. Nanjing: Nanjing University of Science & Technology, 2021: 6–10. [9] WANG Yuxiang, XU Huan, LENG Chenlei. Provable subspace clustering: when LRR meets SSC[J]. IEEE transactions on information theory, 2014, 5(7): 5406−5432. [10] LI Chunguang, YOU Chong, VIDAL R. Structured sparse subspace clustering: a joint affinity learning and subspace clustering framework[J]. IEEE transactions on image processing, 2017, 26(6): 2988–3001. doi: 10.1109/TIP.2017.2691557 [11] BRBIĆ M, KOPRIVA I. Multi-view low-rank sparse subspace clustering[J]. Pattern recognition, 2018, 73: 247–258. doi: 10.1016/j.patcog.2017.08.024 [12] KUMAR A, RAI P, DAUME H, et al. Co-regularized multi-view spectral clustering[C]// Proceedings of the 24th International Conference on Neural Information Processing Systems. Red Hook: Currant Associates Inc., 2011: 1413−1421. [13] YIN Qiyue, WU Shu, HE Ran, et al. Multi-view clustering via pairwise sparse subspace representation[J]. Neurocomputing, 2015, 156: 12–21. doi: 10.1016/j.neucom.2015.01.017 [14] KANG Zhao, SHI Guoxin, HUANG Shudong, et al. Multi-graph fusion for multi-view spectral clustering[J]. Knowledge-based systems, 2020, 189: 105102. doi: 10.1016/j.knosys.2019.105102 [15] ZHANG Changqing, HU Qinghua, FU Huazhu, et al. Latent multi-view subspace clustering[C]//IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 4333−4341. [16] CAO Xiaochun, ZHANG Changqing, FU Huazhu, et al. Diversity-induced multi-view subspace clustering[C]//IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2015: 586−594. [17] WANG Xiaobo, GUO Xiaojie, LEI Zhen, et al. Exclusivity-consistency regularized multi-view subspace clustering[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 1−9. [18] BOYD S. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and trends® in machine learning, 2010, 3(1): 1–122. [19] CAI Jianfeng, CANDÈS E J, SHEN Zuowei. A singular value thresholding algorithm for matrix completion[J]. SIAM journal on optimization, 2010, 20(4): 1956–1982. doi: 10.1137/080738970 [20] DONOHO D L. De-noising by soft-thresholding[J]. IEEE transactions on information theory, 1995, 41(3): 613–627. doi: 10.1109/18.382009 [21] DAUBECHIES I, DEFRISE M, DE MOL C. An iterative thresholding algorithm for linear inverse problems with a sparsity constraint[J]. Communications on pure and applied mathematics, 2004, 57(11): 1413–1457. doi: 10.1002/cpa.20042 [22] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE transactions on pattern analysis and machine intelligence, 2002, 24(7): 971–987. doi: 10.1109/TPAMI.2002.1017623 [23] WISKOTT L, KRÜGER N, KUIGER N, et al. Face recognition by elastic bunch graph matching[J]. IEEE transactions on pattern analysis and machine intelligence, 1997, 19(7): 775–779. doi: 10.1109/34.598235 [24] LADES M, VORBRUGGEN J C, BUHMANN J, et al. Distortion invariant object recognition in the dynamic link architecture[J]. IEEE transactions on computers, 1993, 42(3): 300–311. doi: 10.1109/12.210173 [25] ZHANG Changqing, FU Huazhu, LIU Si, et al. Low-rank tensor constrained multiview subspace clustering[C]//2015 IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 1582−1590. [26] NG A Y, JORDAN M I, WEISS Y. On spectral clustering: Analysis and an algorithm[C]//Advances in Neural Information Processing Systems. Boston: MIT Press, 2002: 849−856 [27] NIE Feiping, CAI Guohao, LI Xuelong. Multi-view clustering and semi-supervised classification with adaptive neighbours[C]//Proceedings of the 31th AAAI Conference on Artificial Intelligence, New York: ACM, 2017: 2408-2414. [28] NIE Feiping, LI Jing, LI Xuelong. Parameter-free auto-weighted multiple graph learning: A framework for multi-view clustering and semi-supervised classification[C]// Proceedings of 25th International Joint Conference on Artificial Intelligence. New York: AAAI Press, 2016: 1881−1887.
