基于自然邻域和数据引力的多标签不平衡数据过采样方法

刘志强,  谭浩宇,  韩奥坤,  王炜清,  严远亭,  张燕平

downloadPDF
刘志强, 谭浩宇, 韩奥坤, 等. 基于自然邻域和数据引力的多标签不平衡数据过采样方法 [J]. 智能系统学报, 2026, 21(3): 651-665. doi: 10.11992/tis.202505019
引用本文: 刘志强, 谭浩宇, 韩奥坤, 等. 基于自然邻域和数据引力的多标签不平衡数据过采样方法 [J]. 智能系统学报, 2026, 21(3): 651-665. doi: 10.11992/tis.202505019
shu
LIU Zhiqiang, TAN Haoyu, HAN Aokun, et al. Multi-label imbalanced data oversampling based on natural neighborhood and data gravity [J]. CAAI Transactions on Intelligent Systems, 2026, 21(3): 651-665. doi: 10.11992/tis.202505019
Citation: LIU Zhiqiang, TAN Haoyu, HAN Aokun, et al. Multi-label imbalanced data oversampling based on natural neighborhood and data gravity [J]. CAAI Transactions on Intelligent Systems, 2026, 21(3): 651-665. doi: 10.11992/tis.202505019
shu

基于自然邻域和数据引力的多标签不平衡数据过采样方法

doi: 10.11992/tis.202505019

  • 安徽大学 计算机科学与技术学院, 安徽 合肥 230601

基金项目: 国家自然科学基金项目(62376002).
详细信息
    作者简介:

    刘志强，硕士研究生，主要研究方向为机器学习、数据挖掘。E-mail： 1040921276@qq.com;

    谭浩宇，硕士研究生，主要研究方向为机器学习、软件缺陷预测。E-mail： 2151476673@qq.com;

    严远亭，教授，博士生导师，博士，主要研究方向为机器学习、数据挖掘。主持国家自然科学基金面上项目1项、国家自然科学基本青年项目1项，发表学术论文40余篇。E-mail：ytyan@ahu.edu.cn.

    通讯作者:

    严远亭. Email：ytyan@ahu.edu.cn.

  • 中图分类号: TP311

Multi-label imbalanced data oversampling based on natural neighborhood and data gravity

  • College of Computer Science and Technology, Anhui University, Hefei 230601, China

    摘要
  • 摘要:

    在处理多标签不平衡数据分类问题中，过采样方法是主流技术之一。然而，如何设计有效的采样策略以捕捉样本局部分布信息，同时避免合成过程引入重叠样本而导致类间区分度降低，始终是过采样面临的关键挑战。针对该挑战，提出了一种基于自然邻域和数据引力的多标签不平衡数据过采样方法。该方法首先基于特征空间构建自然邻域结构，以自适应学习样本的局部分布信息。其次利用标签相似性来引导辅助样本选择，为相对安全的辅助样本赋予更高的权重，降低类重叠风险。最后建立数据引力模型构建动态标签分配机制，自适应生成标签信息，避免固定标签分配规则可能引发的类间冲突问题。在14个不平衡数据集上的实验表明，所提算法相较于SOTA方法在3个主要指标上均取得了更优的性能表现。

     

    Abstract:

    In multi-label imbalanced data classification, oversampling has emerged as a mainstream technique. However, how to design effective sampling strategies that capture the local distribution information of samples while avoiding the introduction of overlapping samples during the synthesis process, and reducing the inter-class separability, remains a key challenge for oversampling methods. To this end, we propose a novel multi-label oversampling method based on natural neighborhood and data gravitation. Firstly, the method constructs adaptive natural neighborhood structures in feature space to capture local distribution information. Then, it employs label similarity to guide auxiliary sample selection, assigning higher weights to relatively safe auxiliary samples to mitigate class overlapping risk. Finally, it constructs a dynamic label assignment mechanism with the data gravitation model to generate label information, and avoiding the possible inter-class conflicts inherent in fixed label allocation rules. Experimental resultson 14 imbalanced datasets demonstrate that the proposed algorithm outperforms state-of-the-art methods in three performance metrics.

     

    • HTML全文

  • 不平衡学习已成为机器学习、数据挖掘等领域的研究热点[1-2]。传统分类模型以最小化整体分类误差为目标，在处理不平衡数据时，模型易忽略对少数类的识别能力，限制了模型在不平衡场景下的泛化能力和分类性能[3-5]。此外，在实际应用中，少数类样本往往更值得关注。以癌症患者筛查为例，患者样本通常属于少数类，将患者误诊为健康个体的代价远比将健康个体误诊为患者更为严重[6]。因此，不平衡数据分类问题的研究不仅具有理论价值和现实意义。

    近年来，涌现了许多针对二分类和多分类场景的不平衡数据分类方法。然而，这些方法大多属于单标签分类范畴，即每个样本仅与一个标签相关联。但在文本分类[7]、复合故障检测[8]、情绪分类[9]等应用中，样本通常与多个标签相关联，且每个标签相关的样本数量远少于不相关的样本数量[10]，从而引发了多标签不平衡问题。多标签不平衡数据的特点包括标签数量的不均衡性、标签的多样性以及标签的关联性[11]，这些特点增加了多标签不平衡数据的复杂性，相较于传统的二分类或多分类问题更具挑战。

    针对多标签不平衡数据学习问题，研究者提出了多种解决方法[12]，主要分为两类：1)重采样方法[13]，即通过调整数据空间中不同标签的样本数量来重新平衡标签分布；2)算法自适应方法[14]，即通过修改或设计新的分类器以适应不平衡数据的特性，从而提高算法对少数类的识别能力。其中，重采样方法因其简单有效且独立于后续分类器的特点，渐渐成为了处理多标签不平衡数据集的主流策略。然而，由于多标签数据中每个样本通常与多个标签相关联，传统的二分类或多分类重采样技术难以直接应用到多标签场景[15]。因此，需要设计适用于多标签不平衡数据集的重采样方法，以有效处理多标签之间的复杂关系。

    在多标签分类问题中，数据不平衡可归纳为全局和局部两种表现形式。传统方法通过对少数类样本进行随机过采样，或对多数类样本实施随机欠采样来缓解类别失衡问题[16]。这类方法虽聚焦于类别层面的样本数量均衡，但忽视了分类器决策边界优化的本质需求：即提升边界样本的表征能力[17]。针对该问题，研究者逐渐将注意力转向决策边界的处理，通过关注局部不平衡因素，提升学习性能。当前通过缓解样本的局部不平衡以提高分类性能的主流方法可分为两类：1）通过评估样本的局部不平衡程度来选择困难样本进行合成[18]。2）通过识别边界样本并设计针对性生成策略来合成样本[19]。但现有方法受限于静态规则的局部适应性不足问题，导致样本分布失真与决策边界模糊现象，其症结主要体现在以下两个层面：一是固定k值的KNN(K-nearest neighbors)算法因无法自适应局部密度分布，存在邻域尺度敏感性问题[20-21]。固定的k值设定会导致邻域信息捕获失真，造成合成样本的分布偏离真实数据分布情况。二是现有方法[22]在样本插值生成阶段受限于静态规则约束，缺乏对样本分布差异性的感知能力，导致不合理标签集的分配，可能引发类重叠问题。

    针对上述问题，本文提出一种基于自然邻域和数据引力的多标签不平衡过采样方法。首先，基于自然邻域[20]建模自适应捕捉样本的局部分布特征；其次，设计融合全局不平衡和局部不平衡的样本权重估计方式，精准量化样本差异以优化样本选择过程；最后，基于标签相似性引导样本合成的方向和范围，结合数据引力模型动态调整标签分配，提升分类模型性能。本文的主要贡献如下：

    1)提出了一种基于自然邻域和数据引力的多标签过采样方法，突破静态规则约束，显著改善多标签不平衡问题。

    2)基于自然邻域理论构建多标签数据空间拓扑关系，提出融合全局不平衡和局部不平衡的样本权重估计方式，以选择更具代表性的合成样本。

    3)设计一种动态样本合成策略，通过标签相似性和数据引力模型指导样本合成，获得更可靠的标签信息，同时有效降低类重叠风险。

    1.   相关工作

    多标签不平衡数据分类问题主要可分为重采样方法和算法自适应方法两大类[9]。其中，重采样方法因其独立于后续分类模型的特性，成为处理多标签类不平衡问题的主流手段。根据处理样本策略的不同，重采样方法可进一步分为欠采样和过采样方法[23]。

    欠采样方法通过删除与多数类标签相关的实例来纠正类别分布倾斜。MLRUS(multi-label random undersampling)[13]通过删除携带多数类标签的样本来缓解标签间的不平衡。LPRUS(label powerset random undersampling)[13]基于LP(label powerset)策略[24]，将多标签问题转化为多类问题，通过随机删除最频繁标签集的实例来解决标签集间的不平衡。MLTL(multi-label Tomek link)[25]采用经典的Tomek Link[26]欠采样算法对频繁标签进行数据清洗。MLeNN(multi-label edited nearest neighbor) [27]则利用编辑最近邻(edited nearest neighbor, ENN)技术识别并移除可能对分类器性能产生负面影响的样本。Liu等[18]提出的MLUL(multi-label undersampling based on local label imbalance)是一种基于局部不平衡的多标签欠采样方法，其通过从多数类样本中筛选最具代表性的样本，同时保留少数类样本的完整性以实现数据再平衡。

    过采样方法通过增加与少数类标签相关的实例来调整失衡的标签分布。MLROS(multi-label random oversampling)和LPROS(label powerset random oversampling)[13]通过随机复制低频少数类样本或标签集进行重采样。MLSMOTE(multi-label synthetic minority oversampling technique)[22]采用启发式选择少数类种子样本及其邻居样本来合成新实例。MLSOL(multi-label synthetic oversampling based on local label imbalance)[18]通过考虑所有信息标签并度量局部不平衡程度，选择学习困难样本以合成更多样化的新实例，解决局部区域的不平衡。LCOS(label correlation guided borderline oversampling)[19]方法通过标签相关性识别关键边界区域，并采用距离加权策略合成少数类样本，改善不平衡数据分类性能。MLONC(multi-label oversampling with natural neighbor and label correlation)[28]是一种基于自然邻域和相关性的过采样方法，通过依赖标签自适应搜索邻居，精准捕获标签分布特性，优先选择决策边界附近的样本进行合成，同时分配最相关标签以提升合成样本质量。此外，REMEDIAL(resampling multilabel datasets by decoupling highly imbalanced labels)[29]方法通过将包含不同不平衡水平标签的复杂样本分解为两个较简单样本，有效缓解了标签间的耦合不平衡问题。该样本重构机制可作为独立过采样策略的前置处理步骤。例如RHwRSMT[30]结合了REMEDIAL和MLSMOTE。

    2.   本文方法

    本文所提方法主要通过自然邻域和数据引力合成新样本，以处理不平衡的多标签数据集。具体而言，首先运用自然邻域算法捕获样本的分布特征。然后，设计融合全局不平衡和局部不平衡的样本权重估计方法，来有效评估样本的学习困难程度。最后，通过约束合成区域的范围并基于数据引力模型自适应分配样本标签，确保合成样本的可靠性。本文算法的框架如图1所示。

    图  1  MLNNDG算法的框架
    Fig.  1  Framework of the proposed MLNNDG
    下载: 全尺寸图片

    为了方便介绍，首先对本文所涉及的相关概念进行如下形式化定义：给定一个多标签数据集$ X=\{({x}_{i},{y}_{i})|1\leq i\leq n\} $，其中n表示样本数量。对于任意标签j($ j\in \{1,2,\cdots ,q\} $)，其中q是标签总数，定义$ s_{j}^{b} $表示该标签j中类别b($ b\in \{0,1\} $)的实例数量。基于此，引入标签内部不平衡比率的评估指标$ {{{I}_{j}}}=s_{j}^{{G}_{j}}/s_{j}^{{g}_{j}} $， 其中$ {G}_{j}={\text{arg max}}_{b\in \{0,1\}}s_{j}^{b} $定义表示标签j内部的多数类，$ {g}_{j}={\text{arg min}}_{b\in \{0,1\}}s_{j}^{b} $为标签j内部的少数类。需要特别说明的是，本文中所提及的多数类和少数类均特指同一标签内部的多数类和少数类。为便于理解，本文所使用的关键符号及其含义如表1所示。

    表  1  变量描述
    Table  1  Description of variable
    变量描述变量描述
    X多标签数据集$ N_{\text{N}}^{r}({x}_{i}) $样本$ {x}_{i} $的r近邻集合
    q标签总数λ自然特征值
    n样本数量r迭代搜索轮次
    I标签内部不平衡比例$ {N}_{\text{aN}}({x}_{i}) $样本$ {x}_{i} $的自然邻居集合
    $ s_{j}^{b} $标签j中类别b的实例数量$ {n}_{\text{b}}({x}_{i}) $样本$ {x}_{i} $的近邻数量
    $ {G}_{j} $标签j内部的多数类$ \text{dist}\left(\cdot \right) $样本间欧氏距离
    $ {g}_{j} $标签j内部的少数类$ S_{k}^{j}\left({x}_{i}\right) $样本$ {x}_{i} $在标签j上同类k近邻集合
    $ {S}_{\text{noise}} $噪声集合$ D_{k}^{j}\left({x}_{i}\right) $样本$ {x}_{i} $在标签j上异类k近邻集合

    2.1   无监督的自然邻域搜索

    传统KNN算法采用的静态邻域搜索机制存在局限性。如图2所示，当样本处于不同密度区域时，其最优邻域尺度存在显著差异：对于低密度区域中的样本$ {s}_{6} $，为了更加精确地探测$ {s}_{6} $的邻域信息以避免合成低质量样本，需采用较小的邻域范围($ k \lt 5 $，绿色区域)。而处在高密度区域的样本$ {s}_{7} $，则需要更大的邻域尺度($ k \gt 5 $，蓝色区域)才能挖掘更完整的局部结构特征。固定不变的k值选择可能无法准确反映局部数据结构，导致生成样本的分布与实际数据分布产生偏差。

    图  2  多标签局部问题示意
    Fig.  2  Sketch of multi-label local problem
    下载: 全尺寸图片

    本文引入的自然邻域算法[20]基于整个特征空间搜索样本的局部近邻，此算法无需设置固定近邻参数且自适应捕捉数据集的局部分布特征。具体而言，对任意给定的$ {x}_{i}\in X $，依次搜索其r近邻(从r=1开始)，并且通过迭代扩展邻居搜索范围，直至满足以下条件：除异常值外，每个样本均与其他样本$ {x}_{j} $互为邻居，此时形成稳定的自然邻域结构(natural neighbor stable structure，NSS)。NSS满足条件：

    $$ \begin{aligned}& (\forall {x}_{i})(\exists {x}_{j})(r\in n)\wedge ({x}_{i}\neq {x}_{j})\rightarrow \\ & ({x}_{i}\in N_{\text{N}}^{r}({x}_{j}))\wedge ({x}_{j}\in N_{\text{N}}^{r}({x}_{i})) \end{aligned} $$

    式中$ N_{\text{N}}^{r}({x}_{i}) $表示样本的$ {x}_{i} $的r近邻集合。当达到稳定自然邻域结构时，迭代搜索的轮次 r即为自然特征值 λ，其定义为

    $$ \begin{array}{c} \lambda ={r}_{r\in n}\{r|\left(\forall {x}_{i}\right)\left(\exists {x}_{j}\right)\left(r\in n\right)\wedge \left({x}_{i}\neq {x}_{j}\right)\rightarrow \\ \left({x}_{i}\in N_{\text{N}}^{r}\left({x}_{j}\right)\right)\wedge \left({x}_{j}\in N_{\text{N}}^{r}\left({x}_{i}\right)\right)\} \end{array} $$

    在稳定的自然邻域结构中，样本$ {x}_{i} $是样本$ {x}_{j} $的自然邻居(natural neighbor, NaN)需满足条件：

    $$ {x}_{i}\in {N}_{\text{aN}}\left({x}_{j}\right)\Leftrightarrow {x}_{i}\in N_{\text{N}}^{\lambda }\left({x}_{j}\right)\wedge {x}_{j}\in N_{\text{N}}^{\lambda }\left({x}_{i}\right) $$ (1)

    图3给出自然邻域算法的搜索流程，首先搜索每个样本的1近邻，如图3 (a)中所示，$ {x}_{1} $和$ {x}_{2} $互为其1近邻，则两个样本构成自然邻居，且近邻数增加1，继续搜索，并依次迭代搜索次数，直到r=4时，除孤立样本$ {x}_{6} $外，每个样本$ {x}_{i} $均与至少一个样本$ {x}_{j} $互为邻居，此时形成NSS。如图3(c)中所示，此时$ {x}_{1} $与$ {x}_{2},{x}_{3},{x}_{4},{x}_{5} $互为自然邻居，自然特征值$ \lambda $=4。

    图  3  自然邻域搜索过程示意
    Fig.  3  Sketch of natural neighborhood search process
    下载: 全尺寸图片

    自然邻域搜索的伪代码如算法1所示。

    算法1　自然邻域(NaN)搜索

    输入　多标签数据集 X。

    输出　自然邻域集合$ {N}_{\text{aN}}(X) $；自然特征值$ \lambda $。

    1)对每个样本$ x_{i} \in X $，初始化近邻数量 $ {n}_{\text{b}}({x}_{i})= 0 $，当前迭代次数$ r=0 $并创建数据集对应的K-D树T；

    2)令$ r=r+1 $，并利用树T找到$ x_{i} \in X $的$ r $近邻$ {x}_{j} $，更新$ {n}_{{{}_{\text{b}}}}({x}_{j})={n}_{\text{b}}({x}_{j})+1 $；

    3)对$ \forall {x}_{i}\in X $根据式(1)计算其自然邻域$ {N}_{\text{aN}}\left({x}_{i}\right) $；

    4)计算统计满足$ {n}_{\text{b}}({x}_{i})=0 $的$ {x}_{i} $的数量n；

    5) if n与上一轮相比未变化，$ \lambda =r $；

    6) else $ r=r+1 $，跳往2) ；

    7)输出：$ \lambda $,$ {N}_{\text{aN}}(X)=\left\{{N}_{\text{aN}}\left({x}_{i}\right),i=1,2,\cdots ,\left| X\right| \right\} $。

    2.2   融合全局不平衡和局部不平衡的样本权重估计

    针对多标签分类任务中存在的样本粒度的局部不平衡与标签粒度的全局不平衡问题，本节提出融合全局不平衡和局部不平衡的样本权重估计方法。为解决权重计算中噪声样本的干扰问题，本研究首先基于相对密度因子(relative density factor，RDF)构建噪声识别机制，其核心思想是通过量化样本与其同类/异类分布的密度关联来增强噪声辨识能力[31]，以克服传统自然邻域方法在噪声识别中仅通过异类近邻占比而忽略标签局部密度分布差异的局限性。具体而言，对于每个标签j上的少数类样本$ {x}_{i} $，$ R_{{x}_{i}}^{j} $定义为其同类局部密度和异类局部密度的比值，其值越小，越接近异类的高密度区域：

    $$ R_{{x}_{i}}^{j}=\frac{\displaystyle\sum\nolimits_{p\in {S_{k}^{j}}\left({x}_{i}\right)}\text{dist}\left({x}_{i},p\right)}{\displaystyle\sum\nolimits_{p\in {D_{k}^{j}}\left({x}_{i}\right)}\text{dist}\left({x}_{i},p\right)} $$

    式中：$ \text{dist}\left(\cdot \right) $表示欧氏距离；$ S_{k}^{j}\left({x}_{i}\right) $定义为样本$ x_{1} $在标签j上的同类k近邻集合；$ D_{k}^{j}\left({x}_{i}\right) $定义为样本$ {x}_{i} $在标签j上的异类k近邻集合；k为近邻数，默认取自然邻居特征值$ \lambda $， 若在标签j上，其内部少数类的样本数量小于$ s_{j}^{{g}_{j}} $，则取值为$ s_{j}^{{g}_{j}} $：

    $$ k=\text{arg min(}\lambda ,s_{j}^{{g}_{j}}) $$

    当$ R_{{x}_{i}}^{j} \lt \theta $时，判定$ {y}_{ij} $为噪声标签（$ {y}_{ij}\in {S}_{\text{noise}} $）。阈值$ \theta $与算法性能之间的关系将在实验部分3.6节进行详细讨论。

    局部不平衡和全局不平衡是多标签数据集学习面临的重要挑战[18]。在计算局部不平衡前，对任意少数类样本$ {x}_{i}\in X $，首先构建其近邻集合，优先采用自然邻居作为局部邻域，当自然邻居不存在时退化为$ \lambda $近邻，防止稀疏区域样本被忽略：

    $$ {N}_{\text{b}}\text{(}{x}_{i}\text{)}=\begin{cases} {N}_{\text{aN}}\left({x}_{i}\right),\;\;\;\left| {N}_{\text{aN}}\left({x}_{i}\right)\right| \neq 0\\ N_{\text{N}}^{\lambda }\left({x}_{i}\right),\;\;\;其他 \end{cases} $$ (2)

    式中：$ {N}_{\text{aN}}\left({x}_{i}\right) $为样本$ {x}_{i} $的自然邻居，$ \left| {N}_{\text{aN}}\left({x}_{i}\right)\right| $为自然邻居数量，$ N_{\text{N}}^{\lambda }\left({x}_{i}\right) $为样本$ {x}_{i} $的$ \lambda $近邻。针对每个标签j上的少数类样本$ {x}_{i} $，定义局部不平衡$ {L}_{ij} $为其近邻中异类样本占比：

    $$ {L}_{ij}=\begin{cases} \frac{\displaystyle\sum\nolimits_{{{x}_{m}}\in {{N}_{\text{b}}}\text{(}{{x}_{i}}\text{)}}\Delta \left({y}_{mj}\neq {y}_{ij}\right)}{\left| {N}_{\text{b}}\text{(}{x}_{i}\text{)}\right| },\;\;\;{y}_{ij}\notin {S}_{\text{noise}}\\ 0\text{，}其他 \end{cases} $$ (3)

    式中$ \Delta (\cdot ) $为指示函数，当样本标签不一致时取值为1，否则为0。此外，为了针对标签粒度的长尾分布问题，本研究引入全局不平衡率$ I $作为权重因子，为每个标签j赋予全局重要性系数$ {U}_{j} $，以增加对罕见标签的重视程度。为了抑制极端不平衡值的影响，做对数变换平滑数据：

    $$ \begin{array}{c} {U}_{j}=\text{ln}\left(1+{I}_{j}\right) \end{array} $$ (4)

    综合局部不平衡和全局不平衡特征，提出样本级权重计算方式。具体地，给定一个少数类样本$ {x}_{i} $，权重$ {w}_{i} $由局部不平衡和全局不平衡因子共同决定：

    $$ {w}_{i}=\sum\limits_{j=1}^{q}\frac{{L}_{ij}}{\displaystyle\sum\nolimits_{i=1}^{n}{L}_{ij}}\times {U}_{j} $$ (5)

    式中：$ q $为标签数量，$ n $为样本总数。对$ {L}_{ij} $归一化处理则是为了消除不同标签间局部不平衡的尺度差异。样本的权重$ {w}_{i} $越大，表明其学习困难程度越高。因此，在过采样过程中，依据权重$ {w}_{i} $采用轮盘赌法选择种子样本进行过采样。

    2.3   基于标签相似性的辅助样本选择机制

    自然邻域算法虽然能够捕获特征空间上相互邻近的样本，但是忽略了标签的关联性。然而选择特征空间邻近，但标签差异显著的样本进行插值时，易导致类别边界重叠问题。如图2所示，以样本$ {s}_{0} $为例，随机选择辅助样本策略允许其与存在类间差异的样本$ {s}_{3} $和$ {s}_{4} $进行合成，容易造成类别边界模糊问题。针对此不足，本研究提出基于标签相似性的辅助样本选择机制。不同于传统的随机选择策略，本文利用标签相似性在插值阶段实施动态空间范围约束，有效维护分类边界的清晰性。首先，计算样本$ {x}_{i} $和$ {x}_{j} $的标签Jaccard相似度$ J\left({x}_{i},{x}_{j}\right) $，即标签集合的交集与并集之比，其值越大，标签相似性越高：

    $$ \begin{array}{c} J\left({x}_{i},{x}_{j}\right)=\dfrac{{y}_{i}\cap {y}_{j}}{{y}_{i}\cup {y}_{j}} \end{array} $$ (6)

    具体步骤为，对选取的种子样本$ {x}_{i} $，计算其与邻居样本$ {x}_{j}\in {N}_{\text{b}}\left({x}_{i}\right) $的Jaccard相似度，优先选择相似度高的样本作为辅助样本$ {x}_{r} $。如图4(a)所示，当$ {x}_{1} $被选为种子样本时，其邻域中$ {x}_{2} $和$ {x}_{4} $因具有更高的标签相似度，优先被选为辅助样本，而$ {x}_{3} $则不会被选为辅助样本。然而，当标签集不同的近邻样本进行插值合成时，仍需施加范围约束以避免类别冲突。为此，本节设计动态插值范围调节函数$ \text{range(}\cdot \text{)} $：

    图  4  辅助样本选择过程示意
    Fig.  4  Sketch of auxiliary sample selection
    下载: 全尺寸图片
    $$ \text{range}\left({x}_{i},{x}_{r}\right)=J\left({x}_{i},{x}_{j}\right) $$ (7)

    在种子样本$ {x}_{i} $和辅助样本$ {x}_{r} $间进行线性插值：

    $$ \begin{array}{c} {x}_{\text{new}}={x}_{i}+\text{rand}\left(0,1\right)\times \text{range}\left({x}_{i},{x}_{r}\right)\times \left({x}_{r}-{x}_{i}\right) \end{array} $$ (8)

    如图4(b)所示，当$ {x}_{1} $为种子样本时，若选择$ {x}_{2} $作为辅助样本，则$ \text{range} $为1，而选择$ {x}_{5} $作为辅助样本时，则依据$ \text{range} $缩小范围从而有效缓解合成过程中可能引发的类重叠问题。

    2.4   基于数据引力的标签分配机制

    传统多标签采样方法普遍采用直接复制[13]或多数投票[22]的固定分配规则，导致标签分配僵化，严重制约了合成样本标签的可靠性。如图1所示，以样本$ {s}_{0} $为例，基于投票策略的传统标签分配方式，容易受多数类主导，使新样本A、B在合成过程中丢失少数类标签3，从而引发少数类分布偏移。为此，本研究创新性地将万有引力定律拓展至多标签空间，提出动态标签分配机制。算法通过构建数据引力场建模标签竞争过程：将每个样本视为携带标签质量参数的“引力源”，其质量大小由对应标签的全局和局部不平衡动态决定，空间引力效应则表征样本间的竞争强度。

    对于任意种子样本$ {x}_{s} $，计算其与合成样本$ {x}_{c} $在第 j个标签维度产生的引力场强度$ D\left({y}_{sj},{y}_{cj}\right) $：

    $$ D\left({y}_{sj},{y}_{cj}\right)=G\frac{m_{{x}_{s}}^{j}m_{{x}_{c}}^{j}}{\text{dist}{\left({x}_{s},{x}_{c}\right)}^{2}} $$

    式中$ m_{{x}_{s}}^{j} $和$ m_{{x}_{c}}^{j} $分别为样本$ {x}_{s} $和$ {x}_{c} $在第 j个标签上的“质量”。为了简化公式，将引力常数G设置为1。对于参与竞争的样本$ {x}_{i} $在第 j个标签上的“质量”$ m_{{x}_{i}}^{j} $的构建则充分考虑标签学习的难易程度，通过融合全局不平衡系数与局部不平衡系数进行动态加权保证少数类在标签分布的优势，而待分配标签样本的“质量”$ m_{{x}_{c}}^{j} $则假设为1(作为竞争中标准参考点)。为建立统一量化标准，对第 j个标签的全局不平衡系数进行归一化处理，其中$ k\in \{1,2,\cdots ,q\} $：

    $$ \begin{array}{c} {u}_{j}=\dfrac{{U}_{j}-\text{min}\left({U}_{k}\right)}{\text{max}\left({U}_{k}\right)-\text{min}\left({U}_{k}\right)} \end{array} $$ (9)

    启发于 EGDRNN(entropy and gravitation based dynamic radius nearest neighbor)[32]，$ m_{{x}_{i}}^{j} $对少数类样本采用复合权重增强，对多数类样本保持单位权重(权重为1，即不平衡系数均为0)，以防止多数类主导标签分配：

    $$ \begin{array}{c} m_{{x}_{i}}^{j}=\begin{cases} {\left({\text{e}}^{{{L}_{ij}}}\right)}^{2}\times {\left({\text{e}}^{{{u}_{j}}}\right)}^{2},\;\;\;\;{y}_{ij}={g}_{j}\\ 1,\;\;\;其他 \end{cases} \end{array} $$ (10)

    标签分配决策机制包含3个核心规则：首先，若种子样本标签$ {y}_{sj} $为噪声，直接继承辅助样本标签$ {y}_{cj} $以防止噪声扩散；其次，当种子样本$ {x}_{s} $与辅助样本$ {x}_{r} $在特定标签j上类别一致时，合成样本直接继承该标签类别$ {y}_{sj} $；最后，当两者标签的类别不同时(以$ {y}_{sj}={g}_{j} $(少数类)，$ {y}_{rj}={G}_{j} $(多数类)为例)，构建引力竞争方程进行判别：

    $$ \begin{array}{c} F\left({y}_{cj}\right)=G\dfrac{m_{{x}_{s}}^{j}m_{{x}_{c}}^{j}}{\text{dist}{\left({x}_{s},{x}_{c}\right)}^{2}}-G\dfrac{m_{{x}_{r}}^{j}m_{{x}_{c}}^{j}}{\text{dist}{\left({x}_{r},{x}_{c}\right)}^{2}}=\\ \dfrac{{\left({\text{e}}^{{{L}_{sj}}}\right)}^{2}\times {\left({\text{e}}^{{{u}_{j}}}\right)}^{2}}{\text{dist}{\left({x}_{s},{x}_{c}\right)}^{2}}-\dfrac{1}{\text{dist}{\left({x}_{r},{x}_{c}\right)}^{2}} \end{array} $$ (11)

    在特定标签j上，当$ F\left({y}_{cj}\right) \gt 0 $时，表明种子样本具有更强的引力优势，合成样本$ {x}_{c} $继承其标签$ {y}_{sj} $；反之则继承辅助样本的标签$ {y}_{rj} $。特别地，当种子样本标签$ {y}_{sj} $属于多数类(此时，辅助样本标签$ {y}_{rj} $为少数类)，通过样本角色交换强制少数类成为引力博弈的主动方，保证合成样本标签分配向少数类倾斜。如图5所示，以$ {x}_{0} $为种子样本，$ {c}_{*} $为合成样本，投票策略将标签[1,0,0]分配给所有的合成样本，而引力竞争策略则通过样本的“质量”和空间位置动态分配标签，例如$ {c}_{1} $分配标签为[1,0,1]，而$ {c}_{2} $则为[1,0,0]。

    图  5  标签分配策略示意
    Fig.  5  Sketch of label assignment strategy
    下载: 全尺寸图片

    图6(a)是一个包含3个标签(5个类别)的人工数据集。图6(b)~(f)可视化了MLROS、MLSMOTE、MLSOL、MLONC和MLNNDG(multi-label oversampling with natural neighborhood and data gravity)5种过采样方法的采样效果对比。相较于MLROS、MLSMOTE和MLONC方法，MLSOL和MLNNDG方法均表现出对决策边界区域的重点关注，能够有效合成具有较高学习难度的样本。然而，MLSOL采用的固定近邻选择策略和刚性标签分配机制，虽然在边界区域增加了样本密度，但容易引发类重叠现象，甚至在部分边界区域标签分布混乱。相比之下，MLNNDG方法通过自适应邻域搜索策略动态调整近邻范围，在优化样本生成位置的同时降低跨类别样本干扰；基于数据引力的标签分配机制，既保证样本标签集分配的合理性，又通过范围控制有效维护了类别边界的可区分性。

    图  6  在二维数据集上的对比实验结果示意
    Fig.  6  Sketch of comparative experimental results on 2D datasets
    下载: 全尺寸图片

    MLNNDG的伪代码如算法2所示。

    算法2　基于自然邻居和数据引力的多标签不平衡数据过采样方法(MLNNDG)

    输入　数据集$ X $，过采样比例$ p $，邻域$ {N}_{\text{aN}}(X) $。

    输出　过采样后数据集$ {X}_{1} $。

    1) $ {X}_{1}\leftarrow X $，合成数量$ n\leftarrow |X|\times p $；

    2)对标签j上$ \forall {x}_{i}\in X $，判断是否$ {y}_{ij}\in {S}_{\text{noise}} $；

    3)对$ \forall {x}_{i}\in X $，根据式(2)找到$ {x}_{i} $的邻域$ NN({x}_{i}) $；

    4)对$ \forall {x}_{i}\in X $，根据式(3)~(5)计算的选择权重$ {w}_{i} $；

    5) While $ n \gt 0 $ do

    6) 　基于权重选择种子实例($ {x}_{s} $,$ {y}_{s} $)；

    7) 　根据式(6)选择辅助样本($ {x}_{r} $,$ {y}_{r} $)；

    8) 　根据式(7)和式(8)完成种子样本$ {x}_{s} $和辅助样本间线性插值得到$ {x}_{c} $；

    9) 　for $ j=1\rightarrow q $ do

    10) 　　switch ($ {y}_{sj} $的状态)：

    11) 　　case $ {y}_{sj}\in {S}_{\text{noise}} $：

    12) 　　　$ {y}_{cj}\leftarrow {y}_{rj} $；

    13) 　　case $ {y}_{sj}={y}_{rj} $：

    14) 　　　$ {y}_{cj}\leftarrow {y}_{sj} $；

    15) 　　case $ {y}_{sj}={g}_{j} $：

    16) 　　　交换$ {x}_{s} $和$ {x}_{r} $的索引；

    17) 　　式(9)~(11)计算方程$ F\left({y}_{cj}\right) $；

    18) 　　$ {y}_{cj}\leftarrow (F({y}_{cj}) \gt 0)\;?\;{y}_{sj}\;\colon\; {y}_{rj} $；

    19) 　　End for

    20) 　　$ {X}_{1}\leftarrow {X}_{1}\cup ({x}_{c},{y}_{c}) $；

    21) 　　$ n\leftarrow n-1 $；

    22)End While

    2.5   时间复杂度分析

    MLNNDG算法的整体时间复杂度由算法1和算法2共同决定。根据文献[20]分析，算法1的时间复杂度为$ O(\lambda \times |X|\times \log |X|) $，其中$ \lambda $表示自然邻居特征值。算法2的时间复杂度主要来源于3个关键步骤：噪声识别、权重计算和样本合成。具体而言，相对密度噪声识别的时间复杂度为$ O(|X{|}^{2}\times q) $；权重计算阶段的时间复杂度为$ O(|X|\times q) $；样本合成过程包括辅助样本选择和标签分配两个子步骤，其时间复杂度分别为$ O(|X|\times p) $和$ O(|X|\times p\times q) $。综合上述分析，MLNNDG算法的总体时间复杂度可近似估计为$ O(\lambda \times |X|\times \log |X|+|X{|}^{2}\times q+|X|\times p\times q) $。

    3.   实验设置

    3.1   数据集描述

    为验证所提方法的有效性，本文从图像、音频、文本等领域选取了14个公开的多标签数据集(https://cometa.ujaen.es/)，其详细信息如表2所列。其中， n表示样本数量，d表示特征维数，q表示标签数量，Card是每个样本的平均标签数，Dens为基数与标签数量的比值，MeanIR为最大标签数量与各标签数量比率的平均值，MeanImR为每个标签下正负类样本数量比率的平均值，Scumble则反映了每个样本中多数类和少数类标签的共现程度。从表2可以看出，所选数据集在各项指标上均存在显著差异，且均表现出不同程度的不平衡特性。此外，为保证实验的可比性，本文参照MLONC[28]的方法对数据集进行了统一的预处理。

    表  2  多标签部分数据集描述
    Table  2  Description of multi-label partial datasets
    数据集 代称 领域 n d q Card Dens MeanIR MeanImR Scumble
    GnegativeGo D1 biology 1392 1725 8 1.0460 0.1307 18.4476 45.1000 0.0096
    GnegativePseAAC D2 biology 1392 448 8 1.0460 0.1307 18.4476 45.1000 0.0096
    GpositivePseAAC D3 biology 519 444 4 1.0077 0.2519 3.8605 8.0030 0.0010
    cal500 D4 music 502 242 174 26.0438 0.1497 20.5778 22.3400 0.3372
    emotions D5 music 593 78 6 1.8685 0.3114 1.4781 2.3200 0.0110
    foodtruck D6 recommend 407 33 12 2.2899 0.1908 7.0945 8.9750 0.1035
    water-quality D7 chemistry 1060 16 12 5.0730 0.3620 1.7670 2.1050 0.4730
    enron D8 text 1702 1054 53 3.3784 0.0637 73.9528 136.9000 0.3028
    medical D9 text 978 1494 45 1.2454 0.0277 89.5014 328.1000 0.0471
    flags D10 images 194 26 7 3.3918 0.4845 2.2547 2.7530 0.0606
    yeast D11 biology 2417 117 14 4.2371 0.3026 7.1968 8.9540 0.1044
    stackex_coffee D12 text 225 1886 123 1.9867 0.0162 27.2415 144.9000 0.1691
    VirusGo D13 biology 207 749 6 1.2174 0.2029 4.0412 8.6150 0.0079
    VirusPseAAC D14 biology 207 446 6 1.2174 0.2029 4.0412 8.6150 0.0079

    3.2   评价指标

    在多标签分类性能评估指标中，Macro-average 通过计算所有标签性能指标的平均值，赋予每个标签相同的权重，而不考虑各标签样本数量差异。这一特性使其特别适用于多标签不平衡学习场景的性能评估。在类别不平衡问题中，F1(F1 score)、AUC(area under the curve)、AUCPR(area under the precision-recall curve)是最常见的评价指标[18,28]。因此，本研究选取了Macro-F1、Macro-AUC和Macro-AUCPR这3个性能指标来评估方法的分类性能，指标值越高表明分类性能越优。

    1)F1是精确率和召回率的调和平均值，Macro-F1则由各标签的F1值取平均得到：

    $$ {M}_{{{\text{acroF}}_{\text{1}}}}=\frac{1}{q}\displaystyle\sum\limits_{i=1}^{q}F_{1}^{i} $$

    2)AUC是ROC曲线下的面积，ROC曲线以真阳性率为纵轴，假阳性率为横轴绘制而成。Macro-AUC则由各标签的AUC值取平均得到：

    $$ {M}_{\text{acroAUC}}=\frac{1}{q}\displaystyle\sum\limits_{i=1}^{q}A_{\text{UC}}^{i} $$

    3)AUCPR是PR曲线下的面积，PR曲线展示了模型在不同阈值下的精确率和召回率变化关系。Macro-AUCPR则由各标签的AUCPR值取平均得到：

    $$ {M}_{\text{acroAUCPR}}=\frac{1}{q}\displaystyle\sum\limits_{i=1}^{q}A_{\text{UCPR}}^{i} $$

    3.3   实验设置

    所有实验均通过2次5折交叉验证进行，并报告平均结果。所选用的8种对比方法包括2种欠采样方法MLRUS[13]和MLTL[25]，4种过采样方法MLROS[13]、MLSMOTE[22]、MLSOL[18]和MLONC[28]，1种混合采样方法RHwRSMT[30]以及不进行任何采样的方法DEFAULT。除此之外，本文还考虑了6种不同的分类器，分别是BR(binary relevance)[33]、 CC(classifier chains)[34]、 MLKNN(multi-label K-nearest neighbors)[35]、CLR(calibrated label ranking)[36]、HOMER(hierarchy of multilabel classifiers)[37]和ECC(ensembles of classifier chains)[34]。对比方法和分类器的参数设置均采用原文默认设置，此处不作赘述。

    3.4   实验结果对比与分析

    本节将提出的MLNNDG与其他8种对比方法在3种评价指标上进行比较。表3~5给出了MLNNDG与对比方法在ECC分类器上Macro-F1、Macro-AUC和Macro-AUCPR详细结果，其中最优值用粗体突出显示，次优值则用下划线显示。表格的最后两行分别统计了各方法在所有数据集上的性能均值及其平均排名。实验结果表明，本文提出的MLNNDG方法在平均值和平均排名上优于所有对比方法。此外，在14个数据集的性能指标评估中，所提方法在Macro-F1(7项最优，3项次优)、Macro-AUC(6项最优，4项次优)和Macro-AUCPR(5项最优，4项次优)，共计获得29项最优或次优性能表现。需要指出的是，MLNNDG在部分数据集(如D3、D10等)上的Macro-AUC和Macro-AUCPR效果性能不佳。本文认为，这源于算法为降低重叠风险而赋予相对安全样本更高权重的选择策略，该策略在少数类样本稀疏的场景中，可能限制了对其增强的幅度，进而影响了侧重正例识别的指标。表6则给出了各算法在BR、CC、MLKNN、CLR、HOMER和ECC分类器上取得的性能均值，其中最优值用粗体突出显示。可观察到，MLNNDG在6个分类器上的3种评价指标的均值都为最高。

    表  3  MLNNDG与所有对比方法在ECC上的Macro-F1
    Table  3  Comparison of Macro-F1 between MLNNDG and competing methods on ECC
    数据集 DEFAULT MLROS MLRUS MLSMOTE MLTL RHwRSMT MLSOL MLONC MLNNDG
    D10.83370.83580.82860.85510.82920.81670.84110.84000.8511
    D20.33380.32150.31960.33740.31160.29100.36750.34670.4045
    D30.46760.46840.49030.49730.51690.47680.48780.47560.4953
    D40.10990.12200.11040.11600.12790.00990.13680.13460.1381
    D50.67000.64600.64780.66860.67090.47430.67380.67360.6708
    D60.16680.17070.15340.19420.12650.05280.22670.21840.2115
    D70.49860.53310.48990.57450.49960.17330.56230.55160.5596
    D80.12530.16130.12770.14860.11310.04510.17310.19080.2182
    D90.51750.55660.53190.54520.46970.47300.56180.53920.6024
    D100.65070.68070.66920.66700.66520.41950.69060.68770.7120
    D110.40120.40500.39090.40830.39680.26000.43270.40410.4281
    D120.24160.27730.26280.32630.04010.08330.30960.35140.3650
    D130.86830.87690.89490.88160.88880.66370.90920.89240.9071
    D140.35080.37680.35260.39790.33170.28450.38170.37880.3994
    平均值0.44540.45940.44790.47270.42770.32310.48250.47750.4974
    平均排名6.875.276.273.806.538.672.273.531.80
    注：加粗代表最优结果，横线代表次优结果。
    表  4  MLNNDG与所有对比方法在ECC上的Macro-AUC
    Table  4  Comparison of Macro-AUC between MLNNDG and competing methods on ECC
    数据集 DEFAULT MLROS MLRUS MLSMOTE MLTL RHwRSMT MLSOL MLONC MLNNDG
    D10.83290.84150.82820.86370.83460.83690.85770.85200.8798
    D20.37960.41430.38870.38870.36360.42560.40410.43360.4429
    D30.54590.53310.53110.58040.57340.53150.54370.53980.5662
    D40.19280.19910.19330.19520.19650.17610.19930.20120.2042
    D50.69250.67930.68120.68610.69310.63040.68880.69680.6868
    D60.26440.27750.24720.28570.23400.21670.28760.28890.2982
    D70.54330.55150.54070.53350.54340.48440.54790.54960.5500
    D80.15630.20280.15370.18370.13540.11730.18800.21630.2293
    D90.55840.58320.55820.59160.51890.54910.58020.60050.5984
    D100.71170.70050.70080.69010.69600.66960.70950.71600.7154
    D110.44690.45140.44520.44680.44740.40610.45190.44620.4494
    D120.45060.47870.42650.48690.07740.27630.47060.50630.4741
    D130.89420.89400.88700.90210.87540.91180.92800.91400.9210
    D140.45060.47110.44960.47650.42570.33770.47790.47460.4691
    平均值0.50860.51990.50220.52220.47250.46930.52390.53110.5346
    平均排名5.804.537.204.536.677.873.402.672.27
    注：加粗代表最优结果，横线代表次优结果。
    表  5  MLNNDG与所有对比方法在ECC上的Macro-AUCPR
    Table  5  Comparison of Macro-AUCPR between MLNNDG and competing methods on ECC
    数据集 DEFAULT MLROS MLRUS MLSMOTE MLTL RHwRSMT MLSOL MLONC MLNNDG
    D10.83290.84150.82820.86370.83460.83690.85770.85200.8798
    D20.37960.41430.38870.38870.36360.42560.40410.43360.4429
    D30.54590.53310.53110.58040.57340.53150.54370.53980.5662
    D40.19280.19910.19330.19520.19650.17610.19930.20120.2042
    D50.69250.67930.68120.68610.69310.63040.68880.69680.6868
    D60.26440.27750.24720.28570.23400.21670.28760.28890.2982
    D70.54330.55150.54070.53350.54340.48440.54790.54960.5500
    D80.15630.20280.15370.18370.13540.11730.18800.21630.2293
    D90.55840.58320.55820.59160.51890.54910.58020.60050.5984
    D100.71170.70050.70080.69010.69600.66960.70950.71600.7154
    D110.44690.45140.44520.44680.44740.40610.45190.44620.4494
    D120.45060.47870.42650.48690.07740.27630.47060.50630.4741
    D130.89420.89400.88700.90210.87540.91180.92800.91400.9210
    D140.45060.47110.44960.47650.42570.33770.47790.47460.4691
    平均值0.50860.51990.50220.52220.47250.46930.52390.53110.5346
    平均排名5.804.537.204.536.677.873.402.672.27
    注：加粗代表最优结果，横线代表次优结果。
    表  6  MLNNDG与对比方法在6种分类器上的性能指标均值
    Table  6  Mean performance metrics of MLNNDG and competing methods on six classifiers
    分类器 性能指标 DEFAULT MLROS MLRUS MLSMOTE MLTL RHwRSMT MLSOL MLONC MLNNDG
    Macro-F1 0.4355 0.4536 0.4337 0.4610 0.4092 0.3061 0.4663 0.4695 0.4808
    BR Macro-AUC 0.6674 0.6703 0.6669 0.6723 0.6463 0.6370 0.6833 0.6804 0.6863
    Macro-AUCPR 0.4237 0.4292 0.4196 0.4338 0.3949 0.3852 0.4381 0.4402 0.4432
    Macro-F1 0.4425 0.4567 0.4362 0.4639 0.4167 0.3254 0.4634 0.4662 0.4787
    CC Macro-AUC 0.6650 0.6712 0.6664 0.6716 0.6487 0.6260 0.6833 0.6748 0.6873
    Macro-AUCPR 0.4225 0.4303 0.4207 0.4338 0.3951 0.3807 0.4370 0.4354 0.4411
    Macro-F1 0.3475 0.3919 0.3421 0.4079 0.3499 0.2467 0.4299 0.4202 0.4394
    MLKNN Macro-AUC 0.7278 0.7306 0.7276 0.7325 0.7117 0.7138 0.7363 0.7360 0.7407
    Macro-AUCPR 0.4715 0.4798 0.4697 0.4855 0.4520 0.4556 0.4852 0.4851 0.4941
    Macro-F1 0.4431 0.4556 0.4352 0.4619 0.4068 0.3138 0.4696 0.4702 0.4821
    CLR Macro-AUC 0.7558 0.7580 0.7544 0.7603 0.7168 0.7420 0.7646 0.7644 0.7705
    Macro-AUCPR 0.5097 0.5138 0.5038 0.5150 0.4577 0.5085 0.5160 0.5203 0.5233
    Macro-F1 0.4419 0.4502 0.4403 0.4515 0.4146 0.3944 0.4624 0.4632 0.4665
    HOMER Macro-AUC 0.6485 0.6572 0.6591 0.6547 0.6418 0.6416 0.6647 0.6674 0.6734
    Macro-AUCPR 0.4111 0.4168 0.4133 0.4165 0.3916 0.4112 0.4246 0.4260 0.4288
    Macro-F1 0.4454 0.4594 0.4479 0.4727 0.4277 0.3231 0.4825 0.4775 0.4974
    ECC Macro-AUC 0.7393 0.7443 0.7387 0.7486 0.7124 0.6965 0.7554 0.7591 0.7622
    Macro-AUCPR 0.5086 0.5199 0.5022 0.5222 0.4725 0.4693 0.5239 0.5311 0.5346
    注：加粗代表最优结果。

    为了更清晰地观察不同方法的最优和次优结果的差距，遵循于MLCIO(a novel ensemble oversampling approach based Chebyshev inequality for imbalanced multi-label data)[38]中的实验方法，将最佳结果的权重设置为1，次优结果的权重设置为0.7，以验证各实验方法的性能，例如表7中MLNNDG在Macro-F1上计算结果：58.5=41×1+25×0.7。表7给出了各方法的排名权重以及最优/次优个数对比，可以看出：本方法在所有评估指标上均表现最佳，无论是最优和次优结果数量还是权重都是最高的。

    表  7  各采样方法排名权重和最优/次优个数对比
    Table  7  Comparison of ranking weights and best/second-best counts across sampling methods
    指标 DEFAULT MLROS MLRUS MLSMOTE MLTL RHwRSMT MLSOL MLONC MLNNDG
    Macro-F1 0.7 (0/1) 5.2 (1/6) 0.0 (0/0) 15.3 (9/9) 1.0 (1/0) 2.0 (2/0) 29.6 (17/18) 30.5 (13/25) 58.5 (41/25)
    Macro-AUC 4.1 (2/3) 4.1 (2/3) 3.1 (1/3) 14.0 (7/10) 2.4 (1/2) 7.5 (4/5) 30.6 (18/18) 25.7 (11/21) 53.4 (38/22)
    Macro-AUCPR 2.7 (2/1) 5.1 (1/6) 3.4 (2/2) 17.0 (10/10) 4.5 (1/5) 13.0 (13/0) 25.1 (16/13) 32.1 (16/23) 41.8 (25/24)
    注：加粗代表最优结果。

    为进一步对比算法的性能，本文将8种对比算法分别与MLNNDG在不同分类器上进行了Wilcoxon符号秩检验，显著性水平选取为0.05。表8给出每种方法的平均排名，以及与其他方法对比，在3个评估指标上的显著胜/负次数。实验结果表明，MLNNDG在所有评价指标中均取得最高平均排名，并且对比其他算法，本算法获得了最多统计显著优势且未出现统计显著劣化现象。

    表  8  各采样方法排名以及成对Wilcoxon符号秩检验显著胜/负次数
    Table  8  Rankings of sampling methods and number of significant wins/losses in pairwise Wilcoxon Signed-Rank tests
    指标 分类器 DEFAULT MLROS MLRUS MLSMOTE MLTL RHwRSMT MLSOL MLONC MLNNDG
    BR 6.47(1/5) 4.60(4/3) 7.07(1/5) 4.00(4/1) 7.47(1/6) 8.20(0/8) 2.93(5/1) 2.73(5/1) 1.40(8/0)
    CC 5.93(2/5) 4.20(4/1) 6.73(1/5) 3.60(4/1) 7.33(1/6) 8.93(0/8) 3.47(4/1) 3.07(4/1) 1.60(8/0)
    Macro-F1 MLKNN 6.67(1/5) 4.67(4/3) 7.33(1/5) 3.93(4/2) 6.80(1/5) 8.27(0/8) 2.33(6/0) 2.93(5/0) 2.07(6/0)
    CLR 6.40(2/5) 4.73(4/3) 6.87(1/5) 4.20(4/1) 7.40(1/6) 7.87(0/8) 2.87(5/0) 2.80(5/1) 1.80(7/0)
    HOMER 6.20(1/3) 5.13(3/3) 6.27(1/4) 4.40(2/1) 7.13(0/5) 7.80(0/7) 3.07(5/0) 2.80(5/0) 2.13(6/0)
    ECCRU 6.87(1/5) 5.27(3/4) 6.27(1/5) 3.80(5/2) 6.53(1/4) 8.67(0/8) 2.27(6/0) 3.53(5/1) 1.80(7/0)
    平均(总和) 6.42(8/28) 4.77(22/17) 6.76(6/29) 3.99(23/8) 7.11(5/32) 8.29(0/47) 2.82(31/2) 2.98(29/4) 1.80(42/0)
    BR 6.00(2/3) 5.33(2/3) 5.80(2/3) 4.60(2/2) 7.47(0/7) 7.40(0/7) 2.87(6/0) 3.73(5/1) 1.67(7/0)
    CC 6.00(2/5) 4.73(3/2) 5.87(1/2) 4.53(3/2) 7.53(0/6) 7.40(0/7) 2.47(6/0) 4.27(3/1) 1.87(7/0)
    Macro-AUC MLKNN 5.07(1/1) 5.20(2/1) 5.93(1/2) 4.13(2/1) 7.27(0/7) 7.00(0/4) 4.07(2/0) 3.47(3/0) 2.60(6/0)
    CLR 5.40(1/3) 4.73(2/2) 5.80(1/3) 5.13(1/1) 8.00(0/7) 6.53(0/4) 3.60(4/0) 3.20(5/0) 2.40(6/0)
    HOMER 6.53(0/5) 5.13(3/2) 4.93(2/3) 5.33(0/2) 6.80(0/4) 7.20(0/5) 3.60(4/0) 3.13(6/0) 2.20(6/0)
    ECCRU 6.00(2/3) 5.53(2/3) 6.27(2/3) 4.87(2/3) 7.27(0/7) 8.13(0/7) 2.80(6/0) 2.27(6/0) 1.87(6/0)
    平均(总和) 5.83(8/20) 5.11(14/13) 5.77(9/16) 4.77(10/11) 7.39(0/38) 7.28(0/34) 3.24(28/0) 3.35(28/2) 2.10(38/0)
    BR 6.00(2/4) 5.07(4/3) 6.60(0/5) 4.33(3/0) 7.27(0/6) 7.20(0/6) 3.13(5/0) 2.73(5/0) 2.53(5/0)
    CC 6.13(2/4) 4.47(4/1) 6.13(2/5) 4.00(4/0) 7.80(0/7) 6.87(0/7) 3.20(4/0) 3.93(3/0) 2.33(5/0)
    Macro-AUCPR MLKNN 5.13(2/1) 5.07(2/1) 6.00(0/3) 4.67(3/1) 6.93(0/6) 7.60(0/6) 3.80(2/0) 3.13(3/0) 2.40(6/0)
    CLR 6.07(1/3) 5.00(1/2) 6.40(0/3) 4.93(1/0) 7.40(0/6) 5.33(0/0) 3.93(3/0) 3.07(4/0) 2.73(4/0)
    HOMER 6.07(0/3) 4.53(1/2) 5.60(0/3) 5.00(1/1) 7.53(0/5) 6.67(0/1) 4.00(3/0) 3.27(4/0) 2.20(6/0)
    ECCRU 5.80(2/4) 4.53(3/2) 7.20(1/6) 4.53(4/1) 6.67(0/5) 7.87(0/7) 3.40(4/1) 2.67(5/0) 2.27(7/0)
    平均(总和) 5.87(9/19) 4.78(15/11) 6.32(3/25) 4.58(16/3) 7.27(0/35) 6.92(0/27) 3.58(21/0) 3.13(14/0) 2.40(33/0)
    注：加粗代表最优结果，$ ({n}_{1}/{n}_{2}) $表示显著性检验中获得的胜/负次数。

    3.5   消融实验

    本文所提方法包含3个模块：自然邻域算法提取局部信息，基于标签相似性选择辅助样本和基于数据引力模型分配标签。为验证每个模块的有效性，进行了消融实验，主要涉及以下方法。

    A：基准方法(不进行过采样处理)。

    B：不使用自然邻域，使用KNN($ k=5 $)捕捉局部信息。

    C：不考虑相似性，随机选择辅助样本进行合成。

    D：不使用引力模型，采用投票策略分配标签。

    E：完整方法(MLNNDG)。

    表9给出了各方法在6个基分类器和14个数据集上Macro-F1、Macro-AUC、Macro-AUCPR的平均排名。实验结果表明，完整方法E在所有评估指标上均取得最优排名，这充分证明了MLNNDG通过合理的模块整合，有效发挥了每个模块的优势。具体而言，方法B与E的实验结果对比表明，自然邻域算法相比于固定近邻值的KNN方法，能够自适应搜索邻域，从而更准确地捕捉局部信息。同时，E在所有指标上的均优于C和D的结果，这一结果有利证实了本文所提出的基于标签相似性的辅助样本选择机制和基于引力模型的标签分配策略的有效性。

    表  9  消融实验结果平均排名对比
    Table  9  Average ranking comparison of ablation study results
    指标 A B C D E
    Macro-F1 4.75 2.93 2.08 3.18 2.05
    Macro-AUC 4.29 2.93 2.45 3.09 2.14
    Macro-AUCPR 4.34 2.68 2.69 2.99 2.26
    注：加粗代表最优结果。

    3.6   参数分析

    本节主要研究MLNNDG算法中过采样率$ p $和噪声识别阈值$ \theta $对模型性能的影响。实验选用性能表现最佳的ECC分类器进一步详细探讨参数敏感性。在14个数据集上，通过Macro-AUC指标评估参数敏感性，设置过采样率$ p\in \{0.1,0.3, 0.5,0.7,0.9\} $以控制少数类样本的生成规模；噪声识别阈值$ \theta $则依据噪声的相对密度分布特征[31] (噪声样本的相对密度远低于平均值)，设置为$ \theta =\mu - k\sigma $(其中$ \mu $、$ \sigma $表示少数类相对密度的均值和标准差，$ k\in \{1,2,3\} $)。

    表10列出了不同采样比($ p $)和不同噪声阈值($ \theta $)下的Macro-AUC性能结果，随着$ p $的增大，MLNNDG的性能逐渐上升，表明适度地过采样能够有效缓解类不平衡问题。然而，当$ p=0.9 $时，大多数数据集上的模型性能开始下降，这可能是由于过度合成样本导致类分布扭曲，从而损害了分类性能，而具体数据集最佳采样比存在差异。另一方面，当$ \theta =\mu -3\sigma $时，算法在14个数据集上的Macro-AUC达到最优，验证了其对噪声样本的有效筛选。综合来看，当$ \theta =\mu -3\sigma $，$ p=0.7 $时，相应的Macro-AUC最高。

    表  10  不同采样比($ p $)/噪声阈值($ \theta $)对Macro-AUC性能指标的影响
    Table  10  Impact of sampling ratio ($ p $) / noise threshold ($ \theta $) on Macro-AUC
    数据集 p θ
    0.1 0.3 0.5 0.7 0.9 μ – 3σ μ – 2σ μ – σ
    D1 0.9507 0.9501 0.9497 0.9453 0.9567 0.9567 0.9504 0.9420
    D2 0.7923 0.7986 0.8173 0.8175 0.8273 0.8273 0.8219 0.8269
    D3 0.7412 0.7640 0.7784 0.7652 0.7427 0.7784 0.7779 0.7869
    D4 0.5376 0.5415 0.5430 0.5325 0.5393 0.5430 0.5433 0.5436
    D5 0.8365 0.8288 0.8210 0.8310 0.8411 0.8411 0.8305 0.8356
    D6 0.5524 0.5772 0.5833 0.5960 0.5746 0.5960 0.5948 0.5895
    D7 0.7099 0.7103 0.7099 0.7078 0.7091 0.7103 0.7118 0.7165
    D8 0.6084 0.6301 0.6403 0.6524 0.6454 0.6524 0.6422 0.6484
    D9 0.8365 0.8613 0.8756 0.8795 0.8708 0.8795 0.8726 0.8625
    D10 0.7274 0.7507 0.7499 0.7436 0.7400 0.7507 0.7429 0.7492
    D11 0.6590 0.6579 0.6576 0.6646 0.6605 0.6646 0.6717 0.6625
    D12 0.7707 0.7714 0.7818 0.7898 0.7766 0.7898 0.7887 0.6533
    D13 0.9669 0.9738 0.9718 0.9704 0.9694 0.9738 0.9742 0.9717
    D14 0.6839 0.6704 0.6870 0.7068 0.7048 0.7068 0.7001 0.6992
    平均值 0.7410 0.7490 0.7548 0.7573 0.7542 0.7622 0.7588 0.7491
    注：加粗代表最优结果。

    4.   结束语

    针对多标签数据集中的类不平衡问题，本文提出了一种基于自然邻域和数据引力的过采样方法(MLNNDG)。通过借助自然邻域捕获的局部信息，继而在决策边界附近合成低频标签来增强少数类样本的可见性，并引入标签相似性和数据引力模型来灵活分配标签，从而获得更可靠的标签信息。在14个多标签不平衡数据集上的对比实验表明，MLNNDG显著提高了分类模型在Macro-F1、Macro-AUC和Macro-AUCPR上的性能。在未来工作中，如何拓展思路以应对更复杂的挑战值得深入研究，如将自然邻域算法拓展至动态流数据环境，以处理标签分布随时间演变的不平衡问题等。

  • 图  1   MLNNDG算法的框架

    Fig.  1   Framework of the proposed MLNNDG

    下载: 全尺寸图片

    图  2   多标签局部问题示意

    Fig.  2   Sketch of multi-label local problem

    下载: 全尺寸图片

    图  3   自然邻域搜索过程示意

    Fig.  3   Sketch of natural neighborhood search process

    下载: 全尺寸图片

    图  4   辅助样本选择过程示意

    Fig.  4   Sketch of auxiliary sample selection

    下载: 全尺寸图片

    图  5   标签分配策略示意

    Fig.  5   Sketch of label assignment strategy

    下载: 全尺寸图片

    图  6   在二维数据集上的对比实验结果示意

    Fig.  6   Sketch of comparative experimental results on 2D datasets

    下载: 全尺寸图片

    表  1   变量描述

    Table  1   Description of variable

    变量描述变量描述
    X多标签数据集$ N_{\text{N}}^{r}({x}_{i}) $样本$ {x}_{i} $的r近邻集合
    q标签总数λ自然特征值
    n样本数量r迭代搜索轮次
    I标签内部不平衡比例$ {N}_{\text{aN}}({x}_{i}) $样本$ {x}_{i} $的自然邻居集合
    $ s_{j}^{b} $标签j中类别b的实例数量$ {n}_{\text{b}}({x}_{i}) $样本$ {x}_{i} $的近邻数量
    $ {G}_{j} $标签j内部的多数类$ \text{dist}\left(\cdot \right) $样本间欧氏距离
    $ {g}_{j} $标签j内部的少数类$ S_{k}^{j}\left({x}_{i}\right) $样本$ {x}_{i} $在标签j上同类k近邻集合
    $ {S}_{\text{noise}} $噪声集合$ D_{k}^{j}\left({x}_{i}\right) $样本$ {x}_{i} $在标签j上异类k近邻集合

    表  2   多标签部分数据集描述

    Table  2   Description of multi-label partial datasets

    数据集 代称 领域 n d q Card Dens MeanIR MeanImR Scumble
    GnegativeGo D1 biology 1392 1725 8 1.0460 0.1307 18.4476 45.1000 0.0096
    GnegativePseAAC D2 biology 1392 448 8 1.0460 0.1307 18.4476 45.1000 0.0096
    GpositivePseAAC D3 biology 519 444 4 1.0077 0.2519 3.8605 8.0030 0.0010
    cal500 D4 music 502 242 174 26.0438 0.1497 20.5778 22.3400 0.3372
    emotions D5 music 593 78 6 1.8685 0.3114 1.4781 2.3200 0.0110
    foodtruck D6 recommend 407 33 12 2.2899 0.1908 7.0945 8.9750 0.1035
    water-quality D7 chemistry 1060 16 12 5.0730 0.3620 1.7670 2.1050 0.4730
    enron D8 text 1702 1054 53 3.3784 0.0637 73.9528 136.9000 0.3028
    medical D9 text 978 1494 45 1.2454 0.0277 89.5014 328.1000 0.0471
    flags D10 images 194 26 7 3.3918 0.4845 2.2547 2.7530 0.0606
    yeast D11 biology 2417 117 14 4.2371 0.3026 7.1968 8.9540 0.1044
    stackex_coffee D12 text 225 1886 123 1.9867 0.0162 27.2415 144.9000 0.1691
    VirusGo D13 biology 207 749 6 1.2174 0.2029 4.0412 8.6150 0.0079
    VirusPseAAC D14 biology 207 446 6 1.2174 0.2029 4.0412 8.6150 0.0079

    表  3   MLNNDG与所有对比方法在ECC上的Macro-F1

    Table  3   Comparison of Macro-F1 between MLNNDG and competing methods on ECC

    数据集 DEFAULT MLROS MLRUS MLSMOTE MLTL RHwRSMT MLSOL MLONC MLNNDG
    D10.83370.83580.82860.85510.82920.81670.84110.84000.8511
    D20.33380.32150.31960.33740.31160.29100.36750.34670.4045
    D30.46760.46840.49030.49730.51690.47680.48780.47560.4953
    D40.10990.12200.11040.11600.12790.00990.13680.13460.1381
    D50.67000.64600.64780.66860.67090.47430.67380.67360.6708
    D60.16680.17070.15340.19420.12650.05280.22670.21840.2115
    D70.49860.53310.48990.57450.49960.17330.56230.55160.5596
    D80.12530.16130.12770.14860.11310.04510.17310.19080.2182
    D90.51750.55660.53190.54520.46970.47300.56180.53920.6024
    D100.65070.68070.66920.66700.66520.41950.69060.68770.7120
    D110.40120.40500.39090.40830.39680.26000.43270.40410.4281
    D120.24160.27730.26280.32630.04010.08330.30960.35140.3650
    D130.86830.87690.89490.88160.88880.66370.90920.89240.9071
    D140.35080.37680.35260.39790.33170.28450.38170.37880.3994
    平均值0.44540.45940.44790.47270.42770.32310.48250.47750.4974
    平均排名6.875.276.273.806.538.672.273.531.80
    注：加粗代表最优结果，横线代表次优结果。

    表  4   MLNNDG与所有对比方法在ECC上的Macro-AUC

    Table  4   Comparison of Macro-AUC between MLNNDG and competing methods on ECC

    数据集 DEFAULT MLROS MLRUS MLSMOTE MLTL RHwRSMT MLSOL MLONC MLNNDG
    D10.83290.84150.82820.86370.83460.83690.85770.85200.8798
    D20.37960.41430.38870.38870.36360.42560.40410.43360.4429
    D30.54590.53310.53110.58040.57340.53150.54370.53980.5662
    D40.19280.19910.19330.19520.19650.17610.19930.20120.2042
    D50.69250.67930.68120.68610.69310.63040.68880.69680.6868
    D60.26440.27750.24720.28570.23400.21670.28760.28890.2982
    D70.54330.55150.54070.53350.54340.48440.54790.54960.5500
    D80.15630.20280.15370.18370.13540.11730.18800.21630.2293
    D90.55840.58320.55820.59160.51890.54910.58020.60050.5984
    D100.71170.70050.70080.69010.69600.66960.70950.71600.7154
    D110.44690.45140.44520.44680.44740.40610.45190.44620.4494
    D120.45060.47870.42650.48690.07740.27630.47060.50630.4741
    D130.89420.89400.88700.90210.87540.91180.92800.91400.9210
    D140.45060.47110.44960.47650.42570.33770.47790.47460.4691
    平均值0.50860.51990.50220.52220.47250.46930.52390.53110.5346
    平均排名5.804.537.204.536.677.873.402.672.27
    注：加粗代表最优结果，横线代表次优结果。

    表  5   MLNNDG与所有对比方法在ECC上的Macro-AUCPR

    Table  5   Comparison of Macro-AUCPR between MLNNDG and competing methods on ECC

    数据集 DEFAULT MLROS MLRUS MLSMOTE MLTL RHwRSMT MLSOL MLONC MLNNDG
    D10.83290.84150.82820.86370.83460.83690.85770.85200.8798
    D20.37960.41430.38870.38870.36360.42560.40410.43360.4429
    D30.54590.53310.53110.58040.57340.53150.54370.53980.5662
    D40.19280.19910.19330.19520.19650.17610.19930.20120.2042
    D50.69250.67930.68120.68610.69310.63040.68880.69680.6868
    D60.26440.27750.24720.28570.23400.21670.28760.28890.2982
    D70.54330.55150.54070.53350.54340.48440.54790.54960.5500
    D80.15630.20280.15370.18370.13540.11730.18800.21630.2293
    D90.55840.58320.55820.59160.51890.54910.58020.60050.5984
    D100.71170.70050.70080.69010.69600.66960.70950.71600.7154
    D110.44690.45140.44520.44680.44740.40610.45190.44620.4494
    D120.45060.47870.42650.48690.07740.27630.47060.50630.4741
    D130.89420.89400.88700.90210.87540.91180.92800.91400.9210
    D140.45060.47110.44960.47650.42570.33770.47790.47460.4691
    平均值0.50860.51990.50220.52220.47250.46930.52390.53110.5346
    平均排名5.804.537.204.536.677.873.402.672.27
    注：加粗代表最优结果，横线代表次优结果。

    表  6   MLNNDG与对比方法在6种分类器上的性能指标均值

    Table  6   Mean performance metrics of MLNNDG and competing methods on six classifiers

    分类器 性能指标 DEFAULT MLROS MLRUS MLSMOTE MLTL RHwRSMT MLSOL MLONC MLNNDG
    Macro-F1 0.4355 0.4536 0.4337 0.4610 0.4092 0.3061 0.4663 0.4695 0.4808
    BR Macro-AUC 0.6674 0.6703 0.6669 0.6723 0.6463 0.6370 0.6833 0.6804 0.6863
    Macro-AUCPR 0.4237 0.4292 0.4196 0.4338 0.3949 0.3852 0.4381 0.4402 0.4432
    Macro-F1 0.4425 0.4567 0.4362 0.4639 0.4167 0.3254 0.4634 0.4662 0.4787
    CC Macro-AUC 0.6650 0.6712 0.6664 0.6716 0.6487 0.6260 0.6833 0.6748 0.6873
    Macro-AUCPR 0.4225 0.4303 0.4207 0.4338 0.3951 0.3807 0.4370 0.4354 0.4411
    Macro-F1 0.3475 0.3919 0.3421 0.4079 0.3499 0.2467 0.4299 0.4202 0.4394
    MLKNN Macro-AUC 0.7278 0.7306 0.7276 0.7325 0.7117 0.7138 0.7363 0.7360 0.7407
    Macro-AUCPR 0.4715 0.4798 0.4697 0.4855 0.4520 0.4556 0.4852 0.4851 0.4941
    Macro-F1 0.4431 0.4556 0.4352 0.4619 0.4068 0.3138 0.4696 0.4702 0.4821
    CLR Macro-AUC 0.7558 0.7580 0.7544 0.7603 0.7168 0.7420 0.7646 0.7644 0.7705
    Macro-AUCPR 0.5097 0.5138 0.5038 0.5150 0.4577 0.5085 0.5160 0.5203 0.5233
    Macro-F1 0.4419 0.4502 0.4403 0.4515 0.4146 0.3944 0.4624 0.4632 0.4665
    HOMER Macro-AUC 0.6485 0.6572 0.6591 0.6547 0.6418 0.6416 0.6647 0.6674 0.6734
    Macro-AUCPR 0.4111 0.4168 0.4133 0.4165 0.3916 0.4112 0.4246 0.4260 0.4288
    Macro-F1 0.4454 0.4594 0.4479 0.4727 0.4277 0.3231 0.4825 0.4775 0.4974
    ECC Macro-AUC 0.7393 0.7443 0.7387 0.7486 0.7124 0.6965 0.7554 0.7591 0.7622
    Macro-AUCPR 0.5086 0.5199 0.5022 0.5222 0.4725 0.4693 0.5239 0.5311 0.5346
    注：加粗代表最优结果。

    表  7   各采样方法排名权重和最优/次优个数对比

    Table  7   Comparison of ranking weights and best/second-best counts across sampling methods

    指标 DEFAULT MLROS MLRUS MLSMOTE MLTL RHwRSMT MLSOL MLONC MLNNDG
    Macro-F1 0.7 (0/1) 5.2 (1/6) 0.0 (0/0) 15.3 (9/9) 1.0 (1/0) 2.0 (2/0) 29.6 (17/18) 30.5 (13/25) 58.5 (41/25)
    Macro-AUC 4.1 (2/3) 4.1 (2/3) 3.1 (1/3) 14.0 (7/10) 2.4 (1/2) 7.5 (4/5) 30.6 (18/18) 25.7 (11/21) 53.4 (38/22)
    Macro-AUCPR 2.7 (2/1) 5.1 (1/6) 3.4 (2/2) 17.0 (10/10) 4.5 (1/5) 13.0 (13/0) 25.1 (16/13) 32.1 (16/23) 41.8 (25/24)
    注：加粗代表最优结果。

    表  8   各采样方法排名以及成对Wilcoxon符号秩检验显著胜/负次数

    Table  8   Rankings of sampling methods and number of significant wins/losses in pairwise Wilcoxon Signed-Rank tests

    指标 分类器 DEFAULT MLROS MLRUS MLSMOTE MLTL RHwRSMT MLSOL MLONC MLNNDG
    BR 6.47(1/5) 4.60(4/3) 7.07(1/5) 4.00(4/1) 7.47(1/6) 8.20(0/8) 2.93(5/1) 2.73(5/1) 1.40(8/0)
    CC 5.93(2/5) 4.20(4/1) 6.73(1/5) 3.60(4/1) 7.33(1/6) 8.93(0/8) 3.47(4/1) 3.07(4/1) 1.60(8/0)
    Macro-F1 MLKNN 6.67(1/5) 4.67(4/3) 7.33(1/5) 3.93(4/2) 6.80(1/5) 8.27(0/8) 2.33(6/0) 2.93(5/0) 2.07(6/0)
    CLR 6.40(2/5) 4.73(4/3) 6.87(1/5) 4.20(4/1) 7.40(1/6) 7.87(0/8) 2.87(5/0) 2.80(5/1) 1.80(7/0)
    HOMER 6.20(1/3) 5.13(3/3) 6.27(1/4) 4.40(2/1) 7.13(0/5) 7.80(0/7) 3.07(5/0) 2.80(5/0) 2.13(6/0)
    ECCRU 6.87(1/5) 5.27(3/4) 6.27(1/5) 3.80(5/2) 6.53(1/4) 8.67(0/8) 2.27(6/0) 3.53(5/1) 1.80(7/0)
    平均(总和) 6.42(8/28) 4.77(22/17) 6.76(6/29) 3.99(23/8) 7.11(5/32) 8.29(0/47) 2.82(31/2) 2.98(29/4) 1.80(42/0)
    BR 6.00(2/3) 5.33(2/3) 5.80(2/3) 4.60(2/2) 7.47(0/7) 7.40(0/7) 2.87(6/0) 3.73(5/1) 1.67(7/0)
    CC 6.00(2/5) 4.73(3/2) 5.87(1/2) 4.53(3/2) 7.53(0/6) 7.40(0/7) 2.47(6/0) 4.27(3/1) 1.87(7/0)
    Macro-AUC MLKNN 5.07(1/1) 5.20(2/1) 5.93(1/2) 4.13(2/1) 7.27(0/7) 7.00(0/4) 4.07(2/0) 3.47(3/0) 2.60(6/0)
    CLR 5.40(1/3) 4.73(2/2) 5.80(1/3) 5.13(1/1) 8.00(0/7) 6.53(0/4) 3.60(4/0) 3.20(5/0) 2.40(6/0)
    HOMER 6.53(0/5) 5.13(3/2) 4.93(2/3) 5.33(0/2) 6.80(0/4) 7.20(0/5) 3.60(4/0) 3.13(6/0) 2.20(6/0)
    ECCRU 6.00(2/3) 5.53(2/3) 6.27(2/3) 4.87(2/3) 7.27(0/7) 8.13(0/7) 2.80(6/0) 2.27(6/0) 1.87(6/0)
    平均(总和) 5.83(8/20) 5.11(14/13) 5.77(9/16) 4.77(10/11) 7.39(0/38) 7.28(0/34) 3.24(28/0) 3.35(28/2) 2.10(38/0)
    BR 6.00(2/4) 5.07(4/3) 6.60(0/5) 4.33(3/0) 7.27(0/6) 7.20(0/6) 3.13(5/0) 2.73(5/0) 2.53(5/0)
    CC 6.13(2/4) 4.47(4/1) 6.13(2/5) 4.00(4/0) 7.80(0/7) 6.87(0/7) 3.20(4/0) 3.93(3/0) 2.33(5/0)
    Macro-AUCPR MLKNN 5.13(2/1) 5.07(2/1) 6.00(0/3) 4.67(3/1) 6.93(0/6) 7.60(0/6) 3.80(2/0) 3.13(3/0) 2.40(6/0)
    CLR 6.07(1/3) 5.00(1/2) 6.40(0/3) 4.93(1/0) 7.40(0/6) 5.33(0/0) 3.93(3/0) 3.07(4/0) 2.73(4/0)
    HOMER 6.07(0/3) 4.53(1/2) 5.60(0/3) 5.00(1/1) 7.53(0/5) 6.67(0/1) 4.00(3/0) 3.27(4/0) 2.20(6/0)
    ECCRU 5.80(2/4) 4.53(3/2) 7.20(1/6) 4.53(4/1) 6.67(0/5) 7.87(0/7) 3.40(4/1) 2.67(5/0) 2.27(7/0)
    平均(总和) 5.87(9/19) 4.78(15/11) 6.32(3/25) 4.58(16/3) 7.27(0/35) 6.92(0/27) 3.58(21/0) 3.13(14/0) 2.40(33/0)
    注：加粗代表最优结果，$ ({n}_{1}/{n}_{2}) $表示显著性检验中获得的胜/负次数。

    表  9   消融实验结果平均排名对比

    Table  9   Average ranking comparison of ablation study results

    指标 A B C D E
    Macro-F1 4.75 2.93 2.08 3.18 2.05
    Macro-AUC 4.29 2.93 2.45 3.09 2.14
    Macro-AUCPR 4.34 2.68 2.69 2.99 2.26
    注：加粗代表最优结果。

    表  10   不同采样比($ p $)/噪声阈值($ \theta $)对Macro-AUC性能指标的影响

    Table  10   Impact of sampling ratio ($ p $) / noise threshold ($ \theta $) on Macro-AUC

    数据集 p θ
    0.1 0.3 0.5 0.7 0.9 μ – 3σ μ – 2σ μ – σ
    D1 0.9507 0.9501 0.9497 0.9453 0.9567 0.9567 0.9504 0.9420
    D2 0.7923 0.7986 0.8173 0.8175 0.8273 0.8273 0.8219 0.8269
    D3 0.7412 0.7640 0.7784 0.7652 0.7427 0.7784 0.7779 0.7869
    D4 0.5376 0.5415 0.5430 0.5325 0.5393 0.5430 0.5433 0.5436
    D5 0.8365 0.8288 0.8210 0.8310 0.8411 0.8411 0.8305 0.8356
    D6 0.5524 0.5772 0.5833 0.5960 0.5746 0.5960 0.5948 0.5895
    D7 0.7099 0.7103 0.7099 0.7078 0.7091 0.7103 0.7118 0.7165
    D8 0.6084 0.6301 0.6403 0.6524 0.6454 0.6524 0.6422 0.6484
    D9 0.8365 0.8613 0.8756 0.8795 0.8708 0.8795 0.8726 0.8625
    D10 0.7274 0.7507 0.7499 0.7436 0.7400 0.7507 0.7429 0.7492
    D11 0.6590 0.6579 0.6576 0.6646 0.6605 0.6646 0.6717 0.6625
    D12 0.7707 0.7714 0.7818 0.7898 0.7766 0.7898 0.7887 0.6533
    D13 0.9669 0.9738 0.9718 0.9704 0.9694 0.9738 0.9742 0.9717
    D14 0.6839 0.6704 0.6870 0.7068 0.7048 0.7068 0.7001 0.6992
    平均值 0.7410 0.7490 0.7548 0.7573 0.7542 0.7622 0.7588 0.7491
    注：加粗代表最优结果。
    • 参考文献(38)
  • [1] YAN Yuanting, ZHENG Zhong, ZHANG Yiwen, et al. CPS-3WS: a critical pattern supported three-way sampling method for classifying class-overlapped imbalanced data[J]. Information sciences, 2024, 676: 120835. doi: 10.1016/j.ins.2024.120835
    [2] 严远亭, 马迎澳, 任艳平, 等. 基于构造性神经网络与全局密度信息的不平衡数据欠采样方法[J]. 计算机科学, 2023, 50(10): 48−58. doi: 10.11896/jsjkx.230600022

    YAN Yuanting, MA Ying’ao, REN Yanping, et al. Imbalanced undersampling based on constructive neural network and global density information[J]. Computer science, 2023, 50(10): 48−58. doi: 10.11896/jsjkx.230600022
    [3] 范洪旗, 严远亭, 张以文, 等. 学习困难与泛化能力感知的软件缺陷预测过采样方法[J]. 计算机集成制造系统, 2024, 30(8): 2663−2671.

    FAN Hongqi, YAN Yuanting, ZHANG Yiwen, et al. Software defect prediction oversampling technique with generalization and difficulty-aware[J]. Computer integrated manufacturing systems, 2024, 30(8): 2663−2671.
    [4] 徐贞顺, 郑顺国, 苏梦瑶, 等. 基于双自适应约束的对抗学习过采样方法[J/OL]. 计算机科学, 1−16[2026−02−10]. https://link.cnki.net/urlid/50.1075.tp.20251219.1013.002.

    XU Zhenshun, ZHENG Shunguo, SU Mengyao, et al. Adversarial learning with dual adaptive constraints for oversampling method[J/OL]. Computer Science, 1−16[2026−02−10]. https://link.cnki.net/urlid/50.1075.tp.20251219.1013.002.
    [5] YAN Yuanting, ZHU Yuanwei, LIU Ruiqing, et al. Spatial distribution-based imbalanced undersampling[J]. IEEE transactions on knowledge and data engineering, 2023, 35(6): 6376−6391.
    [6] LILOGLOU T, MALONEY P, XINARIANOS G, et al. Sensitivity and limitations of high throughput fluorescent microsatellite analysis for the detection of allelic imbalance: application in lung tumors[J]. International journal of oncology, 2000, 16(1): 5−19. doi: 10.3892/ijo.16.1.5
    [7] JIANG Ting, WANG Deqing, SUN Leilei, et al. LightXML: transformer with dynamic negative sampling for high-performance extreme multi-label text classification[J]. Proceedings of the AAAI conference on artificial intelligence, 2021, 35(9): 7987−7994. doi: 10.1609/aaai.v35i9.16974
    [8] HE Zengxiang, CHU Pengpeng, LI Chenxi, et al. Compound fault diagnosis for photovoltaic arrays based on multi-label learning considering multiple faults coupling[J]. Energy conversion and management, 2023, 279: 116742. doi: 10.1016/j.enconman.2023.116742
    [9] HAN Meng, WU Hongxin, CHEN Zhiqiang, et al. A survey of multi-label classification based on supervised and semi-supervised learning[J]. International journal of machine learning and cybernetics, 2023, 14(3): 697−724. doi: 10.1007/s13042-022-01658-9
    [10] AHMADI Z, KRAMER S. A label compression method for online multi-label classification[J]. Pattern recognition letters, 2018, 111: 64−71. doi: 10.1016/j.patrec.2018.04.015
    [11] TSOUMAKAS G, KATAKIS I. Multi-label classification: an overview[J]. International journal of data warehousing and mining (IJDWM), 2007, 3(3): 1−13. doi: 10.4018/978-1-60566-058-5.ch021
    [12] KOZIARSKI M. Potential Anchoring for imbalanced data classification[J]. Pattern recognition, 2021, 120: 108114. doi: 10.1016/j.patcog.2021.108114
    [13] CHARTE F, RIVERA A J, DEL JESUS M J, et al. Addressing imbalance in multilabel classification: measures and random resampling algorithms[J]. Neurocomputing, 2015, 163: 3−16. doi: 10.1016/j.neucom.2014.08.091
    [14] ZHANG Minling, LI Yukun, YANG Hao, et al. Towards class-imbalance aware multi-label learning[J]. IEEE transactions on cybernetics, 2022, 52(6): 4459−4471. doi: 10.1109/TCYB.2020.3027509
    [15] ZHANG Minling, ZHOU Zhihua. A review on multi-label learning algorithms[J]. IEEE transactions on knowledge and data engineering, 2014, 26(8): 1819−1837. doi: 10.1109/TKDE.2013.39
    [16] NARESHPALSINGH J M, MODI H N. Multi-label classification methods: a comparative study[J]. International research journal of engineering and technology, 2017, 4(12): 263−270. doi: 10.1109/isdfs65363.2025.11012107
    [17] SÁEZ J A, KRAWCZYK B, WOŹNIAK M. Analyzing the oversampling of different classes and types of examples in multi-class imbalanced datasets[J]. Pattern recognition, 2016, 57: 164−178. doi: 10.1016/j.patcog.2016.03.012
    [18] LIU Bin, BLEKAS K, TSOUMAKAS G. Multi-label sampling based on local label imbalance[J]. Pattern recognition, 2022, 122: 108294. doi: 10.1016/j.patcog.2021.108294
    [19] ZHANG Kai, MAO Zhaoyang, CAO Peng, et al. Label correlation guided borderline oversampling for imbalanced multi-label data learning[J]. Knowledge-based systems, 2023, 279: 110938. doi: 10.1016/j.knosys.2023.110938
    [20] ZHU Qingsheng, FENG Ji, HUANG Jinlong. Natural neighbor: a self-adaptive neighborhood method without parameter K[J]. Pattern recognition letters, 2016, 80: 30−36. doi: 10.1016/j.patrec.2016.05.007
    [21] 冯骥, 张程, 朱庆生. 一种具有动态邻域特点的自适应最近邻居算法[J]. 计算机科学, 2017, 44(12): 194−201. doi: 10.11896/j.issn.1002-137X.2017.12.036

    FENG Ji, ZHANG Cheng, ZHU Qingsheng. Adaptive nearest neighbor algorithm with dynamic neighborhood[J]. Computer science, 2017, 44(12): 194−201. doi: 10.11896/j.issn.1002-137X.2017.12.036
    [22] CHARTE F, RIVERA A J, DEL JESUS M J, et al. MLSMOTE: approaching imbalanced multilabel learning through synthetic instance generation[J]. Knowledge-based systems, 2015, 89: 385−397. doi: 10.1016/j.knosys.2015.07.019
    [23] ARYUNI M, FATICHAH C, YUNIARTI A. Resampling methods for imbalanced datasets in multi-label classification: a review[C]//2024 IEEE 14th Symposium on Computer Applications & Industrial Electronics. Penang: IEEE, 2024: 472−477.
    [24] TSOUMAKAS G, VLAHAVAS I. Random k-labelsets: an ensemble method for multilabel classification[C]//Machine Learning: ECML 2007. Berlin: Springer, 2007: 406−417.
    [25] PEREIRA R M, COSTA Y M G, SILLA C N Jr. MLTL: a multi-label approach for the Tomek Link undersampling algorithm[J]. Neurocomputing, 2020, 383: 95−105. doi: 10.1016/j.neucom.2019.11.076
    [26] BATISTA G E A P A, PRATI R C, MONARD M C. A study of the behavior of several methods for balancing machine learning training data[J]. ACM SIGKDD explorations newsletter, 2004, 6(1): 20−29. doi: 10.1145/1007730.1007735
    [27] CHARTE F, RIVERA A J, DEL JESUS M J, et al. MLeNN: a first approach to heuristic multilabel undersampling[C]//Intelligent Data Engineering and Automated Learning. Cham: Springer, 2014: 1−9.
    [28] LIU Bin, ZHOU Ao, WEI Bingkun, et al. Oversampling multi-label data based on natural neighbor and label correlation[J]. Expert systems with applications, 2025, 259: 125257. doi: 10.1016/j.eswa.2024.125257
    [29] CHARTE F, RIVERA A J, DEL JESUS M J, et al. Dealing with difficult minority labels in imbalanced mutilabel data sets[J]. Neurocomputing, 2019, 326: 39−53. doi: 10.1016/j.neucom.2016.08.158
    [30] CHARTE F, RIVERA A J, DEL JESUS M J, et al. REMEDIAL-HwR: Tackling multilabel imbalance through label decoupling and data resampling hybridization[J]. Neurocomputing, 2019, 326: 110−122. doi: 10.1016/j.neucom.2017.01.118
    [31] 许茂龙, 姜高霞, 王文剑. 基于异常检测的标签噪声过滤框架[J]. 计算机科学, 2024, 51(2): 87−99.

    XU Maolong, JIANG Gaoxia, WANG Wenjian. Label noise filtering framework based on outlier detection[J]. Computer science, 2024, 51(2): 87−99.
    [32] WANG Zhe, LI Yanqiong, LI Dongdong, et al. Entropy and gravitation based dynamic radius nearest neighbor classification for imbalanced problem[J]. Knowledge-based systems, 2020, 193: 105474. doi: 10.1016/j.knosys.2020.105474
    [33] BRINKER K, FÜRNKRANZ J, HÜLLERMEIER E. A unified model for multilabel classification and ranking[C]//17th European Conference on Artificial Intelligence. Riva del Garda: IOS Press, 2006: 489−493.
    [34] READ J, PFAHRINGER B, HOLMES G, et al. Classifier chains for multi-label classification[J]. Machine learning, 2011, 85(3): 333−359. doi: 10.1007/s10994-011-5256-5
    [35] ZHANG Minling, ZHOU Zhihua. ML-KNN: a lazy learning approach to multi-label learning[J]. Pattern recognition, 2007, 40(7): 2038−2048. doi: 10.1016/j.patcog.2006.12.019
    [36] FÜRNKRANZ J, HÜLLERMEIER E, LOZA MENCÍA E, et al. Multilabel classification via calibrated label ranking[J]. Machine learning, 2008, 73(2): 133−153. doi: 10.1007/s10994-008-5064-8
    [37] SECHIDIS K, TSOUMAKAS G, VLAHAVAS I. On the stratification of multi-label data[C]//Machine Learning and Knowledge Discovery in Databases. Berlin: Springer, 2011: 145−158.
    [38] REN Weishuo, ZHENG Yifeng, ZHANG Wenjie, et al. A novel ensemble over-sampling approach based Chebyshev inequality for imbalanced multi-label data[J]. Neurocomputing, 2025, 612: 128717. doi: 10.1016/j.neucom.2024.128717
WeChat 点击查看大图
图(6)  /  表(10)
出版历程
  • 收稿日期:  2025-05-23
  • 网络出版日期:  2026-02-04

目录

    /

    返回文章
    返回