标签分布学习(label distribution learning，LDL)是多标签学习(muti-label learning，MLL)的泛化^[1-8]。MLL用标签集的部分标签来描述实例^[9-11]，LDL用标签集所有标签的表征程度构成的分布来描述实例^[12-15]。文献[12]将年龄估计问题泛化到LDL中，降低了平均绝对误差(mean absolute deviation，MAE)。文献[13]将人群计数问题泛化到LDL中，提高了人群计数的准确率。

Geng等^[1]提出了SA-IIS(specialized algorithm improithm lternative scaling)算法，将单个标签数据转换为分布数据，但未考虑标签的相关性。Jia等^[16]提出了LDLLC(label distribution learning by exploiting label correlation)算法，使用皮尔逊相关系数描述了标签之间的相关性。Zheng等^[17]提出了LDL-SCL(label distribution learning by exploiting sample correlation locally)算法，考虑实例之间的相关性。后2种方法显著提高了模型对标签分布的预测能力。

本文提出了一种三角距离相关性的标签分布学习算法(label distribution learning based on triangular distance correlation，T-LDL)。首先，令X和D分别表示特征矩阵和标签分布矩阵，构建距离映射矩阵θ描述X和D之间的映射关系。其次，设计新的相似度距离，以表征标签之间的相关性。最后，结合标签相关性，设计基于KL (kullback-leibler divergence)散度^[18]的目标函数，利用从训练数据直接获取的X和D拟合θ以预测标签分布。

在8个真实数据集上，将本文提出算法与8种主流算法进行对比实验，利用Euclidean距离^[19]、Sørensen距离^[20]、Squardχ²距离^[21]、KL散度^[18]、Intersection相似度^[22]和Fidelity相似度^[23]共6种指标进行评价。结果表明，本文提出的算法在其中3个数据集上所有指标均为最优，在其余的数据集上部分指标占优。

1 相关工作

首先提出LDL的问题描述与运行实例，然后讨论流行的LDL算法及其目标函数。表1列出了本文的符号系统。

1.1 LDL问题描述

标签分布学习相对于单标签和多标签学习而言，以一种更自然的方式去标记实例，并且为它的每个可能的标签分配一个数值。下面给出它的形式化定义^[1]。令X = R^q为q维输入空间，表示特征矩阵；Y = {y₁, y₂, …, y_c}为完整标签集，c为标签的数量；D表示实际标签分布矩阵；给定一个训练集S = {X, D} = {{x₁, d₁}, {x₂, d₂},…,{x_n, d_n}}，其中x_i = [x_i1x_i2… x_iq]∈X为第i个实例，d_i = [d_i1d_i2… d_ic]∈[0,1]^c为x_i对应的实际标签分布，d_ij是标签y_j对x_i的实际表征度，且 $\displaystyle\sum\limits_{j = 1}^c {{d_{ij}}} = 1$ 。

1.2 运行实例

图1(a)为需要标记的一个示例图片^[24]，其完整标签集为{森林，海洋，沙漠，城市}。图1(b)表明MLL中仅有{海洋，城市}2个标签能够描述图1(a)。图1(c)说明LDL利用这4个标签构成的分布来描述该图片，且{海洋，城市}2个标签对图1(a)的表征度较高，{森林，沙漠}2个标签对图1(a)的表征度较低。

表2和表3为一个标签分布学习的运行实例，分别为特征矩阵X和实际标签分布矩阵D，这里S = {(x₁,d₁), (x₂, d₂), …, (x₄, d₄)}，q = 5，c = 4。{天空，水，房屋，沙子，树木}5个特征表征了图1(a)中包含的信息。{森林，海洋，城市，沙漠}为完整标签集。以加粗行为例，x₁ = [0.38, 0.35, 0.00, 0.12, 0.15]，d₁ = [0.16, 0.55, 0.10, 0.19]，其中x₁₁ = 0.38表示天空占图片面积的38%，d₁₁ = 0.16表示森林描述该图片的程度为16%。

X和D之间的映射关系可以通过距离映射矩阵θ来描述。给定训练集后，LDL的目标为学习到该距离映射矩阵θ^[16]，再通过θ计算出预测标签分布矩阵P = {p₁, p₂, …, p_i}，其中p_i = [p_i1 p_i2 … p_ic]，p_ij为标签y_j对x_i的预测表征度，该表征度用最大熵模型^[25]表示，如式(1)所示：

$ p({y_j}|{x_i};{{\theta }}){\rm{ = }}\frac{{\exp \left(\displaystyle\sum\limits_{r = 1}^q {{{{\theta }}_{kr}}{x_{ir}}} \right)}}{{\displaystyle\sum\limits_{k = 1}^c {\exp \left(\displaystyle\sum\limits_{r = 1}^q {{{{\theta }}_{kr}}{x_{ir}}} \right)} }} $

(1)

为优化求解θ，LDL算法的目标函数需约束预测分布与真实分布之间的差异。文献[1]构建了以KL散度为基础的目标函数，通过求解式(2)，可得到最优距离映射矩阵θ^*，即

$ {{{\theta }}^{\rm{*}}}{\rm{ = arg}}\mathop {{\rm{min}}}\limits_{{\theta }} \sum\limits_{i = 1}^n \sum\limits_{j = 1}^c \left({d_{ij}}\ln {\frac{d_{ij}}{p\left({y_j}|{x_i};{{\theta }}\right)}} \right) $

(2)

1.3 已有的LDL算法

表4列出了4种流行的LDL算法及其目标函数，表中第一行的SA-IIS^[1]和SA-BFGS(specialized algorithm effective quasi-newton)^[1]两种算法使用相同的目标函数，它们均采用KL散度表征所有实例的真实分布与预测分布之间的差异。前者使用类似于改进迭代缩放的策略作为其优化方法，后者使用BFGS算法作为其优化方法。该目标函数缺少正则项，易导致欠拟合。

LDLLC^[16]在IIS-LLD算法的目标函数基础上增加了正则项和标签相关性项。如表4中第2行所示，等号右边第2项为距离映射矩阵θ的F-范数，以防止过拟合。第3项为符号函数与不同距离共同决定的标签相关性项，其中符号函数由皮尔逊相关系数决定。但皮尔逊相关系数存在“2个输入向量间应有线性关系”的约束条件，而距离映射矩阵θ中的任意2个向量要满足该条件较为困难。

EDL(emotion distribution learning from texts)^[26]通过采用新散度公式表征所有实例的真实分布与预测分布之间的差异，并增加2个约束项。如表4中第3行所示，等号右边第2项为距离映射矩阵θ的1-范数，以防止过拟合。第3项用不同标签的特征向量之差的2-范数，再乘以基于Plutchik的情绪轮得到的权重，表征不同标签之间的关系。该算法在情绪分类场景下表现较好。

2 本文工作

常见的LDL算法的输入为特征矩阵X与实际标签分布矩阵D，输出为预测标签分布矩阵P，构建距离映射矩阵θ描述X和D之间的映射关系。为了得到更精准的预测标签分布矩阵P，设计目标函数是LDL算法工作的重点。本节重点介绍如何设计目标函数以及本文提出的T-LDL算法。

本文设计的目标函数为

$ T({{\theta }}) = \sum\limits_{i{\rm{ = }}1}^n {\sum\limits_{j{\rm{ = }}1}^c {\left( {{d_{ij}}\ln \frac{{{d_{ij}}}}{{p\left( {{y_j}|{x_i};{{\theta }}} \right)}}} \right)} } + {\lambda _1}\sum\limits_{i{\rm{ = }}1}^c {\sum\limits_{j{\rm{ = }}1}^c {\eta \left( {{{{\theta }}_i},{{{\theta }}_j}} \right)} } $

(3)

式中：等号右侧第1项用KL散度表征所有实例的真实分布与预测分布之间的差异；等号右侧第二项为本文亮点，设计标签相关性项以获得更好的预测结果。

2.1 标签相关性

本文的亮点为结合三元相关性和距离相关性来描述标签之间的相关性，如式(4)所示：

$ \eta \left( {{{{\theta }}_i},{{{\theta }}_j}} \right) = {\rm{sgn}}({\rm{triangle}}\left( {{{{\theta }}_i},{{{\theta }}_j}} \right)) \cdot {\rm{Dis}}\left( {{{{\theta }}_i},{{{\theta }}_j}} \right) $

(4)

式中：sgn(triangle(θ_i, θ_j))表征三元相关性，Dis(θ_i, θ_j)表征距离相关性。sgn(triangle(θ_i, θ_j))用三角距离来表征标签之间存在何种相关性，即正相关、不相关或负相关；Dis(θ_i, θ_j)用Euclidean距离^[19]表征标签之间的相关程度。

由于使用皮尔逊相关系数时需要考虑任意2个向量是否存在线性关系，故提出一种不考虑该约束条件的新三角距离来衡量2个向量是否相关。这里，仅考虑2个向量θ_i、θ_j以及2个向量之差θ_i − θ_j，设计该三角距离，且使得其取值范围为[−1,1]，如式(5)所示：

$ {\rm{triangle}}\left( {{{{\theta }}_i},{{{\theta }}_j}} \right) = 1 - \frac{{2\sqrt {\displaystyle\sum\limits_{k = 1}^m {{{({{{\theta }}_{ik}} - {{{\theta }}_{jk}})}^2}} } }}{{\sqrt {\displaystyle\sum\limits_{k = 1}^m {{{{\theta }}_{ik}}^2} } + \sqrt {\displaystyle\sum\limits_{k = 1}^m {{{{\theta }}_{jk}}^2} } }} $

(5)

将该三角距离代入符号函数，用于判断标签之间存在何种相关性：正相关、不相关或负相关。

$ {\rm{sgn}}\left( {{\rm{triangle}}\left( {{{{\theta }}_i},{{{\theta }}_j}} \right)} \right) = \left\{ \begin{array}{l} 1,\;\;{\rm{ 0 < triangle}}\left( {{{{\theta }}_i},{{{\theta }}_j}} \right) \leqslant 1 \\ 0,\;\;{\rm{ triangle}}\left( {{{{\theta }}_i},{{{\theta }}_j}} \right) = 0 \\ {\rm{ - }}1,\;\;{\rm{ - 1}} \leqslant {\rm{triangle}}\left( {{{{\theta }}_i},{{{\theta }}_j}} \right) < 0 \\ \end{array} \right. $

(6)

式中，sgn(·)为1、0、−1分别表示标签之间为正相关、不相关或负相关。

由于上述部分只能判断标签之间存在何种相关性，并不能判断标签之间的相关程度，故引入Euclidean距离^[19]表示标签之间的相关程度：

$ {\rm{Dis}}\left( {{{{\theta }}_i},{{{\theta }}_j}} \right) = \sqrt {\sum\limits_{k = 1}^m {{{\left( {{{{\theta }}_{ik}} - {{{\theta }}_{jk}}} \right)}^2}} } $

(7)

2.2 本文提出的T-LDL算法

T-LDL描述见算法1。首先将距离映射矩阵θ⁽⁰⁾和逆拟Hessian矩阵B⁽⁰⁾初始化为单位矩阵，再通过式(3)计算初次目标函数的梯度 ${{\nabla}}$ T(θ⁽⁰⁾)。进入迭代，收敛条件为|| ${{\nabla}} $ T(θ^(l))||₂ < ξ。当不满足收敛条件时，采用L-BFGS方法^[27]优化并更新θ和B。当满足收敛条件时，计算标签y_j对x_i的预测表征度p(y_j|x_i;θ)。

算法1　T-LDL算法

输入　 X, D, ξ；

输出　 p(y|x;θ)。

1)初始化距离映射矩阵θ⁽⁰⁾和逆拟Hessian矩阵B⁽⁰⁾；

2)通过式(3)计算梯度 ${{\nabla}} $ T(θ⁽⁰⁾)；

3)如果|| ${{\nabla}}$ T(θ^(l))||₂ > ξ，使用L-BFGS方法^[27]优化更新θ和B；

4)end if；

5)l ← l + 1；

6)通过式(1)计算 p(y_j|x_i;θ)。

3 实验及结果分析

本节首先介绍实验使用的8个数据集和6个评价指标，再将本文提出的T-LDL算法与LDLLC^[16]、PT-Bayes^[1]、PT-SVM^{[1, 17]}、AA-kNN^{[1, 4]}、AA-BP^[1]、SA-IIS^{[1, 16]}、SA-BFGS(specialized algorithm effective quasi-newton)^{[1, 2]}和EDL^[26]8种主流的LDL算法进行比较，最后对实验结果进行讨论。

3.1 数据集

表5列出了从芽殖酵母的8个生物学实验中收集得到的8个真实数据集^[28]。实例为2 465个酵母基因，特征是长度为24的系统发育谱，标签为不同生物实验中的离散时间点，数量范围为4~18。

Alpha数据集记录在α因子的影响下酵母在有丝分裂期间的基因表达情况；Cdc数据集记录酵母在细胞分裂期间停滞的cdc-15基因表达情况；Elu数据集记录酵母经离心淘洗后的基因表达情况；Diau数据集记录酵母在双峰转换过程中的基因表达情况；Heat数据集记录酵母在经过高温冲击后的基因表达情况；Spo数据集记录酵母在孢子形成过程中的基因表达情况；Cold数据集记录酵母经低温处理后的基因表达情况；Dtt数据集记录酵母经还原剂处理后的基因表达情况^[28]。

3.2 评价指标

表6列出了评估LDL算法的6个评价指标的名称和公式。其中，p_ij是标签y_j对x_i的预测表征度；d_ij是标签y_j对x_i的实际表征度；“↓”表示“越小越好”；“↑”表示“越大越好”。

3.3 实验结果

表7~14的第1~6列列出了10次实验的平均结果±标准差(当前方法性能的排名)，末列为前6列平均性能排名。首先比较表7~14中的平均值，如果平均值相同，再比较标准差。

对于数据集Elu和Cold，本文提出的方法在所有评价指标上都比其他8种方法表现更好。对于数据集Alpha、Cdc和Heat，本文提出的方法在大多数评价指标上排名第一。对于其余3个数据集，本文提出的方法排在第二或者第三。

3.4 讨论

各种算法通常在不同的数据集上具有不同的排名，表明每种算法都有其合适的应用场景，如EDL算法更适用于文本情绪分类场景。不同评价指标下同一算法的不同排名，反映了6项评价指标的多样性。在比较不同方法对新数据集的预测效果时，应综合考虑多个评价指标。

与同样考虑标签相关性的LDLLC算法相比，T-LDL算法在绝大多数数据集上的表现均优于LDLLC算法。LDLLC算法基于皮尔逊相关系数表征标签相关性，而T-LDL算法基于本文设计的三角距离。皮尔逊相关系数要求输入的2个向量满足线性相关，而本文设计的三角距离无该约束条件。实验证明在本文场景中，三角距离更加合适。

4 结束语

为了进一步提高标签分布学习算法的预测性能，本文提出了三角距离相关性的标签分布学习算法。新的三角距离可以充分考虑向量本身和向量之差，能更好地描述标签之间的相关性。实验结果表明，本文的方法比大多数现有的方法表现更好。

未来的工作将尝试从以下几个方面提高标签分布学习方法的性能：1)采用属性约简以降低算法的时间复杂度；2)使用其他度量取代作为目标函数基础的KL散度；3)利用新的距离映射函数表示标签的相关性。