0 引言

随着数据规模的不断增加，当今决策者面临着更加复杂的决策环境。决策者如何快速做出正确决策是一项值得研究的问题。Yao^[1]为了降低决策过程风险，提出了三支决策模型，其基本思想是将整体划分为三个互不相交的子区域，对每个区域采取不同的决策行为。三支决策对决策问题的求解方法与人类的认知过程相符合，因此常用于复杂问题的分析和求解^[2-4]。

自三支决策模型提出以来，众多研究者已经对其进行了不断完善和发展。Qian等^[5]考虑将多视角思想与三支决策模型相结合，提出了多粒度序贯三支决策，并给出了五种不同的粒度聚合策略。Jia等^[6]将三支决策与多属性决策相结合，利用多属性决策的评估矩阵计算损失函数，降低了决策过程的主观性。Zhan等^[7]将传统三支决策中的等价关系替换为优胜关系，提出了一种新的三支决策方法，并将其应用在多属性问题的求解中。Wang等^[8]将决策者的心理状态加入决策过程中，并以此提出了基于前景理论的三支决策模型。Li等^[9]提出根据决策者对风险的偏好来计算三支决策的阈值和条件概率，以此给出了基于决策风险偏好的三支决策模型。钱进等^[10]利用概念层次树构建了多层次决策表，并以此提出了多粒度层次序贯三支决策模型。

集成学习是机器学习中常用的一种重要方法，其主要思想是将多个弱分类器集成到一起，以此创建一个强分类器，从而提高分类模型的精度。众多学者已经将集成思想应用在了其他领域，希望以此提高原始模型的性能^[11]。Yang等^[12]在属性约简中利用集成选择器同时选择多个候选属性，并通过集成投票的方式从多个候选属性中选择最合适的一个属性加入属性约简子集中。Yang等^[13]提出将多个专家给出的决策阈值组合为一组决策阈值，以此提出了多代理三支决策模型。Agbodah^[14]考虑将多组不同的损失函数聚合为一组代表性的损失函数，并将其应用在三支决策的决策过程中。李明等^[15]设计了一种基于集成学习的启发式算法，并以此提出了基于特定类别的属性约简算法。

通过上述讨论可知，尽管有一些研究已经将集成思想与三支决策理论相结合^[13-14]，但都没有直接考虑将多个不同三支决策结果集成起来。本文的主要贡献在于同时使用损失、效益、前景和后悔四个决策标准获得四种不同的三支决策结果，之后利用悲观多粒度粗糙集的思想获得三个决策区域的共识集合，然后根据相似度的大小，利用k-means算法将剩余的对象划分为三个互不相交的子集。最后将这三个互不相交的子集加入三个决策区域各自的共识集中，从而获得最终的三支决策结果。

1 相关理论

本节将简要介绍三支决策的基本知识以及集成学习的相关理论^[16-17]。

1.1 三支决策模型

定义1 (概率上下近似)   决策表$ S=(U, C \cup D, V, f)$，其中：论域定义为$ U=\left\{x_1, x_2, \cdots, x_m\right\} ; C= \left\{c_1, c_2, \cdots, c_n\right\}$为条件属性集合；D为决策属性；V表示属性集合的值域；f是一个信息函数。对于需要近似的概念$ X \subseteq U$，Yao^[1]所定义的概率上、下近似为

$ \left\{\begin{array}{l} \overline{{apr}}(X)=\{x \in U \mid P(X \mid[x])>\beta\}, \\ \underline{{apr}}(X)=\{x \in U \mid P(X \mid[x]) \geqslant \alpha\}, \end{array}\right. $

(1)

其中：$ P(X \mid[x])=\frac{|[x] \cap X|}{|[x]|}$表示[x]属于近似概念X的条件概率；阈值α和β满足0≤β < α≤1。

根据决策粗糙集和贝叶斯最小化风险理论可知，三支决策的决策规则可表示为

$ \begin{aligned} & \left(P_1\right): \text { 若 } P(X \mid[x]) \geqslant \alpha, \text { 则 } x \in \operatorname{POS}(X) ; \\ & \left(B_1\right): \text { 若 } \beta <P(X \mid[x])<\alpha, \text { 则 } x \in \operatorname{BND}(X) ; \\ & \left(N_1\right): \text { 若 } P(X \mid[x]) \leqslant \beta, \text { 则 } x \in N E G(X) 。\end{aligned} $

(2)

1.2 集成学习

集成学习是机器学习中一种常用的方法^[12]。聚类集成是集成学习的一个重要分支，其获得的最终聚类结果在分类效率和分类质量上都优于单个聚类方法。

本文考虑将不同的三支决策方法获得的决策结果当作聚类集成模型中的基础划分，每个三支决策结果中的正域、负域以及边界域视为对应基础划分里的不同聚类。因此，本文的主要目的是设计一个与共识函数作用相似的集成策略，将三支决策的不同结果进行集成，从而获得最终的三支决策结果。

2 基于集成学习的三支决策模型

本小节将详细描述基于集成学习的三支决策模型的求解过程。首先引入k-means算法的介绍，之后为了衡量等价类近似目标概念的能力，给出了相似度的定义，最后给出所提模型的实现算法和流程。

2.1 k-means聚类分析

聚类是解决分类问题的一种常用方法^[18]。k-means算法是最常见一种聚类算法^[2]。为了获得更好的聚类质量，k-means算法通常会与其他方法结合来求解问题。

2.2 样本相似度

由Palak粗糙集可知，不同对象的等价类对目标概念的近似能力是不同的。等价类的条件概率是目前最常用的衡量不同等价类近似目标概念能力的参数。

例1   若决策表$ S=\{U, C \cup D, V, f\}$，其中U= $ \left\{x_0, x_1, x_2, x_3, x_4, x_5, x_6, x_7\right\}, C=\left\{c_1, c_2, c_3, c_4\right\}$，决策属性为d，具体信息如表 1所示。假设需要近似的概念记为$X=\left\{x_0, x_1, x_6\right\} $。

由决策表 1可知，条件属性集合将论域U划分成三个不相交的等价类集合，记为$ U / I N D(C)=\left\{X_1, \right. \left.X_2, X_3\right\}=\left\{\left\{x_0, x_2, x_5\right\}, \left\{x_1, x_3, x_7\right\}, \left\{x_4, x_6\right\}\right\}$。若使用条件概率衡量对应等价类近似目标概念的能力，则可以得到

$ \begin{aligned} & P\left(X \mid X_1\right)=\frac{\left|\left\{x_0, x_1, x_6\right\} \cap\left\{x_0, x_2, x_5\right\}\right|}{\left|\left\{x_0, x_2, x_5\right\}\right|}=\frac{1}{3}, \\ & P\left(X \mid X_2\right)=\frac{\left|\left\{x_0, x_1, x_6\right\} \cap\left\{x_1, x_3, x_7\right\}\right|}{\left|\left\{x_1, x_3, x_7\right\}\right|}=\frac{1}{3}, \\ & P\left(X \mid X_3\right)=\frac{\left|\left\{x_0, x_1, x_6\right\} \cap\left\{x_4, x_6\right\}\right|}{\left|\left\{x_4, x_6\right\}\right|}=\frac{1}{2} 。\end{aligned} $

根据上述的计算结果，等价类X₁和X₂有相同的条件概率。但使用条件概率来衡量等价类对目标概念的近似能力有时是不合理的，具有相同条件概率的等价类可能对目标概念有不同的近似能力。

定义2 (距离)   决策表$ S=\{U, C \cup D, V, f\}, U / I N D(C)=\left\{X_1, X_2, \cdots, X_N\right\}$。对于任意等价类$ X_i(i=1, 2, \cdots, N)$，其与目标概念X之间的距离定义为

$ D\left(X_i, X\right)=\sum\limits_{j=1}^{|X|} d\left(x_i, x_j\right), $

(3)

其中：$ x_i=\left\{x_{i 1}, x_{i 2}, \cdots, x_{i n}\right\}(i=1, 2, \cdots, N)$表示对应等价类的条件属性值，$ x_j=\left\{x_{j 1}, x_{j 2}, \cdots, x_{j n}\right\}(j=1, 2, \cdots, |X|)$代表对象x_j的条件属性值，d(x_i, x_j)为对象之间的欧氏距离。

定义3 (相似度)   假设由条件属性划分的等价类表示为$ U / I N D(C)=\left\{X_1, X_2, \cdots, X_N\right\}$，需要近似的目标概念记为X，则对于任意等价类$ X_m \subseteq U / I N D(C)(m=1, 2, \cdots, N)$，其与目标概念的相似度定义为$ R\left(X_m\right)$，具体计算方法为

$ R\left(X_m\right)=(|X|) /\left(D\left(X_m, X\right)\right) \text { 。} $

(4)

定义3给出的相似度公式可以用来重新衡量不同等价类对目标概念的近似能力。

例2  根据例1的计算结果，等价类X₁和X₂的条件概率相同，但不同等价类与目标概念之间的距离可由定义2计算，计算结果为

$ \begin{aligned} & D\left(X_1, X\right)=d\left(x_0, x_0\right)+d\left(x_0, x_1\right)+d\left(x_0, x_6\right)=6.162, \\ & D\left(X_2, X\right)=d\left(x_1, x_0\right)+d\left(x_1, x_1\right)+d\left(x_1, x_6\right)=4.732, \\ & D\left(X_3, X\right)=d\left(x_4, x_0\right)+d\left(x_4, x_1\right)+d\left(x_4, x_6\right)=4.894 。\end{aligned} $

由计算结果可知，尽管某些等价类有相同的条件概率，但他们与目标概念之间的距离并不相同。由定义3可知，不同等价类与目标概念之间相似度的计算结果为

$ \begin{aligned} & R\left(X_1\right)=\frac{3}{6.162}=0.487, \\ & R\left(X_2\right)=\frac{3}{4.732}=0.634, \\ & R\left(X_3\right)=\frac{2}{4.894}=0.409 。\end{aligned} $

由上述相似度的定义可知，等价类X₁和X₂虽然有相同的条件概率，但两者与近似目标概念之间的相似度不同，与X₁相比，X₂对目标概念的近似能力更强。

2.3 基于集成学习的三支决策模型构建 2.3.1 求解集成决策区域的共识集

在日常决策问题中，如果大多数决策者均支持某一项提议，则该提议最终很有可能会被接受。Qian等^[19]根据这一思想提出了基于悲观策略的多粒度粗糙集模型。受该悲观多粒度思想的启发，给出了三个集成决策区域共识集consen_set(EPOS)、consen_set(EBND)和consen_set(ENEG)的定义，其中将所提模型获得的最终决策区域分别记为EPOS、EBND和ENEG。

定义4 (集成决策区域的共识集)   假设将Z种不同的三支决策方法获得的正域、负域以及边界域组成的集合分别记为Φ_POS={POS₁, POS₂, …, POS_Z}、Φ_NEG={NEG₁, NEG₂, …, NEG_Z}和Φ_BND={BND₁, BND₂, …, BND_Z}，POS_i，BND_i和NEG_i分别表示使用第i(1≤i≤Z)种三支决策方法求解得到的正域、边界域和负域，则三个决策区域的共识集分别定义为

$ \begin{aligned} & { consen\text{_}set }(E P O S)=P O S_1 \cap P O S_2 \cap \cdots \cap P O S_Z, \\ & { consen\text{_}set }(E B N D)=B N D_1 \cap B N D_2 \cap \cdots \cap B N D_Z, \\ & { consen\text{_}set }(E N E G)=N E G_1 \cap N E G_2 \cap \cdots \cap N E G_Z 。\end{aligned} $

(5)

2.3.2 划分不一致集

本文将共识集外的对象集合定义为不一致集，记为inconsistent_set=U-consen_set(EQ)，其中Q表示对应的正区域、负区域以及边界区域。若inconsistent_set={x₁, x₂, …，x_g}，对于任意x_i∈inconsistent_set，由定义3可知，等价类[x_i]与X的相似度为s_i，则不一致集中所有对象的相似度可以记为$ S=\left\{s_1, s_2, \cdots, s_g\right\}$。

定义5   给定不一致集合inconsistent_set={x₁, x₂, …，x_g}，对象等价类与目标概念X之间的相似度求解结果记为S={s₁, s₂, …, s_g}，则使用k-means算法，根据相似度集合S将不一致集合inconsistent_set划分为三个互不相交的对象子集，

$ \left\{\begin{array}{l} H-s e t: \text { 最高相似度对象子集, } \\ M-s e t: \text { 平均相似度对象子集, } \\ L-s e t: \text { 最低相似度对象子集。} \end{array}\right. $

(6)

对于定义5求解的三个集合，若只考虑对象等价类与目标概念之间的相似度，则三个对象子集之间满足$ H-\text { set } \succ M-\text { set } \succ L-\text { set }$。

2.3.3 最终三支决策结果求解

为了获得集成决策的三个区域，首先将正域、负域以及边界域的共识集分别当作初始的集成决策区域，即EPOS=consen_set(EPOS)、EBND=consen_set(EBND)和ENEG=consen_set(ENEG)。之后使用k-means算法将不一致集合inconsistent_set划分为三个对象子集H-set、M-set和L-set。然后将H-set加入EPOS中；L-set加入ENEG；M-set加入EBND中。综上所述，基于集成学习的三支决策模型的三个集成决策区域可以表示为

$ \left\{\begin{array}{l} E P O S= { consen\text{_}set }(E P O S)+H- { set }, \\ E B N D= { consen\text{_}set }(E B N D)+M- { set }, \\ E N E G= { consen\text{_}set }(E N E G)+L- { set } 0 。\end{array}\right. $

(7)

图 1给出了求解集成决策区域EPOS、EBND和ENEG的具体流程。

2.3.4 模型实现流程

算法1详细阐了述本文模型的构建过程。

算法1   基于集成学习的三支决策模型算法

输入：决策表$ S=(U, C \cup D, V, f), Z$种不同三支决策的方法$ M=\left\{M_1, M_2, M_3, \cdots, M_Z\right\}$，目标概念X，K设置为3。

输出：集成决策区域EPOS、EBND和ENEG。

1) 初始化$ \Pi=\varnothing, E P O S=\varnothing, E B N D=\varnothing, E N E G=\varnothing \text {, 以及 } S=\varnothing$；

2) for M_i in M do

3)   M_i的决策区域π_i={POS_i, BND_i, NEG_i}；

4)   将π_i加入Π；

5) end for

6) 计算consen_set(EPOS)、consen_set(EBND) 和consen_set(ENEG)；

7) 令EPOS=consen_set(EPOS)、EBND=consen_set(EBND)和ENEG=consen_set(ENEG)；

8) 计算不一致集合inconsistent_set；

9) for x_i in inconsistent_set do

10)   计算x_i与X的相似度s_i；

11)   将s_i加入S中；

12) end for

13) 根据S，利用k-means算法将inconsistent_set划分为H-set、M-set和L-set；

14) 将H-set加入EPOS；

15) 将M-set加入EBND；

16) 将L-set加入ENEG；

17) 返回EPOS、EBND和ENEG。

算法1首先需要将相关变量初始化为空集；然后使用不同的三支决策方法获得不同的决策结果，利用悲观多粒度粗糙集的思想计算三个集成决策区域的共识集，利用k-means算法将不一致集合划分为三个互不相交的对象子集；最后，将三个对象子集分别加入对应的共识集中。基于集成学习的三支决策模型的具体实现流程如图 2所示。

3 实验结果及分析 3.1 实验数据集和评价指标

为了验证所提模型的有效性，本文选择六个UCI标准数据集进行实验分析，数据集的具体信息如表 2所示。本文进行实验的环境为Intel(R) Core (TM) i9-13900HX 2.20 GHz, 16 GB内存，Windows11操作系统。

本文使用分类综合评价指标(f)、分类精度(p)以及边界域占比(w)这三个评估参数来验证所提模型相较于其他传统的三支决策模型的优越性。

定义6   (分类综合评价指标和分类精度) 假设需要近似的目标概念为X，POS(X)表示三支决策结果中的正域，则分类综合评价指标和分类精度分别定义为

$ f=\frac{2 * p * e}{p+e}, $

(8)

$ p=\frac{|{POS}(X) \cap X|}{|{POS}(X)|}, $

(9)

其中：$ e=\frac{|{POS}(X)|}{X}$表示分类召回率。

定义7    (边界域占比) 若论域为U，三支决策结果中的边界域记为BND(X)，则边界域占比可以定义为

$ w=\frac{|B N D(X)|}{|U|} 。$

(10)

3.2 对比算法及参数设置

本文将使用四种不同的三支决策模型作为对比算法：基于贝叶斯理论的三支决策模型(3WD)^[16]、基于效用理论的三支决策模型(U3WD)、基于前景理论的三支决策模型(P3WD)^[8]、基于后悔理论的三支决策模型(R3WD)。表 3~5给出了不同三支决策模型所需的实验参数，Z_P表示参考点，μ，ν用于衡量感知效用函数的敏感性递减程度，θ^P表示损失规避系数，σ^P，δ为权重影响因子，θ^R，δ^R分别为风险系数和后悔规避系数。L_PP/U_PP，L_BP/U_BP，L_NP/U_NP分别表示当对象属于近似目标概念时，做出接受决策、延迟决策以及拒绝决策所造成的损失或效用函数值，L_PN/U_PN，L_BN/U_BN，L_NN/U_NN分别表示当对象不属于所需近似目标概念时，做出接受决策、延迟决策以及拒绝决策所造成的损失或效用函数值。同样地，对于表 4和表 5中的参数Z^P和Z_ij^R(i, j=P, B, N)有相似的解释，可以解释为不同状态下做出不同动作所得到的前景值函数以及感知效用函数。

3.3 实验结果及对比分析 3.3.1 分类综合评价指标对比分析结果

图 3给出了五种三支决策模型的分类综合评价指标的实验对比结果。由图 3可知，本文所提出的模型在六个数据集上获得的分类综合评价指标均大于其他四种三支决策模型。因此，本文提出的基于集成学习的三支决策模型能够提高分类质量，获得更好的三支决策分类结果。

3.3.2 分类精度对比分析结果

为了进一步验证所提方法与其他四种三支决策方法的性能差异，本文使用分类精度来衡量不同三支决策模型的分类效果。不同三支决策方法获得的分类精度如图 4所示。根据图 4可知，本文所提方法在六个数据集上获得的分类精度均大于其他三支决策模型，因此本文所提出的模型能够提高三支决策的分类精度。

3.3.3 边界区域占比对比分析结果

Yao^[16]提出边界域中的对象越多，三支决策模型做出确定性决策的能力越弱。本文对五种三支决策的边界域占比进行比较分析，实验结果如图 5所示。由图 5可知，本文所提方法能够有效降低三支决策的边界区域的大小。虽然在某些情况下，本文所提模型获得的边界域比其他一种或两种方法求得的边界区域大，但并不能说明本文所提模型相较于其他三支决策模型表现较差。以Contraceptive Method Choice数据集为例，在案例2和案例3上，所提模型的边界域大于P3WD的边界域，但由图 3和图 4可知，本文所提模型的分类综合评价指标，以及分类精度均大于P3WD模型。

3.3.4 运行时间对比结果

表 6给出了所提模型相较于其他传统模型运行时间的对比结果。表中的运行时间为模型运行10次所用时间的平均值。由表 6可知，本文所提模型与其他四种传统的三支决策模型相比需要较长的运行时间。因此，本文所介绍的基于集成学习的三支决策模型比较适用于对时间成本没有严格要求的场景。

3.3.5 与其他集成三支决策对比分析结果

本节中将所提模型与Kobina Agbodah所提模型(KA-Mean)进行对比，即将多个不同的损失函数进行集成，本文取不同损失函数的平均值作为集成损失函数。图 6展示了在六个数据集上，两种模型平均分类综合评价指标、平均分类精度和平均边界域占比的实验对比结果。由图 6可知，在大多数数据集上，本文所提模型与Kobina Agbodah所提模型相比^[14]，分类综合评价指标和分类精度更高，同时边界域的占比也更小。

4 结束语

本文提出将集成思想应用于三支决策模型中。具体来说，首先使用不同的三支决策方法获得不同的三支决策结果，根据悲观多粒度粗糙集的思想获得集成决策区域的共识集；然后，使用k-means算法依据对象的相似度将不一致集合中的对象划分为三个互不相交的对象子集；最后，将这三个对象子集分别加入各自的共识集中，以此获得最终的集成决策区域。根据实验结果可知，本文所提出的模型能够改善三支决策模型的分类综合评价指标，提高分类精度以及减小边界区域占比，从而获得分类质量更好的三支决策结果。