切换回归模型在经济、数据挖掘等领域中有着广泛的应用。近年来，基于模糊聚类分析^[1-4]的切换回归技术得到了广泛的研究。如文献^[5]在模糊C均值聚类算法(fuzzy C clustering algorithm, FCM)的基础上提出了模糊C均值回归算法(fuzzy C regression algorithm, FCR)算法，从而实现了对多个模型的切换回归；在此基础上，文献^[6]结合牛顿万有引力定律提出了关于切换回归的集成模糊聚类算法(gravity-based fuzzy clustering algorithm, GFC)算法，文中实验表明该算法与FCR相比具有更快的收敛速度；文献^[7]通过向FCR中引入动态的样本权值，提出了离群模糊切换回归模型，从而使模型具有更强的鲁棒性，并且能通过权值发现数据集中的离群点。虽然这些方法在一定条件下可以较好地解决切换回归模型中的参数学习问题，但是面向现实生活中的复杂数据，仍然有诸多局限性，其学习能力有待进一步提高。

近年来，以极速学习机(extreme learning machine，ELM)为代表的单隐层前馈神经网络快速学习理论得到了研究人员的深入研究^[8-11]。研究表明，将ELM特征映射技术代替已有核方法中的核映射，可以有效提高学习器的学习能力，目前该技术已被广泛用于分类、回归、聚类等学习任务中。结合已有的研究工作，本文重点研究基于ELM隐空间学习理论的切换回归模型。首先研究基于主成分分析(principal component analysis, PCA)^[12]的压缩隐空间构建新方法。在此基础上，结合多层神经网络学习方法，将单隐层结构改造为多隐层结构^[13]，提出堆叠隐空间模糊C回归算法(cascaded hidden space FCR, CHS-FCR)。该方法通过使用层次化的学习结构对数据对象在不同层次上的表达形式进行抽象，并通过重组低层概念来重新定义高层概念，从而有效提高了学习系统处理复杂问题的能力。经实验验证，该算法能有效地弥补经典FCR的若干不足，在保证学习精度和学习效率的前提下，该方法对噪声数据和离群点有很好的鲁棒性。

1 相关工作 1.1 ELM隐空间

在ELM中，隐节点所形成的特征空间构成隐空间^[14]。其映射过程如下：1) 随机生成权重矩阵W∈R^L×d和偏移量矩阵B=[b₁ b₂ … b_L]^T，其中L是ELM隐节点总数，d是原始数据的维数。2) 将原始数据映射到L维的隐空间中。每一个输入数据都是一个d维的向量，x=[x₁ x₂ … x_d]^T。该特征映射可以表示为：

式中G(x)是激励函数，其映射过程如图 1所示。

常用的激励函数有以下几种：

1.2 模糊C回归算法及其问题分析

1993年Richard J.Hathaway^[5]和James C.Bezdek^[15]提出了FCR算法。该算法能在对观察数据进行模糊划分的同时估计出划分数据满足的回归模型参数。设数据集D={(x₁, y₁), (x₂, y₂), …, (x_n, y_n)}, 其中n是数据点个数, x_j=(x_j1, x_j2, …, x_jd)∈R^d, y_j∈R表示观察数据模型, d是数据集的特征数。FCR算法构建的回归模型为

式中：c是模型数目，j是样本点个数，β_i为模型参数。FCR算法的目标函数为

式中u_ij是隶属度, 且满足∑_i=1^cu_ij=1, u_ij∈{0, 1}, i=1, 2, …, c;j=1, 2, …, n。m是模糊指数且m>1。FCR使用式(7) 来更新隶属度：

FCR的目标函数是一个基于模糊划分的多模型最小二乘拟合准则问题, 任何现有的能解决加权最小二乘问题的方法都可以用来估计参数。模型参数可以通过式(8) 求解：

式中：X∈Ω⊂R^n×(d+1) 是以(1, x_j)=(1, x_j1, …, x_jd)为行向量输入数据矩阵。Y∈Ω⊂Rⁿ是以输出y_j为行向量的输出列向量；D_i∈Ω⊂R^n×n是以u_ij^m第j个对角元素的对角矩阵, D_i=diag(u_i1^m, u_i1^m, …, u_in^m)。FCR算法的步骤为:

1) 给定模型参数c(1≤c≤n)，模糊指数m>1, 迭代终止条件ε>0, 并初始化划分矩阵U⁽⁰⁾ , 迭代步骤l=0；

2) 根据式(8) 计算模型参数β_i^l；

3) 根据(y_j－y_{j, i})²计算拟合误差, 代入式(7) 求隶属度矩阵U；

4) 根据式(6) 计算目标函数值, 若则迭代终止，其中ε表示迭代终止的阈值；否则l=l+1, 转至步骤2) 。

研究表明，FCR可以较好地解决切换回归问题，但是也存在以下问题：对噪声和离群点敏感，当数据集中含有离群点或大量噪声数据时, 算法性能就会受到影响；FCR算法在数据原空间中进行学习，针对现实生活中的复杂数据，FCR算法的性能很难得到有效地提升。

本文将ELM隐空间学习理论与特征降维技术相结合，基于多隐层神经网络学习方法，将传统的基于浅层结构的学习方法改造为多隐层学习结构，从而提高对复杂数据的无监督学习能力。通过提出堆叠隐空间学习结构，从而有效精简冗余信息和过滤噪声数据，同时补充必要的信息，使得切换回归算法具有更强的鲁棒性，并将其应用于多模型建模以取得更好的效果。

2 堆叠隐空间模糊C回归算法 2.1 基于主成分分析的压缩ELM隐空间

在ELM学习技术中，可以通过随机赋值的方法来快速生成ELM隐空间，随着隐节点数目的增加，学习精度也不断提高^[16-17]。但是随之而来的一个重要问题是计算效率会逐步降低。此外，由于隐节点生成过程中相关参数是随机生成的，因此不可避免地会引入大量噪声。针对这一问题，本文中将ELM隐空间技术与主成分分析相结合，提出基于主成分分析的压缩隐空间构建方法，其过程如下：

1) 根据图 1所示过程将原始数据映射到高维空间R^L中，得到矩阵H⁽¹⁾ ∈R^n×L，n为样本点个数；

2) 对H⁽¹⁾ 的每一列H_j⁽¹⁾ , j=1, 2, …, L进行归一化，得到矩阵A=[A₁ A₂ … A_L], 其中A_j计算方法为

3) 计算矩阵A的协方差矩阵C，并计算矩阵C的特征值λ_i和特征向量V_i，i=1, 2, …, L；

4) 将特征值λ_i降序排序，取前p个特征值对应的特征向量，按列组成矩阵，特征提取后的矩阵为

其结构可映射为如图 2所示的前馈神经网络模型。输入数据经过输入层后，通过ELM特征映射被映射到高维ELM隐空间中。在此过程中，生成ELM隐空间时的随机赋值操作会引入噪声，后续的PCA对高维隐空间中的数据进行降维，从而有效地过滤掉部分噪声，这有利于提高学习性能。

2.2 堆叠隐空间模糊C回归算法CHS-FCR

在隐空间构建过程中，为了使学习器得到更好的表达能力和稳定的学习效果，通常会使用较多的隐节点数目。但是，这增加了额外的计算负担。研究表明，在保证学习器泛化能力的前提下，将单隐层结构改造为多隐层结构是降低隐节点数目的有效方法。为此，本文对上述基于PCA的压缩隐空间映射过程进行改造，通过把ELM隐层中的隐节点分散到多个隐含层中，并与PCA层的隐结点相结合，形成新的混合隐含层。将若干个混合隐含层进行叠加，得到多隐层学习结构，该过程如图 3所示。

堆叠隐空间模糊C回归算法CHS-FCR的描述如下：

设隐节点总数为L，数据集D的维数为d，PCA压缩后的维数为p，隐空间压缩的次数为f，每层隐空间的ELM隐节点数T=L/f，n为样本点个数。

1) ① 随机生成值在[0,1]之间的权重矩阵W∈R^T×d以及值在[0.5, 1]之间的偏移量矩阵B∈R^T×1。

②根据式(1) 以及图 1将数据集D进行特征映射，得到高维数据矩阵H⁽¹⁾ ∈R^n×T。

2) 利用基于PCA的压缩隐空间方法对H⁽¹⁾ 进行压缩，得到维数为p的数据矩阵H⁽²⁾ ；

3) for j=1:f-1

①重复步骤1中1) 、2) ；

②将H⁽²⁾ 与H⁽¹⁾ 合并存入矩阵H⁽³⁾ 中， H⁽³⁾ =[ H⁽²⁾ H⁽¹⁾ ]。

③利用PCA对H⁽³⁾ 进行特征提取，得到矩阵记为H⁽²⁾ ；

循环结束；

4) 构造全一矩阵1∈R ^n×1，将最终获取的数据H⁽²⁾ =[ 1, H⁽²⁾ ]利用FCR框架进行切换回归。

CHS-FCR算法将基于PCA的压缩ELM隐空间单隐层学习结构改造为多隐层学习结构。假设从第二层开始，每个隐含层中随机生成的ELM隐节点数都是T，由前一层PCA压缩后得到的隐节点数为T′, 易得隐节点总数为

其中随机生成的ELM隐节点总数为

经过多次隐空间压缩，噪声信息被过滤，同时会发生相应的信息损失；但是每个混合层中新生成的ELM隐节点信息弥补了这些丢失的信息，因此本文的堆叠隐空间结构能得到更好的学习效果。

3 实验研究与分析 3.1 实验平台以及算法性能的评价指标

本文在表 1中实验平台上进行所有实验并且采用式(13) 和(14) 所示的指标来评价各算法的性能。

式中：N表示测试样本数，y_i表示测试样本第i次输入的输出，y_i′表示测试样本第i次输入的模糊系统输出，。式(13) 和(14) 所示的指标数值分别越接近于0和1，则算法的性能越好。

3.2 鲁棒性实验

本实验中，基于文献^[5]的模拟回归数据集, 通过分别加入噪声点和离群点来比较FCR以及CHS-FCR算法的鲁棒性。实验中，FCR算法和CHS-FCR算法的模型个数c=2，模糊指数m=2，CHS-FCR隐空间压缩次数f=5，PCA特征提取后的维数p=3。

3.2.1 离群点实验

在切换回归分析中，离群点主要是指不符合任一模型的数据，它主要是在收集数据的过程中出现误操作或异常情况而引入的。本实验中基于式(15) 和(16) 生成2个回归数据集，并分别加入离群点(16, 8) 。实验数据集分布如图 4所示。

图 5和图 6给出了加入离群点之前模糊C均值回归算法(fuzzy C regression algorithm, FCR)和堆叠隐空间模糊C回归算法(cascaded hidden space FCR, CHS-FCR)的回归结果，图 7和图 8给出了加入离群点之后两算法的回归结果。从中可以看出，加入离群点之前，FCR和CHS-FCR这2个算法均可以得到理想的结果。加入离群点之后，FCR的拟合效果明显受到离群点的影响；但是CHS-FCR仍然能得到令人满意的拟合结果。可见，压缩隐空间方法的引入使本文所提的CHS-FCR算法对离群点具有更好的鲁棒性。

3.2.2 抗噪声实验

为了进一步验证本文算法的抗噪性能并将其与FCR进行比较，本实验采用式(17) 生成带随机噪声的数据集。

式中δ∈[-0.5, 0.5]为服从均匀分布的随机值。分别运行FCR和CHS-FCR，所得结果如图 9所示。从图 9的模拟实验结果中可以看出, 在模拟数据集C中，FCR算法易受噪声点的影响, 无法得到准确的实验结果。相反，CHS-FCR算法在该数据集中能够取得较好的拟合效果。

综合以上2个实验不难发现，传统的FCR算法性能易受离群点和噪声数据的干扰，而CHS-FCR算法利用多次隐空间映射和压缩，使得隐空间中的冗余信息被精简，噪声被有效过滤，同时每一层中进行了适度的信息弥补，这使得该算法在不同回归模型中均能很好地完成学习过程。

3.3 发酵数据集多模型建模

切换回归模型由多个简单回归模型混合而成，本文所研究的切换回归模型可用于发酵数据集多模型建模。为了更好地表明多层压缩隐空间对回归性能的影响，在保持ELM隐节点数目不变的前提下，给出了CHS-FCR的2个不同版本：CHS-FCR (f=1) 和CHS-FCR (f=5) ，其中f为隐空间压缩的次数。通过使用CHS-FCR (f=5) 、FCR、HS-FCR以及CHS-FCR (f=1) 算法进行训练得到训练数据集中各样本点的隶属度u_ik，k=1, 2, …, n；i=1, 2, …, c并使用式(18) 计算各类聚类中心v_i。对于CHS-FCR(f=5) 和CHS-FCR(f=1) ，还分别记录各层中的ELM隐空间映射矩阵W、偏移量矩阵B和PCA过程中的变换矩阵。在测试过程中，通过式(1) 、(9) 、(10) 将测试样本x_t映射到压缩隐空间中，再由式(5) 求出测试回归模型y_{t, i}并使用式(18) 、(19) 得到各测试点的隶属度。预测值由计算而得。

式中：

本文使用参考文献^[18]中所用的发酵数据集并且采用10折交叉验证的方法进行实验。将CHS-FCR (f=5) 算法和FCR、HS-FCR、CHS-FCR (f=1) 算法进行比较。实验中，对于不同的数据集，采用不同的模糊指数m和模型个数c，并且让各算法都在同样的参数条件下运行。表 2给出各数据集的详细信息及该数据集在实验中的相关参数设置，表 3给出各算法说明及相关参数设置。

3.3.1 算法的拟合性能对比实验

本实验从拟合精度出发来研究CHS-FCR(f=5) 、CHS-FCR (f=1) 与FCR以及HS-FCR在表 2所示中的发酵数据集上的多模型建模效果。实验中，分别运行各算法10次，得到J_RRSE、J_SCC这2个指标的均值和标准差如表 4所示。

从表 4的实验结果可以发现，在发酵数据集中 CHS-FCR (f=5) 与FCR和HS-FCR这2个算法相比拥有更好的学习效果。将CHS-FCR(f=5) 与CHS-FCR(f=1) 进行比较，不难发现，将ELM隐节点分散到多个混合隐含层中，经过多次隐空间压缩，有助于进一步提高算法的学习精度和算法的稳定性。

3.3.2 算法效率对比实验

本实验研究在相同ELM隐节点总数的前提下，浅层学习结构和多层学习结构对算法效率的影响。实验中分别执行CHS-FCR(f=5) 与HS-FCR算法，并为2个算法设置相同的ELM隐节点总数目为500、1 000。分别使2个算法各运行10次，记录J_RRSE、J_SCC以及算法运行时间这3个指标的均值如表 5所示。由表 5中的HS-FCR的运行结果可以看出，通过ELM映射将原数据经映射到高维ELM隐空间使得隐节点总数增加，后续学习过程的效率明显降低。而本文所提出的CHS-FCR (f=5) 中，虽然涉及了多次隐空间映射和压缩，但是在隐空间压缩过程中，冗余信息被有效精简，这使得CHS-FCR(f=5) 算法能够在高效处理复杂数据的同时具有更好的拟合效果。由此可见，相同ELM隐节点总数的情况下，本文提出的具有多层学习结构堆叠隐空间构造技术可以使后续的回归算法取得更好的学习效果。

3.3.3 参数敏感性实验

在CHS-FCR(f=5) 和FCR算法中，模糊指数m是一个重要指标，它严重影响着算法的执行效果。基于表 2中的各数据集，本实验将研究模糊指数m的变化对算法性能产生的影响。给出了J_RRSE、J_SCC指标的变化情况，实验中，m值在{2，2.2，2.4，2.6，2.8，3.0，3.2，3.4，3.6，3.8，4.0}上变化，算法的其他参数如表 3所示，2个算法分别运行10次。记录J_RRSE和J_SCC指标的均值，实验结果如图 10、11所示。

从图 10、11结果中可以看出FCR算法的性能在4个数据集中随着m的变化有着较大的波动。例如在图 11(a)中，当m=3.2时FCR算法的J_RRSE指标会出现明显的波动现象，而图 11(b)中的CHS-FCR(f=5) 算法无论其m值怎样变化，其J_RRSE指标基本呈现平稳变化的趋势。由此可见，虽然模糊指数m在较为宽广的范围内变化，但是CHS-FCR (f=5) 在各数据集上均可以取得令人满意且较稳定的结果。

综上所述，经过堆叠隐空间的压缩与重组，CHS-FCR(f=5) 算法对模糊指数m的变化具有更好的鲁棒性，这有利于用户在实际应用中更方便地选取模糊指数。

4 结束语

本文基于主成分分析和ELM映射技术将复杂数据映射到低维空间中，并结合多层神经网络学习方法将单隐层结构改造为多隐层结构；在此基础上提出堆叠隐空间模糊C回归算法CHS-FCR。通过在模拟以及发酵数据集的实验结果，均表明本文方法较其他相关算法有更好的鲁棒性且能够高效地处理复杂数据，可以有效地应用于发酵数据集多模型建模工作中。当前，随着回归模型算法研究的不断深入，人们已经基于不同理论提出了更先进的回归技术。如何将本文所提的堆叠隐空间技术应用于这些回归算法中，这将是今后研究的重点。