模糊神经网络^[1]是将模糊系统和神经网络结合的产物, 它吸取了模糊系统和神经网络各自的优点，既具有神经网络的准确拟合能力和学习能力，又具有模糊逻辑的强大结构性知识表达能力^[2-3].模糊神经网络的学习主要有两部分：结构辨识和参数估计.结构辨识是指按照一定的性能要求确定模糊系统的规则数、隶属函数的形状以及个数.传统的方法是通过专家的知识经验获取，近年来不少学者^[4-7]用模糊聚类方法来获取初始模糊规则库，避免了传统方法的盲目性和随机性.参数学习是在初始结构确定以后对参数的进一步优化.

文献[3]提出的模糊神经网络学习算法是基于误差反向传播算法，存在收敛速度慢和易陷入局部极小点等问题.遗传算法虽然从理论上能够搜索到全局最优解，但需要对每个模糊规则进行编码，面临着粒度与搜索速度这一对矛盾^[8].而粒子群算法概念简单，容易实现，收敛速度快，并且具有全局寻优能力.用粒子群算法^[9-16]实现参数的快速全局寻优成为近年来的研究热点.文献[9-11]将模糊前件和后件参数作为粒子向量进行全局寻优，克服了传统的梯度下降法对初始参数依赖大、易陷入局部极小的缺陷.虽然粒子群算法全局搜索能力强，收敛速度快，但是在训练后期其局部搜索能力差.而梯度下降法具有较好的局部搜索能力，因此本文研究Mamdani模糊神经网络参数优化时用基于粒子群算法的模糊聚类得到模糊系统前件和后件的初始参数.然后用粒子群算法和梯度下降法相结合的方法对模糊神经网络的前件和后件参数进行进一步寻优，实验结果表明该方法提高了Mamdani模糊神经网络的逼近能力.

1 粒子群算法

粒子群优化算法(PSO)是由美国Kenney博士和Eberhart博士在1995年提出的基于对鸟群捕食行为模拟的演化算法^[17].它是基于群体智能的全局优化技术，通过粒子间的相互作用，对解空间进行智能搜索，从而发现最优解.

设在一个D维的目标搜索空间中，每个粒子看成是空间内的一个点.有m个粒子组成一个群体.其中z_i=(z_i1, z_i2, …, z_iD)为第i个粒子的D维位置矢量，v_i=(v_i1, v_i2, …, v_iD)为第i个粒子的飞行速度，每个粒子的位置Z为一个潜在的解.根据适应值函数可计算每个粒子当前的适应值，根据适应值的大小衡量出哪个粒子为最优解.记第i个粒子到第t次迭代为止搜索到的最优位置为p_i=(p_i1, p_i2, …, p_iD)，整个粒子群到第t次迭代为止搜索到的最优位置为p_g=(p_g1, p_g2，…，p_gD).在每次迭代中，粒子根据式(1)、式(2)更新速度和位置：

$v_{id}^{t + 1} = wv_{id}^t + {c_1}{\rm{ran}}{{\rm{d}}_{\rm{1}}}\left( {} \right) * \left( {p_{id}^t - z_{id}^t} \right) + {c_2}{\rm{ran}}{{\rm{d}}_{\rm{2}}}\left( {} \right) * \left( {p_{gd}^t - z_{id}^t} \right), $

(1)

$z_{id}^{t + 1} = z_{id}^t + v_{id}^{t + 1}, 其中d = 1, 2, \cdots, D. $

(2)

式中, c₁, c₂为加速系数，常取值为2；rand₁和rand₂为两个在[0, 1]范围内变化的随机数，用来保持群体的多样性.w为惯性因子，惯性因子w对优化性能有很大的影响，较大的w值有利于跳出局部极小点，而较小的w值有利于算法收敛.一般采用以下公式进行更新：

$w = {w_{\max }} - \frac{{{w_{\max }} - {w_{\min }}}}{{{\rm{ite}}{{\rm{r}}_{{\rm{max}}}}}}{\rm{iter, }} $

(3)

iter为当前迭代次数，iter_max为最大迭代次数.

2 基于粒子群算法的模糊C均值聚类

基本步骤^[4]如下：

(1) 对样本数据X={x₁, x₂, …, x_n}进行模糊C均值聚类，产生C个聚类中心，C个聚类中心组成一个粒子，重复进行N次即生成N个粒子z₁, z₂, …, z_N并对其进行实数编码.其中x_i=(x_i1, x_i2, …, x_iD)，每个粒子z_i是C×D列的一维行向量.

(2) 对每个粒子，计算样本数据的隶属度矩阵U.

(3) 计算每个粒子的适应度值，找出个体最优值p_i和全局最优值p_g.

(4) 根据公式对每个粒子的速度和位置进行更新，产生下一代的粒子群.

(5) 如果达到最大迭代次数或停止阈值则停止迭代，在最后一代中找到最优解.否则转到步骤(2).

3 Mamdani模糊神经网络初始结构

基于粒子群算法的模糊C均值聚类可以将已知的数据分为C类，假设最优粒子为z=(z₁, z₂, …, z_C)，其中z_i=(z_1i, z_2i, …, z_D-1i, z_Di)为相应的聚类中心.每个聚类中心对应一条模糊规则，模糊聚类中心的前D-1维为输入，最后一维为输出.其中C为模糊规则的数目.规则前件部分的隶属函数可以用高斯函数表示为

${\mu _{A_i^j}}\left( {{x_i}} \right) = \exp \left[{-\frac{{{{\left( {{x_i}-{m_{ji}}} \right)}^2}}}{{2{{\left( {{\mathit{\sigma }_{\mathit{ji}}}} \right)}^2}}}} \right], j = 1, 2, \cdots, C. $

(4)

式(4)中m_ji, σ_ji分别为高斯函数的中心和方差.m_ji的初始值为z_ji(第j个聚类中心的第i维)，隶属函数的宽度计算公式为

$\sigma _{ji}^2 = \frac{{{{\sum\limits_{k = 1}^n {{{\left( {{\mu _{jk}}} \right)}^q}\left( {{x_{ki}} - {m_{ji}}} \right)} }^2}}}{{\sum\limits_{k = 1}^n {{{\left( {{\mu _{jk}}} \right)}^q}} }}, q \ge 1. $

(5)

该模糊规则系统采用高斯函数、乘机推理机、单值模糊器和中心平均解模糊器, 系统输出为

$y = \frac{{\sum\limits_{j = 1}^c {{\mathit{\alpha }_\mathit{j}}{w_j}} }}{{\sum\limits_{j = 1}^c {{\alpha _j}} }}, {w_j} = {z_{Dj}}, {\alpha _j} = \prod\limits_{i = 1}^{D - 1} {{\mu _{A_i^j}}} \left( {{x_i}} \right). $

(6)

4 模糊神经网络结构

模糊神经网络结构如图 1所示.

第1层为输入层.每个神经元接受一个数据信号x_i，并向下一层传递.

第2层为隶属函数层.原始数据经过模糊聚类分为C类(C条规则)，因此，每个组(用方框表示)内各有C个神经元(表示C个前提)，其隶属函数式如式(4)所示.

第3层为模糊推理层，每个节点代表一条模糊规则，它的作用是用来匹配模糊规则的前件，计算出每条规则的合适度.这一层共有C个神经元，其中第i个神经元只接受前一层每个组内的第i个神经元的输出.其输出如式(6)的α_j.

第4层为输出层，它所实现的是精确化计算，输出公式为式(6)的y.

定义网络训练的目标函数为

$E = \frac{1}{{2N}}\sum\limits_{i = 1}^N {{{\left( {{y_i} - {y^*}} \right)}^2}} $

(7)

式中y_i是模糊系统实际输出；y^*为期望输出.

5 参数学习

Mamdani模糊神经网络通过基于粒子群算法的模糊聚类确定模糊规则库的初始参数.传统的梯度下降法对初始值敏感，学习参数时容易陷入局部最优.而粒子群算法全局搜索能力强，收敛速度快.但是粒子群算法也同样存在着不足，当在最优点附近时无法精确地确定最优解的位置，即局部搜索能力不强.所以本文在参数学习时以式(7)中的函数为目标函数，先用粒子群算法对模糊规则库的初始参数进行全局寻优，当达到最大迭代次数或目标函数小于某一阈值时采用梯度下降法对(m_ji, σ_ji, w_j)进行进一步调整，使其具有更高的精度，最后得到理想完善的模糊规则库.

6 仿真实例

通过以下两个函数逼近问题的例子来验证文中所提方法的性能.

(1) ${f^1}\left( x \right) = \frac{{\sin x}}{x}; $

(2) ${f^2}\left( {{x_1}, {x_2}} \right) = 0.5\left( {x + \sin 2{\rm{ \mathit{ π} }}{\mathit{x}_{\rm{1}}}\cos 2{\rm{ \mathit{ π} }}{\mathit{x}_{\rm{2}}}} \right). $

通过Matlab仿真以上两个函数逼近实验，分别得到图 2和图 3所示结果，两个函数分别在各自定义域内均匀选取200个输入输出数据对.按照基于粒子群算法的模糊聚类对样本数据进行聚类，其中聚类数目为21，粒子群数目为30，最大迭代次数为500，最大阈值为0.000 001.在得到初始模糊规则后，在其取值附近产生30个模糊规则库，此时用粒子群优化模糊规则库的参数时最大迭代次数为1 000，最大阈值为0.000 000 1.当粒子群优化模糊规则库的参数达到最大迭代次数或最大阈值时，用图 1即梯度下降法对参数进行进一步寻优最大迭代次数为60 000.

从表 1中可以看出做函数逼近时文中所提到的方法具有更高的精度.通过对比说明将粒子群算法和梯度下降法相结合对参数寻优能更好地逼近函数.

7 结束语

基于粒子群算法的模糊聚类产生一个初始的模糊规则库，接着用粒子群算法和梯度下降法来共同学习初始参数，充分利用了粒子群算法的全局搜索能力和梯度下降法的局部搜索能力使得模糊规则库中的参数具有更高的精度，实验结果表明该方法提高了Mamdani模糊神经网络的逼近能力.