文章快速检索 高级检索

1. 北京工业大学 信息学部, 北京 100124;
2. 济南大学 数学科学学院, 山东 济南 250022;
3. 计算智能与智能系统北京市重点实验室, 北京 100124

Review and prospect on neural networks with random weights
QIAO Junfei1,3, LI Fanjun2, YANG Cuili1,3
1. Faculty of Information Technology, Beijing University of Technology, Beijing 100124, China;
2. School of Mathematical Science, University of Jinan, Jinan 250022, China;
3. Beijing Key Laboratory of Computational Intelligence and Intelligent System, Beijing 100124, China
Abstract: A randomized learning algorithm in a neural network, which can overcome the difficulty of slow convergence and local minimum inherently in the traditional gradient-based learning algorithms, has recently become a hot topic in the field of neural networks. Some neural networks with random weights using randomized learning algorithms have been proposed. The aim of this paper summarizes the current research on neural networks with random weights and provides some views about its development trends. First, a simplified model of a neural network with random weights was proposed, and the randomized learning algorithm was summarized, based on the simplified model. Then, a review on neural networks with random weights was given, and the performance of several different neural networks with random weights was analyzed, based on the simplified model. Finally, several views on neural networks with random weights are presented.
Key words: neural network with random weights     feedforward neural network     recurrent neural network     cascade neural network     randomized learning algorithm

1 随机权神经网络简化模型

 图 1 随机权神经网络简化模型 Fig. 1 Simplified model of NNs with random weights

 (1)

 (2)

 (3)

 (4)

 (5)

1) 随机初始化随机层第j个隐节点的参数向量θjj=1，2，…，L；

2) 由式(1)和式(3)计算网络随机层的输出矩阵H

3) 由式(4)或式(5)计算网络的输出层权值矩阵；

4) 对训练好的网络进行测试。

2 随机权神经网络结构及性能分析 2.1 随机权单隐含层前馈神经网络

Huang等将随机学习算法应用于SLFN训练，提出了标准的随机权单隐含层神经网络模型(Extreme learning machine，ELM)[30]，如图 2所示，其中随机层节点由输入层节点及隐含层节点复合而成。ELM网络随机层节点的映射函数为

 (6)

 图 2 随机权单隐含层前馈神经网络 Fig. 2 SLFN with random weights

 (7)

 图 3 随机权功能连接网络 Fig. 3 FLNN with random weights

2.2 随机权多隐含层前馈神经网络

 (8)

 图 4 随机权多隐含层前馈神经网络 Fig. 4 MLNN with random weights

2.3 随机权级联神经网络

 图 5 随机权级联神经网络 Fig. 5 CNN with random weights

 (9)

 (10)

2.4 随机权递归神经网络

 图 6 随机权递归神经网络 Fig. 6 RNN with random weights

 (11)

 (12)

ESN网络的随机层由大规模稀疏连接的递归模拟神经元构成，称为“动态储备池(dynamical reservoir)”。当动态储备池权值矩阵的最大奇异值小于1时，ESN网络动态储备池的输出状态由历史输入唯一确定，称为回声状态特性(eho state property，ESP)。H.Jaeger指出通过设置动态储备池权值矩阵的谱半径接近且小于1，使动态储备池可处于稳定边界，进而使ESN网络能够获得较好的信息处理能力[22]。与传统的递归神经网络相比，ESN网络处理时间序列预测问题的能力得到大幅提高[59]，并成功应用于语音识别及非线性信号处理等领域[6-61]。然而针对具体问题，随机动态储备池并不是最优选择[62-63]。因此，ESN动态储备池结构和储备池权值矩阵设计仍然是该领域的开放课题，并出现了一些有意义的成果[64-70]

LSM是一种在线网络模型，提出的动机是用于解决时序信号的实时计算问题，常用抽象的皮质微柱模型进行描述[71]。LSM的工作原理与ESN相近，但其随机层由LIF(leaky-integrate-and-fire)神经元构成，能够实时处理脉冲数据流，更具有生物相似性[72]。研究表明，当LSM的随机层的动态特性达到混沌边界时，模型可处于最佳状态[73]。目前，LSM模型已成功应用于时间序列预测及模式识别等领域[74-75]

3 随机权初始化方法

3.1 前馈神经网络随机权初始化方法

3.2 递归神经网络随机权初始化方法

4 结论及展望

1) 随机权神经网络结构设计研究。与传统的神经网络相比，随机权神经网络结构庞大，凑试法及单个神经元的增长修剪算法难以实现结构的快速有效设计，因此研究随机权神经网络的实时在线结构设计方法将是一个重要的研究方向。

2) 神经网络随机学习理论研究及生物学解释。人脑研究表明，大脑中存在大量随机现象，借鉴大脑的研究成果可进一步模拟大脑的随机特性，设计新的随机学习算法，实现大脑的部分功能；借用统计学及信息论的相关知识，研究随机权神经网络的统计学特性，可完善神经网络学习理论。

3) 研究随机权递归神经网络随机层参数设置及网络的稳定性问题。随机权递归神经网络是一个动态系统，其网络性能及稳定性依赖于随机层参数的选择，如随机层权值矩阵的谱半径、奇异值及稀疏性等。如何选择恰当的随机层参数使网络同时具有稳定性及高效的信息处理能仍然是该领域的开放课题。并出现了一些有意义的成果[63-67]

4) 随机权神经网络在复杂流程工业过程中的应用研究，比如污水处理、水泥加工及石化生产行业。目前，随机权神经网络主要应用于模式分类问题，并取得较好的效果，而在流程工业过程中的应用研究较少。针对流程工业过程的时变、时滞、非线性、强耦合及不确定性等特点，设计恰当的随机权神经网络模型，实现流程工业过程的智能建模与控制，是随机权神经网络未来的应用研究方向之一。

DOI: 10.11992/tis.201612015

0

#### 文章信息

QIAO Junfei, LI Fanjun, YANG Cuili

Review and prospect on neural networks with random weights

CAAI Transactions on Intelligent Systems, 2016, 11(6): 758-767
http://dx.doi.org/10.11992/tis.201612015