Download PDF  
文章快速检索  
  高级检索
引用本文
张艳霞, 陈丹琪, 韩莹, 等 . 基宽灵敏度分析的径向基神经网络代理模型[J]. 智能系统学报,2014, 9(2): 259-264.
ZHANG Yanxia , CHEN Danqi , HAN Ying , et al . Surrogate model of radial basis function networks based on width factor sensitivity analysis[J]. CAAI Transactions on Intelligent Systems, 2014, 9(2): 259-264.
DOI: 10.3969/j.issn.1673-4785.201309009
基宽灵敏度分析的径向基神经网络代理模型
张艳霞1, 陈丹琪1, 韩莹1, 刘道华2
1. 防灾科技学院 灾害信息工程系, 北京 101601;
2. 信阳师范学院 计算机与信息技术学院，河南 信阳 464000
基金项目: 河北省教育厅高校科学技术研究计划资助项目(Z2013108);河北省科技计划资助项目(12270325);河南省教育厅科学技术研究重点资助项目(14A520001);河南省教师教育改革研究重点资助项目(2013-JSJYZD-025);廊坊市科学技术研究与发展计划资助项目(2013011021)    
作者简介: 张艳霞，女，1979年生，讲师，主要研究方向为数据库新技术、数据挖掘、智能算法等，发表学术论文10篇，出版著作1部;
陈丹琪，女，1972年生，副教授，主要研究方向为传感器网络、软件工程、神经网络等，发表学术论文20余篇，出版著作1部;
韩莹，女，1979年生，讲师，主要研究方向为数据挖掘、人工智能等，发表学术论文5篇，出版著作1部
收稿日期: 2013-09-03; 网络出版日期: 2014-03-29
通讯作者: 刘道华. E-mail：bjbjzyx@126.com
摘要: 为提高径向基代理模型的近似精度，突破传统固定径向基基宽的方法，采用基宽灵敏度分析方法构建径向基代理模型，给出了基宽灵敏度分析的径向基代理模型具体参数的构建方法.采用Benchmark测试函数验证该代理模型的精度，并与采用固定径向基基宽的代理模型作测试对比，结果表明，采用该方法获得的代理模型在训练时间上多于其他方法，因模型参数获得时需要进行基宽灵敏度分析，但获得的模型精度比其他方法高，且该方法不需要更多的训练样本即能获得稳定的代理模型参数.
关键词: 灵敏度分析     径向基函数神经网络     代理模型     基宽    
Surrogate model of radial basis function networks based on width factor sensitivity analysis
ZHANG Yanxia1, CHEN Danqi1, HAN Ying1, LIU Daohua2
1. Disaster Information Engineering Department, Institute of Disaster Prevention, Beijing 101601, China ;
2. School of Computer and Information Technology, Xinyang Normal University, Xinyang 464000, China
Abstract: In order to improve the approximation accuracy for the surrogate model of radial basis function networks and break through the traditional way that fixed the radial basis width factor, this paper adopts sensitivity analysis method on width factor to build the surrogate model of radial basis function networks, and gives the construction method of specific parameters for the surrogate model of radial basis function networks based on sensitivity analysis. The Benchmark test function is used to verify the accuracy of the surrogate model and the tested results are compared with the fixed radial basis width factor. The comparison results indicate that training time of the surrogate model obtained by this method is longer than that of other methods, because it needs sensitivity analysis when obtaining the width factor, while the obtained model accuracy is higher than other methods, besides, this method can obtainstable the surrogate model parameters without more training samples.
Key words: sensitivity analysis     radial basis function(RBF) networks     surrogate model     width factor    

在多学科设计优化过程中，近似模型(代理模型)的构建相当重要，它为复杂多学科问题的设计提供了重要的保证，是复杂多学科设计中关键技术之一。而在径向基神经网络代理模型构建过程中，径向基函数的中心、基宽是代理模型的2个最重要的参数，这2个参数设计的好坏直接影响代理模型精度[1-3]。在中心参数的设计上，许多学者均做过研究，如张健[4]采用k-均值聚类算法确定基函数的中心；赵磊[5]在基于k-均值和量子遗传算法的RBF网络优化一文中，通过k-均值和量子遗传算法结合起来确定RBF网络的径向基中心参数；李乐庆等[6]在基于RBF的散乱点曲面重构一文中，采用相关系数的方法自动确定网络隐含层核函数中心的大小；也有学者采用随机选取中心法、自组织选取中心法、有监督选取中心法和正交最小二乘法等[7]。而在宽度的设计上，绝大多数学者都是将基宽取为一定范围内的某一常值，或是采用线性变化值，如张占南[8]将宽度值定义为，d为两两中心的最大值，m为中心个数。除此之外，很少学者对径向基基宽进行深入研究，因基宽同中心参数一样，均存在某种分布，故将基宽定义为某一常值或是其在某一线性变化值，均不利于获得设计问题的高精度的径向基网络代理模型。基于此，笔者采用基宽灵敏度分析的方法构建径向基神经网络代理模型，并采用经典的benchmark测试函数进行验证，从模型获得时间、模型获得值同真实值的偏差等方面作比较，从比较结果中体现出该设计的代理模型具有更高的模型近似精度。

1 径向基神经网络结构

标准的径向基神经网络模型有3层结构组成，分别为输入层、隐层和输出层，输入层神经元的个数同输入样本点维数相同，即输入层对应着N维输入矢量x=[x1 x2 … xN]，隐层由K个神经元组成，其与输入层神经元全相连，其是通过隐层的激活函数将线性输入空间映射到非线性隐层空间，每一个隐层神经元的激活函数有高斯型函数、多二次型函数、逆多二次型函数、薄板样条函数组成，常取高斯型基函数[9-12]。

(1)

式中:和分别代表第i个隐单元的高斯基中心和基宽。输出层同隐层节点通过连接权wi全相联，第j个输出神经元的输出表示为

(2)

式中: 为隐层的输出矢量，wij为隐层的第j个神经元与输出层的第i个神经元的连接权。

2 变基宽灵敏度分析的RBF代理模型 2.1 变基宽的灵敏度分析

采用和表示第i个隐层神经元的中心以及宽度的一个微小扰动，故由和产生的差值为

式中: ，其是初始基宽在基宽扰动后产生的基宽值，在扰动下的连接权值为。由于该径向基高斯函数的中心、基宽以及连接权在微小扰动下对整个网络的输出均产生影响，由于文献[13]已分析过基中心以及连接权的扰动对整个网络性能的影响，在此仅分析基宽以及连接权的扰动对整个网络性能的影响。第i个隐层神经元与第j个输出层神经元宽度以及连接权的扰动和能被具有零均值和偏差和的高斯分布所定义。 (3)
(4)

式中：N是输入样本x的维数，K是隐层神经元基宽数，也是隐层神经元个数。

基于文献[14]提出的计算灵敏度方法，对于第i个神经元在扰动下产生的偏差Si被定义为

(5)

故采用这种扰动递归计算方法，在第K次递归过程中，假设径向基隐层神经元的第K-1个基宽已经被确定，即σi将被确定，因此对于第j个输出神经元的灵敏度被定义为，即

(6)

式中： ，为该网络的所有训练样本集。

式(6)经展开得

(7)
2.2 基宽灵敏度分析的RBF模型关键参数的获取

由于灵敏度分析能确定径向基关键参数的微小变化对整个径向基构成的影响，但这种分析不能确定RBF模型的具体参数值，故采用灵敏度分析过程中的矩阵信息并应用正交分解方法确定RBF的各具体参数。假设Y=[y1 y2 … yL]T，L为训练样本数，yi(i=1, 2, …, L)表示第i个输出神经元，依据式(2)有

(8)

式中：Y、H、W分别为L×M、L×L、L×M维矩阵，径向基各个隐层神经元基宽的确定可通过矩阵H的关键列分解得到，而H能被分解为QA，其中矩阵Q为L×L维阵并具有正交列[q1 q2 … qL]，A是一个L×L维上三角阵，具体的H、A阵表示为

在H阵分解过程中，只有一个列能被正交化，且在第K次分解时，一个正交列能够被先前第K-1次正交列得到，具体的相关分解式为

(9)

通过式(9)计算矩阵H的各次迭代的正交列，并能通过RBF灵敏度分析对各正交列进行排序。

假设S(K)(σi)表示为在第K次迭代过程中前K-1个RBF宽度与该σi相关的qi值，且1≤i≤L。并将式(3)以及式(7)中的相关连接权用式(10)代替。

(10)

然后计算径向基神经网络K个隐层各个径向基基宽的灵敏度值，并设Q(K)为第K次迭代的正交矩阵的值，而Q(K)被排序为

(11)

对采用RBF灵敏度分析获得各个基宽的排序值，最终获得RBF的关键基宽，从而获得RBF整个结构的参数值。

2.3 基宽灵敏度分析的RBF代理模型构建算法

通过灵敏度分析及正交变换阵即可获得径向基基宽，即具体代理模型的结构参数，具体算法描述为：

1)通过L个训练样本数据点信息构建3层RBF网络初始结构，并对该网络结构的所有参数进行初始化，包括构建矩阵H、K个隐层节点、每个隐层径向基函数中心、基宽以及隐层与输出层的所有连接权wij的初始化。

2)依据灵敏度分析式(7)计算H中的每一列值，并将该列最大灵敏度值赋给Q(1)，然后计算该训练样本的输出值与样本的期望值的差值E(1)，此时设置K=2。

3)依据式(9)计算正交阵H中的剩余Q(K－1)列。

4)对于每一个训练样本，侯选值σi是隐层第i个神经元的函数基宽值，其与正交阵H的qi列相关，计算前K-1个RBF宽度以便求出S(K)(σi)，在求解过程中，连接权将被式(10)所更新，而正交矩阵Q(K)的值将被式(11)所排序。从产生最大值的灵敏度分析的迭代步中获得正交阵Q(K)的第K列，计算该训练样本的输出值与样本的期望值的差值E(K)。

5)判断, δ为事先设定的常数值，如果该式成立，则转7)；否则转6)。

6)计数器K=K+1，并转3)。

7)输出矩阵Q(K)中的第K列值，即为该径向基函数神经网络的所有隐层神经元的高斯基基宽。

3 实例测试

为验证该方法构建代理模型的精度，采用2个benchmark测试函数具体验证该方法的有效性，并采用传统RBF固定宽度的方法作测试对比，其中固定径向基基宽，d为两两中心的最大值，m为径向基中心个数。在每种实例中采用3种不同数量的样本点作对比，从模型训练时间、代理模型获得值同真实值的偏差Ne等方面作对比，其中Ne定义如式(12)所示，而3种数据样本点分别取80、200、500个。具体的测试函数为F1和F2。

(12)

式中： 、 分别为模型的真实值、代理模型获得的输出值。

在实验过程中，采用Intel(R) Core(TM) i3-2120, 3.30GHz CPU，并在MATLAB7.0编程环境下实验，且参数δ=0.45。表 1、2为试验对比结果。

表 1 训练时间对比 Table 1 Comparison of the training time s
s
样本点数 本文方法 固定基宽的RBF
F1 F2 F1 F2
80 23.45 17.09 12.62 10.51
200 67.02 55.45 44.00 31.09
500 91.89 79.73 68.30 45.36
表选项

表 2 标准差对比 Table 2 Comparison of the standard deviation s
s
样本点数 本文方法 固定基宽的RBF
F1 F2 F1 F2
80 0.005 71 0.007 43 0.093 5 0.082 4
200 0.002 19 0.004 73 0.065 5 0.044 7
500 0.004 28 0.008 63 0.084 1 0.065 2
表选项

由表 1、表 2中可知，在相同的训练样本点数时，采用本文方法所需要的训练时间都比采用固定基宽方法需要的时间长，这主要是由于采用该方法时，各个隐层径向基基宽在每一次训练过程中均需要进行灵敏度分析，且需要正交矩阵相关列的计算以及连接权值的调整，但从获得的代理模型精度上来看，不管采用样本数多少，本文所提方法获得模型的标准差均远小于采用固定基宽方法，前者精度比后者精度高一个数量级。从样本点数多少来对比模型的精度，样本点数足够大并不能提高模型精度，也就是训练样本点取合适足够数即可，无需采集大样本数据进行径向基网络的训练，该结果也可从2种模型的对比图(如图 1~6所示)反映出，其中图 1、2和图 3分别为函数F1在样本点R为80、200、500情况下获得的模型图，图 4、5和图 6分别为函数F2在样本点R为80、200、500情况下获得的模型图。

图 1 测试函数F1在数据样本点为80时获得的模型 Fig. 1 The obtained model for the testing function F1(R=80)
图选项
图 2 测试函数F1在数据样本点为200时获得的模型 Fig. 2 The obtained model for the testing function F1(R=200)
图选项
图 3 测试函数F1在数据样本点为500时获得的模型 Fig. 3 The obtained model for the testing function F1(R=500)
图选项
图 4 测试函数F2在数据样本点为80时获得的模型 Fig. 4 The obtained model for the testing function F2(R=80)
图选项
图 5 测试函数F2在数据样本点为200时获得的模型 Fig. 5 The obtained model for the testing function F2(R=200)
图选项
图 6 测试函数F2在数据样本点为500时获得的模型 Fig. 6 The obtained model for the testing function F2(R=500)
图选项
4 结束语

合适的径向基基宽能提高代理模型的近似精度，本文通过对径向基基宽的灵敏度分析，并对正交矩阵的最大列求解，从而获得隐层各神经元的高斯径向基基宽，最终获得径向基神经网络代理模型结构。采用具体的两测试函数进行验证，证实了这种基宽灵敏度分析的径向基代理模型比采用传统的固定基宽的代理模型具有更高的模型近似精度。同时在实验过程中，也获得采用该方法在构建稳定的代理模型时并不需要太多的训练样本点。为提高代理模型的近似精度，该文只是采用对基宽的灵敏度分析，在以后的工作中有待进一步验证，在基宽灵敏度分析的基础上，同时进行中心灵敏度分析，这样也许能更进一步提高代理模型的精度。

参考文献
[1] MANOLIS W, NICOLAS T, STEFANOS K. Intelligent initialization of resource allocating RBF networks[J]. Neural Networks , 2005 (18) : 117-122
[2] WEI Z, KATIE S, NAN S. Genomic signatures characterize leukocyte infiltration in myositis muscles[J]. BMC Medical Genomics , 2012 (5) : 1-53
[3] FRANCESCO P, MASSIMILIANO R, SIMONE R. Numerical and experimental characterization of a novel modular passive micromixer[J]. Biomedical Microdevices , 2012, 14 (5) : 849-862 DOI:10.1007/s10544-012-9665-4
[4] 张健, 李为吉. 飞机多学科设计优化中的近似方法分析[J]. 航空计算技术 , 2005, 35 (3) : 5-8 ZHANG Jian, LI Weiji. Approximation methods analysis in multidisciplinary design optimization[J]. Aeronautical Computer Technique , 2005, 35 (3) : 5-8
[5] 赵磊, 贾振红, 覃锡忠, 等. 基于k均值和量子遗传算法的RBF网络优化[J]. 计算机工程 , 2011, 37 (10) : 152-153 ZHAO Lei, JIA Zhenhong, QIN Xizhong, et al. RBF network optimization based on k-means and quantum genetic algorithm[J]. Computer Engineering , 2011, 37 (10) : 152-153
[6] 李乐庆, 康宝生. 基于RBF的散乱点曲面重构[J]. 西北大学学报 , 2011, 41 (2) : 221-225 LI Leqing, KANG Baosheng. RBF-based surface reconstruction from scattered data[J]. Journal of Northwest University , 2011, 41 (2) : 221-225
[7] MARINARO M, SCARPETTA S. On-line learning in RBF neural networks:a stochastic approach[J]. Neural Networks , 2000 (13) : 719-729
[8] 张占南. 基于RBF神经网络的γ 能谱分析[D]. 大连： 辽宁师范大学， 2011: 43-58. ZHANG Zhannan. The analysis of γ spectrum by RBF network[D]. Dalian：Liaoning Normal University, 2011: 43-58.
[9] DAVID C, CHEN X W. Radial basis function neural networks for nonlinear fisher discrimination and neyman-pearson classification[J]. Neural Networks , 2003 (16) : 529-535
[10] NAM M D, THANH T C. Numerical solution of differential equations using multiquadric radial basis function networks[J]. Neural Networks , 2001 (14) : 185-199
[11] 刘道华, 张礼涛. 基于正交最小二乘法的径向基神经网络模型[J]. 信阳师范学院学报 , 2013, 26 (3) : 428-431 LIU Daohua, ZHANG Litao. Radial basis function neural network model based on orthogonal least squares[J]. Journal of Xinyang Normal University , 2013, 26 (3) : 428-431
[12] KON M A, PLASKOTA L. Information complexity of neural networks[J]. Neural Networks , 2000 (13) : 365-375
[13] SHI D, YEUNG D S, GAO J. Sensitivity analysis applied to the construction of radial basis function networks[J]. Neural Networks , 2005 (18) : 951-957
[14] ZENG X, YEUNG D S. A quantified sensitivity measure for multilayer perceptron to input perturbation[J]. Neural Computation , 2003 (15) : 183-212
DOI: 10.3969/j.issn.1673-4785.201309009
中国人工智能学会和哈尔滨工程大学联合主办。
0

文章信息

张艳霞, 陈丹琪, 韩莹, 刘道华
ZHANG Yanxia, CHEN Danqi, HAN Ying, LIU Daohua
基宽灵敏度分析的径向基神经网络代理模型
Surrogate model of radial basis function networks based on width factor sensitivity analysis
智能系统学报, 2014, 9(2): 259-264
CAAI Transactions on Intelligent Systems, 2014, 9(2): 259-264
http://dx.doi.org/10.3969/j.issn.1673-4785.201309009

文章历史

收稿日期: 2013-09-03
网络出版日期: 2014-03-29

相关文章

工作空间