﻿ 群智能算法优化支持向量机参数综述
«上一篇
 文章快速检索 高级检索

 智能系统学报  2018, Vol. 13 Issue (1): 70-84  DOI: 10.11992/tis.201707011 0

### 引用本文

LI Su, YUAN Zhigao, WANG Cong, et al. Optimization of support vector machine parameters based on group intelligence algorithm[J]. CAAI Transactions on Intelligent Systems, 2018, 13(1): 70-84. DOI: 10.11992/tis.201707011.

### 文章历史

1. 北京工商大学 食品安全大数据技术北京市重点实验室，北京 100048;
2. 国家农业信息化工程技术研究中心，北京 100097

Optimization of support vector machine parameters based on group intelligence algorithm
LI Su1, YUAN Zhigao1, WANG Cong2, CHEN Tianen2, GUO Zhaochun1
1. Beijing Key Laboratory of Big Data Technology for Food Safety, Beijing Technology and Business University, Beijing 100048, China;
2. National Engineering Research Center for Information Technology in Agriculture, Beijing 100097, China
Abstract: The support vector machine is based on statistical learning theory, which is complete, but problems remain in the application of model parameters, which are difficult to choose. In this paper, we first introduce the basic concepts of the support vector machine and the group intelligence algorithm. Then, to optimize the latest research results and summarize existing problems and solutions, we systematically describe various classical group intelligence algorithms that the support vector machine parameters identified. Finally, drawing on the current research situation for this field, we identify the problems that must be addressed in the optimization of support vector machine parameters in the group intelligence algorithm and outline the prospects for future development trends and research directions.
Key words: support vector machine    statistical study    group intelligence algorithm    optimization of parameters    global optimization    parallel search    convergence speed    optimization accuracy

1 支持向量机理论

SVM的基本思想是使用核函数把输入样本空间映射到高维特征空间，在高维空间中求得一个最优分类面，得到输入与输出变量间的非线性关系，如图1所示。

 $\begin{array}{c}\varphi ({\mathit{\boldsymbol{w}}}) = \displaystyle\frac{1}{2}{\left\| {\mathit{\boldsymbol{w}}} \right\|^2}\\{\rm{s}}.{\rm{t}}.\;\;\;{y_i}({\mathit{\boldsymbol{w}}} \cdot {x_i} + b) \geqslant 1,i = 1,2, \cdot \cdot \cdot ,N\end{array}$ (1)

 $k({{\mathit{\boldsymbol{x}}}_1},{{\mathit{\boldsymbol{x}}}_2}) = {\left( {\left\langle {{{\mathit{\boldsymbol{x}}}_1},\left. {{{\mathit{\boldsymbol{x}}}_2}} \right\rangle + R} \right.} \right)^d}$ (2)

 $k({{\mathit{\boldsymbol{x}}}_1},{{\mathit{\boldsymbol{x}}}_2}) = \exp \left\{ { - \frac{{{{\left\| {{{\mathit{\boldsymbol{x}}}_1} - {{\mathit{\boldsymbol{x}}}_2}} \right\|}^2}}}{{2{\sigma ^2}}}} \right\}$ (3)

 $k({{\mathit{\boldsymbol{x}}}_1},{{\mathit{\boldsymbol{x}}}_2}) = \left\langle {{{\mathit{\boldsymbol{x}}}_1},{{\mathit{\boldsymbol{x}}}_2}} \right\rangle$ (4)

2 群智能算法

3 群智能算法优化支持向量机参数

3.1 遗传算法 3.1.1 遗传算法简介

3.1.2 遗传算法优化支持向量机参数

3.2 蚁群算法 3.2.1 蚁群算法简介

3.2.2 蚁群算法优化支持向量机参数

3.3 粒子群算法 3.3.1 粒子群算法简介

3.3.2 粒子群算法优化支持向量机参数

3.4 人工鱼群算法 3.4.1 人工鱼群算法简介

3.4.2 人工鱼群算法优化支持向量机参数

3.5 人工蜂群算法 3.5.1 人工蜂群算法简介

3.5.2 人工蜂群算法优化支持向量机参数

3.6 萤火虫算法 3.6.1 萤火虫算法简介

3.6.2 萤火虫算法优化支持向量机参数

 ${x_i}(t + 1) = {x_i}(t) + {l_j}(t) \times {\beta _0}{{{e}}^{ - \gamma {r^2}ij}}({x_j} + {x_i}) + \alpha \times ({\rm{rand}} - \frac{1}{2})$ (5)

3.7 蝙蝠算法 3.7.1 蝙蝠算法简介

2010年YANG Xinshe[72-74]提出了一种元启发式优化算法，这种算法就是蝙蝠算法(bat algorithm, BA)。蝙蝠算法的主要原理是，模仿自然界中的蝙蝠利用声呐来避免障碍物探测猎物的群智能优化算法。

3.7.2 蝙蝠算法优化支持向量机参数

2015年，魏峻[78]提出了一种基于ReliefF和蝙蝠算法的SVM参数优化方法，对SVM的惩罚参数和核参数进行优化。该方法首先基于ReliefF的基因初选，剔除与分类无关的噪声和冗余基因，其次进行基于蝙蝠算法的SVM参数优化。结果表明，该算法得到的最优参数对SVM的分类精度得到较明显的提高，同时对SVM的学习和泛化能力也有所加强。

SVM的参数(例如核参数和惩罚参数)选取不当会对预测模型的准确性有很大影响，针对此问题A.Tharwat[79]等提出了一种基于蝙蝠算法的SVM参数优化方法，与粒子群算法和遗传算法进行比较，实验结果表明，该模型能够找到SVM的最优参数组合，避免了局部最优问题。

3.8 其他群智能算法优化支持向量机参数

3.9 群智能算法与其他算法相结合优化支持向量机参数

3.10 混合群智能算法优化支持向量机参数

3.11 各种群智能算法优化支持向量机参数的优化性能比较

4 结束语

1) 从本文中可以看出，经过国内外学者对群智能算法的不断研究与改进，群智能算法在SVM参数优化方面已经取得了很多重要的成果，例如，具有较强的并行处理能力、寻优速度快、有效避免陷入局部最优以及可以进行全局寻优等，同时基于群智能算法优化的SVM模型能够获得更高的预测和分类精度。所以群智能算法是用来对SVM参数优化的一个不错的选择。

2) 虽然有很多学者使用群智能算法在SVM参数优化方面进行了大量的研究工作，但是并没有很好地解决该问题。例如，改进的遗传算法虽然能在一定条件下避免陷入局部最优，但是依然存在陷入局部最优的可能性，所以在判断陷入局部最优和跳出局部最优方面，还有待进一步研究且解决此问题。蚁群算法虽然获得的最优参数组合的分类性能较其他算法更高，但是存在运行时间较长，样本数增加到一定程度算法的时间复杂度更高等问题。所以对蚁群算法的收敛性还需进一步研究。

3) 大多数研究成果都在关注算法的前期后期收敛性问题，少部分研究中会将算法的收敛性和寻优精度结合在一起同时考虑，进行改进。群智能算法在对SVM进行参数优化时，不能确保每种条件下都拥有较强的寻优能力，同时也不能保证得到的最优参数对每种模型都拥有很好的分类和预测能力。改进后的算法虽然可以同时具备寻优速度快、寻优精度高、收敛到全局最优解、避免过早陷入局部最优等优点，但还需要对算法进行不断地研究与改进。