在20世纪70年代，由Vapnik等^[1]提出的统计学习理论是研究有限样本情况下机器学习规律的理论，而支持向量机的发展则是基于该理论的。随着支持向量机发展得越来越成熟，其不完善的地方仍需要进一步研究。参数的优化选择一直以来是支持向量机的一个研究热点。群智能算法在参数优化方面具有较强的并行处理能力，寻优速度快，同时具有全局寻优等特点。使用群智能算法是当前支持向量机参数优化方法的研究前沿。

1 支持向量机理论

基于数据的机器学习是现代智能技术的一个重要方面，机器学习本质上就是一种问题真实模型的逼近，研究从观测数据(样本)出发寻找用来对未知数据进行预测的规律。

支持向量机(support vector machine, SVM)是20世纪90年代中期发展起来的一种机器学习方法。该方法是基于统计学习理论，通过寻求结构化风险最小来提高学习机泛化能力，完成经验风险和置信范围的最小化，从而达到在统计样本数量较少的情况下，也能获得优良统计规律的目的。因为其学习性能突出，所以该领域成了大量学者的焦点。该技术目前也成为机器学习界的研究热点，并在很多领域都得到了成功的应用，如人脸识别、手写数字识别、文本自动分类以及机器翻译等。

SVM的基本思想是使用核函数把输入样本空间映射到高维特征空间，在高维空间中求得一个最优分类面，得到输入与输出变量间的非线性关系，如图1所示。

假设给定一个特征空间上的训练数据集 $T = \left\{ {\left( {{{\mathit{\boldsymbol{x}}}_1},{{\mathit{\boldsymbol{y}}}_1}} \right),\left( {{{\mathit{\boldsymbol{x}}}_2},{{\mathit{\boldsymbol{y}}}_2}} \right), \cdots \! ,\left( {{{\mathit{\boldsymbol{x}}}_N},{{\mathit{\boldsymbol{y}}}_N}} \right)} \right\}$ ，其中， ${{\mathit{\boldsymbol{x}}}_i} \in R^n$ 为第i个特征向量，也称为实例； ${{\mathit{\boldsymbol{y}}}_i} \in \left\{ {1, - 1} \right\}$ ， $i = 1,2, \cdots \! ,N$ ，为 ${{\mathit{\boldsymbol{x}}}_i}$ 的类标记，当 ${{\mathit{\boldsymbol{y}}}_i} = 1$ 时，称 ${{\mathit{\boldsymbol{x}}}_i}$ 为正例，当 ${{\mathit{\boldsymbol{y}}}_i} = - 1$ 时，称 ${{\mathit{\boldsymbol{x}}}_i}$ 为负例。 $\left( {{{\mathit{\boldsymbol{x}}}_i},{{\mathit{\boldsymbol{y}}}_i}} \right)$ 称为样本点。算法的关键是建立一个分类超平面作为决策面，使得正例和反例的隔离边缘最大化。其中分类超平面就是求函数：

$\begin{array}{c}\varphi ({\mathit{\boldsymbol{w}}}) = \displaystyle\frac{1}{2}{\left\| {\mathit{\boldsymbol{w}}} \right\|^2}\\{\rm{s}}.{\rm{t}}.\;\;\;{y_i}({\mathit{\boldsymbol{w}}} \cdot {x_i} + b) \geqslant 1,i = 1,2, \cdot \cdot \cdot ,N\end{array}$

(1)

式中：w是超平面的法向量，b是超平面的常数项，x_i为训练样本，y_i为样本的类别。

实际中，学者们会经常遇到线性不可分的样例，此时常用的做法是把样例特征映射到高维空间去。如果凡是遇到线性不可分的样例，一律映射到高维空间，那么这个维度大小就会特别高，处理起来就会特别困难。此时核函数在处理该问题上面发挥重要作用，它的价值在于：虽然也是将特征从低维到高维转换，但不同的是该方法事先会在低维上进行计算，然后将实质上的分类效果表现在了高维上，这样就避免了直接在高维空间中的复杂计算。

在实际应用中，往往依赖先验领域理论知识才能选择有效的核函数。广泛使用的核函数主要有：

多项式核函数：

$k({{\mathit{\boldsymbol{x}}}_1},{{\mathit{\boldsymbol{x}}}_2}) = {\left( {\left\langle {{{\mathit{\boldsymbol{x}}}_1},\left. {{{\mathit{\boldsymbol{x}}}_2}} \right\rangle + R} \right.} \right)^d}$

(2)

高斯核函数：

$k({{\mathit{\boldsymbol{x}}}_1},{{\mathit{\boldsymbol{x}}}_2}) = \exp \left\{ { - \frac{{{{\left\| {{{\mathit{\boldsymbol{x}}}_1} - {{\mathit{\boldsymbol{x}}}_2}} \right\|}^2}}}{{2{\sigma ^2}}}} \right\}$

(3)

线性核函数：

$k({{\mathit{\boldsymbol{x}}}_1},{{\mathit{\boldsymbol{x}}}_2}) = \left\langle {{{\mathit{\boldsymbol{x}}}_1},{{\mathit{\boldsymbol{x}}}_2}} \right\rangle $

(4)

根据问题和数据的不同，选择不同的参数，实际上就得到了不同的核函数，同时核函数的参数选取不同，会直接影响支持向量机的预测精度和分类性能。

2 群智能算法

随着人类对生物启发式计算的研究，一些社会性动物的自组织行为引起了科学家的广泛关注。这些社会性动物在进化过程中形成了一个共同的特点：个体的行为都很简单，但当它们一起工作时，却能够表现出非常复杂的行为特征。

群智能算法的基本思想是模仿自然界当中生物的种群行为来构造随机优化算法。该算法主要是将优化和搜索过程模拟成种群中个体的觅食或进化过程，用搜索空间中的点模仿自然界当中的种群个体，将求解问题的目标函数度量成种群中个体对环境的适应能力；将种群中个体的优胜劣汰过程或觅食过程类比为搜索过程中用较优的可行解取代较差的可行解的寻优迭代过程。因此，群智能算法是一种具有“生成+检验”特征的迭代搜索优化算法。

群智能算法包括遗传算法、蚁群算法、粒子群算法、人工鱼群算法、人工蜂群算法、萤火虫算法以及蝙蝠算法等，作为一类新型进化算法，以其分布性、自组织性、强的鲁棒性等优点，已经成功地应用于函数优化等领域。群智能算法从一出现便引起了研究者的广泛关注，其理论研究在不断深入的同时，其应用领域也在随之不断扩展，例如交通流模型验证问题^[2]、分布式高效定位问题^[3]以及配电系统中的电容器分配问题^[4]，充分说明了群智能算法所蕴藏的巨大潜力。同时，群智能算法在SVM参数优化方面也得到了广泛的应用，进一步提高了SVM的分类预测精度以及泛化能力。

3 群智能算法优化支持向量机参数

参数优化是SVM研究中的一个重要问题，参数选择的不同会直接影响SVM模型的分类预测精度和泛化能力。常用的传统SVM参数优化方法有实验法、网格法、梯度下降法^[5-6]等。但是这些算法已经难以满足人们需求，存在各种各样的问题。

实验法主要原理是通过不断尝试不同的参数，最后选出一个最适合问题的参数。实验选择方法缺乏理论指导，全凭经验，导致最终获得的参数不一定是最优的。网格参数优化算法的基本原理是：首先对指定的网格范围内的每一个点进行遍历，然后将每一个点转换为SVM的参数进行验证，最后选择误差最小网格点作为SVM的最优参数，该方法十分耗时。梯度下降算法对初始值的选择十分敏感，并且有些时候实验结果误差十分大，所以这些算法已经难以满足人们需求。因此设计高效的优化算法成为众多科研工作者的研究目标。

群智能算法在参数优化方面取得了很多重要成果，所以使用群智能算法来对SVM参数进行优化是一个不错的选择。下面主要讨论不同的群智能算法在SVM参数优化领域中的研究成果。

3.1 遗传算法 3.1.1 遗传算法简介

遗传算法(genetic algorithm, GA)是一类模仿生物界的进化规律演化而来的随机化搜索方法，是由美国的J.H.Holland^[7]教授提出的。遗传算法的主要原理是以C.R.Darwin的生物进化论和G.Mendel的遗传变异理论为基础，通过模仿自然界生物进化机制达到随机全局搜索和优化的目的。

遗传算法的主要特点是直接对结构对象进行操作、具有更好的全局寻优能力以及能自动获取和指导优化的搜索空间，自适应地调整搜索方向，不需要确定的规则。由于基于遗传算法的这些优点，已被广泛地应用于飞机间的冲突解脱问题^[8]、集成供应链问题^[9]以及机器学习^[10]等领域。

3.1.2 遗传算法优化支持向量机参数

在2006年，E. Avci^[11]和C.L.Huang^[12]首次提出了基于遗传算法的支持向量机参数优化方法。2015年，王琼瑶等^[13]提出了一种基于改进遗传算法的SVM参数优化模型，该模型将遗传算法与SVM结合，利用遗传算法将对SVM具有重要意义的惩罚参数、核参数和损失函数同时优化。解决了SVM算法在回归预测时参数选取不当导致过学习和欠学习的问题。实验结果也表明改进的算法较大地提高了SVM算法整体的寻优能力。

针对基于遗传算法对SVM参数优化出现的训练时间较长以及分类精度较低等问题，孟滔等^[14]通过重新定义遗传算法参数的寻优范围，提出了一种自适应遗传算法。算法通过网格搜索法确定最佳参数的最小寻优范围，有效地帮助常规遗传算法避免陷入局部最优解，同时保证了搜索的效率，并且改善了基于常规遗传算法得到的惩罚参数C过大，导致分类准确率较低的问题。针对此问题，高雷阜等^[15]还提出了一种可以自动选择核参数并且进行SVM训练的GA_SJ算法，该算法将随机搜索引入到遗传算法当中，有效地提高了遗传算法的效率，使SVM具有较高的分类性能。

为了提高SVM的精度和最小化训练时间，K.S.Sajan等^[16]提出了使用遗传算法来获取SVM参数的最优值，并且应用到在线电压稳定性监控。J.S.Chou等^[17]提出了一种利用快速杂乱遗传算法对SVM的参数进行优化，并且将其用于早期预测公私合作项目初始阶段的争议倾向当中。Li Duan等^[18]提出了一种使用遗传算法优化SVM参数，并且该算法应用于7种柑橘草药的区分和分类当中。

遗传算法在首次被提出用于SVM参数优化方法的时候，存在很多的问题，使得SVM的预测与分类精度不高。经过国内外学者不断地改进与研究，提出了各种各样的改进遗传算法用于SVM参数优化，使得SVM具有较高的分类预测性能，不会在一定程度上过早陷入局部最优。遗传算法的应用研究显得格外活跃，而且利用遗传算法进行优化的能力也显著提高。

3.2 蚁群算法 3.2.1 蚁群算法简介

蚁群算法(ant colony optimization, ACO)又称蚂蚁算法，是一种用来寻找最优解决方案的概率型技术。它由意大利学者Marco Dorigo等^[19-20]首次提出。蚁群算法的主要原理是：种群中单个蚂蚁在觅食的过程中可以在其经过的路径上留下一种称为信息素的物质，并且在觅食的过程中能够感知到信息素的强度，同时它们朝着信息素强度高的方向移动，因此蚂蚁种群组成的集体觅食就表现为一种对信息素的正反馈现象，从而逐渐逼近最优路径，找到最优路径。

蚁群算法主要特点是通过正反馈、分布式协作来寻找最优路径。蚁群算法就是根据这一特点，通过模仿蚂蚁的行为，从而实现寻优。自蚁群算法提出以来，引起了国内外研究人员的极大兴趣，对该算法进行了广泛的研究，并且该算法成功应用于机器人避障问题^[21]、路径规划问题^[22]以及工作车间计划问题^[23]等领域。

3.2.2 蚁群算法优化支持向量机参数

最初蚁群算法是针对离散优化问题而提出的一种智能算法，但是SVM参数优化是一个连续优化的问题。因此，在2003年汪镭等^[24]首次提出了一种应用在连续空间寻优问题求解的蚁群算法，该算法有效地解决了蚁群算法所存在的问题，为SVM选择了最优的参数且提高了SVM的分类精度。针对SVM参数优化是一个连续优化的问题，肖国荣等^[25]也提出了一种改进蚁群优化算法，用于SVM参数寻优。且实验结果表明，采用最优参数建立的网络入侵检测模型，该模型对网络入侵的正确率和检测速度都有显著提高。

随着研究的不断进步，蚁群算法拓展到解决连续域问题当中也遇到了各种各样的困难，由于连续空间的路径不是实实在在地存在，所以需要进行改进。在2015年，高雷阜等^[26]提出了一种改进的蚁群算法用来优化SVM参数，主要从对信息素的定义方式及留存方式、蚁群搜索寻优方式、蚁群行进方式三方面进行改进。改进的蚁群算法在其搜索操作中加入了有向搜索，同时将信息素的更新引入时变函数，采取和迭代次数、目标函数值相关的动态更新策略。该算法虽然为SVM的核函数参数优化提供了一种可行的方法，但是算法的复杂度较大，运行时间较长，还有待改进。

SVM是智能故障诊断中广泛使用的机器学习方法，同时如何寻找到能够区分不同故障的有利条件和优化SVM参数后使其具有良好特征被认为是高度影响SVM的最终诊断精度的两个最重要问题。所以Zhang Xiaoli等^[27]提出了一种蚁群优化算法用于优化SVM参数并且应用于旋转机械的智能故障诊断当中。与其他方法相比，实验结果表明本文提出的方法可以获得更好的效果。Han Pu等^[28]提出了一种蚁群优化算法优化SVM的参数，并且应用于煤灰融合温度预测当中，实验结果显示本文中所描述的优化算法可以使SVM取得最优参数组合，防止陷入局部最优，最终表明此模型可以实现更好的预测性能。R.Aalizadeh等^[29]提出了一种通过蚁群算法优化SVM参数模型并且应用于预测新出现的污染物对水跳蚤毒性的影响。实验结果表明，该模型被成功地应用于附加的评估集，并且对于发现落入所定义的适用性域内的化合物的预测结果是非常准确的。H. B.Alwan等^[30]提出了一种混合变量蚁群优化算法用来进行特征子集选择和调整SVM参数，且结果表明该方法在分类精度和特征子集选择方面较其他方法更加有效。

综上所述，蚁群算法应用在SVM参数优化方面取得很大进展。从最初只为了解决离散优化问题被提出，到如今经过国内外学者的研究与改进，蚁群算法已经能很好地应用于SVM参数的连续优化问题当中。经过各种实验结果表明，蚁群算法在参数优化方面具有良好的鲁棒性和较强的全局搜索能力。但是该算法依然存在一些问题，如算法的时间复杂度较高，运行时间较长，这些还是一个亟待解决的问题。

3.3 粒子群算法 3.3.1 粒子群算法简介

粒子群算法(particle swarm optimization, PSO)最早由Eberhart和Kennedy^[31-32]于1995年提出，它的基本概念源于对鸟群觅食行为的研究。粒子群算法的主要原理是：在对动物群体运动行为观察的基础上，借鉴群体中的个体对信息的共享使整个群体的运动在问题求解空间中产生，从无序到有序的演变过程，最终获得最优解。

该算法是一种全局并行寻优算法，相比较于其他优化算法，具有进化时间短、寻优精度高等优点^[33]。自粒子群算法提出以来，已成功应用于求解旅行商问题^[34]、电容器分配问题^[4]以及机器学习^[35]等相关领域。

3.3.2 粒子群算法优化支持向量机参数

普通的粒子群算法存在后期趋同性严重、后期收敛速度缓慢以及易陷入局部极小点等缺点。针对普通粒子群存在的缺点，单黎黎^[36]等提出了一种改进的粒子群算法实现SVM参数的寻优。该算法为了同时克服这些缺陷, 在引入动量项的同时使得粒子不仅跟随全局和局部最优解, 还会跟随任意一个粒子的个体极值以达到既缓和后期震荡又解决后期趋同的目的。通过函数仿真实验验证了基于改进的粒子群算法具有寻优精度高、收敛速度快等优势。为了解决普通粒子群算法存在的缺点，毛耀宗等^[37]也提出了一种基于粒子群算法，并且加入图形处理器加速的SVM参数优化方法。为了快速寻找最优参数组合，该方法利用粒子群算法的收敛速度快、简单易行等特点，并且加入图形处理器并行化处理能力计算每个参数的分类准确率，进一步提升在一定的搜索空间内寻找最佳参数组合的计算速度。这一过程避免了穷尽所有可能的情况，同时也可以得到满意的结果。实验结果表明这种方法能获得满意的预测准确率并且降低了程序的寻优时间。

粒子群算法在SVM参数优化方面得到进一步的研究，通过粒子群算法寻找到的最优参数使得SVM的分类预测精度明显提高。例如，王喜宾等^[38]提出了粒子群模式搜索算法来对SVM的参数进行优化。实验结果表明，搜索到的最优参数可以达到较高的正确率；胡云艳等^[39]提出了一种粒子群算法对SVM参数进行优化，此算法应用到模拟电路诊断当中，提高了模拟电路诊断的正确率。郭凤仪等^[40]提出了基于粒子群算法参数优化的SVM模型，在拟合精度方面有很大的提高，并且具有较好的泛化能力。

此外，粒子群算法优化SVM参数还被应用于确定从新生儿到六岁的幼儿的骨龄^[41]、非重塑护提防波提的损伤水平预测^[42]以及评价产品的Kansei图像^[43]等方面，同时以上参考文献中实验结果表明，搜索到的最优参数可以达到较高的正确率，有效提高SVM预测与分类精度。

综上所述，粒子群算法引起国内外学者的广泛研究。虽然粒子群算法依然存在各种各样的问题，但是通过不断地研究与改进，粒子群算法可以有效地实现SVM参数的选择，是一种优秀的SVM参数优化方法。

3.4 人工鱼群算法 3.4.1 人工鱼群算法简介

人工鱼群算法(artificial fish swarm algorithm, AFSA)是我国学者李晓磊^[44-45]提出的一种模拟鱼类觅食活动的群智能算法。人工鱼群算法主要原理是通过模拟鱼群觅食、聚群、追尾三大基本行为，采用自下而上的思路进行寻优。

人工鱼群算法具有寻优速度快、全局寻优能力以及较强的并行处理能力等优点，被广泛应用于车间调度分配^[46]、电力系统规划^[47]以及机器学习^[48]等领域。

3.4.2 人工鱼群算法优化支持向量机参数

使用人工鱼群算法进行SVM参数优化的实验中，人工鱼群算法使用多条人工鱼同时进行寻优，从中选取最优的值作为此次优化的结果。由于缺乏对SVM的参数优化问题的理论支持，所以高雷阜等^[48]提出了基于人工鱼群算法的SVM参数优化选取算法。文献中利用人工鱼群的并行性，能够更快地收敛于全局极值点，并且以分类准确率最大化作为优化原则建立目标函数，实现对SVM的核参数和罚参数的优化选取。数值实验结果表明，人工鱼群算法在SVM参数优化选取中具有更快的寻优性能，同时具有较高的分类准确率。在文献的结论提出了针对不同的具体问题只是通过现有的核函数的选取，可能在某种程度上会影响SVM的性能，而且人工鱼群算法能较快收敛到最优解的邻域中，但是搜索寻优的性能仍需改进。

虽然人工鱼群算法具有对初值要求不高以及简单实现等优点，但是也存在寻优精度不高、后期收敛速度较慢的缺陷。针对此问题，田海雷等^[49]提出了一种基于改进人工鱼群算法，对SVM参数进行优化，在对人工鱼群算法进行深入分析的基础上，同时对人工鱼群算法进行改进，改进后的人工鱼自适应地获取视野和步长，从而有效地改善算法的性能，实验结果表明该算法获得了更高的预测精度。朱文静等^[50]也提出了一种混沌人工鱼群算法对SVM参数的优化方法，在人工鱼群优化算法基础上引入混沌思想，利用混沌序列的随机性、遍历性和规律性来提高算法的效率，得到了一种性能更好的混沌人工鱼群算法，并将通过该算法优化后的SVM的核参数与惩罚因子应用于语音识别系统中。冯晓琳等^[51]也提出了一种基于改进型人工鱼群算法的SVM参数优化方法。该改进的人工鱼群算法实行参数动态化，加入局部遍历算法，提高了人工鱼群算法的精度。

传统人工鱼群算法的循环体有可能出现最佳解的缺失，为了解决此问题，Bai Jing等^[52]提出了一种基于并行人工鱼群算法的SVM参数优化方法。实验结果表明，该新算法是一种有效的SVM参数优化方法，使得SVM不仅具有良好的泛化能力，同时还具有更好的鲁棒性。

针对传统人工鱼群算法具有陷入局部最优的缺陷，Lin Kuancheng等^[53]提出一种基于改进的人工鱼群算法的SVM参数优化方法。实验结果表明，与原始人工鱼群算法相比，改进后的算法在分类精度上具有明显的优越性。

目前仍有很多学者使用人工鱼群算法来优化SVM参数，并且应用于各种领域，例如僵尸网络检测当中^[54]等。通过以上领域的应用和实验结果的显示，充分证明了人工鱼群算法在优化SVM参数方面具有很大优势，寻找到的最优参数有效地提高了SVM的分类预测精度。

综上所述，人工鱼群算法作为新兴的群体智能优化算法，具有较好的并行性以及不易陷入局部极值等优点，同时还具有良好的寻优能力，可以使SVM获得更高的预测精度。通过不断的研究与改进，人工鱼群算法已成为一种可行的SVM参数优化方法。

3.5 人工蜂群算法 3.5.1 人工蜂群算法简介

人工蜂群算法(artificial bee colony algorithm, ABC)是用于模拟蜂群智能搜索行为的一种仿生算法，由土耳其埃尔吉耶斯大学的Karaboga^[55]于2005年提出。人工蜂群算法的主要原理是，模仿自然界中蜜蜂采蜜的过程，群体中的蜜蜂根据分工不同完成采蜜过程的各阶段任务，通过食物源信息的收集与共享，寻找问题的最优解。

人工蜂群算法作为一种模拟蜜蜂群智能搜索行为的优化算法，具有控制参数少、计算简单和易于实现等特点，已成为目前研究的热点之一，被广泛应用于飞机着陆问题^[56]、无人机航路规划问题^[57]以及车间调度问题^[58]。

3.5.2 人工蜂群算法优化支持向量机参数

针对传统的人工蜂群算法初始种群在解空间分布不均匀、收敛速度慢等缺点，吴少华等^[59]提出了一种基于二维均匀设计和欧式距离的改进人工蜂群算法，对算法的主要改进为：在种群初始时，引入二维均匀设计理论，使初始食物源更加均匀地分布在解搜索空间当中；在构建新食物源时，提出一种基于欧氏距离的觅食方法以改进种群局部和全局的更新策略，此改进提高了算法的全局搜索能力。仿真实验结果表明，改进的蜂群算法具有更快的收敛速度。刘霞等^[60]也提出了一种基于混沌人工蜂群算法优化的SVM齿轮故障诊断方法。该方法采用Logistic混沌映射初始化种群和锦标赛选择策略，对SVM的惩罚因子和核函数参数进行优化。混沌人工蜂群算法在一定程度上避免了寻优速度较慢和早熟收敛的问题，其优化的SVM能获得更高的分类正确率和更快的搜索速度，该方法具有重要的工程应用价值。

针对基于传统的参数优化算法在优化过程中会不同程度地陷入局部最优解的问题，刘铭等^[61]提出了一种基于交叉变异人工蜂群算法的SVM参数优化方法，并将其应用于入侵检测。实验表明，此算法克服了局部最优值的缺陷，使检测器获得了更高的检测率、较低的误报率，所以入侵检测系统在防御网络入侵方面表现得更好。李璟民等^[62]提出了一种人工蜂群优化SVM参数的方法，对SVM的惩罚因子和函数宽度进行优化，并将该优化方法应用于小麦完好粒、霉变粒和发芽粒3类麦粒的识别当中。实验结果表明，采用人工蜂群来优化SVM的方法对小麦完好粒、霉变粒和发芽粒的分类正确率达到86%以上；该研究有较强的实用价值，为SVM性能优化提供了一种新的方法。

还有一些学者用人工蜂群算法优化SVM参数，同时应用到一些领域来验证该算法的有效性，例如，Yang等^[63]提出了一种基于人工蜂群算法优化SVM参数的方法，同时应用于齿轮故障诊断当中。与其他群智能算法进行比较，实验结果表明该方法可以在最少的时间获得较高的精度；D.T.Bui等^[64]提出了一种利用最小二乘SVM推理模型和人工蜂群优化的混合智能方法对老挝地区(越南)降雨诱发滑坡的空间预测。实验结果表明，该模型的预测能力比从流行的SVM获得的预测能力更好。因此，该模型是研究区域滑坡空间预测的有效工具；Z.Mustaffa等^[65]提出一种人工蜂群算法来优化最小二乘SVM的参数，并用于商品价格预测当中。实证结果显示了所提出的技术具有更高预测精度的能力。

综上所述，人工蜂群算法通过不断地研究与改进，在陷入局部最优解问题时，该算法极大程度地避免了该问题，并且优化性能比传统方法更出色。人工蜂群算法提出的时间还不长，仍处于起步阶段，还需要更进一步的研究 。

3.6 萤火虫算法 3.6.1 萤火虫算法简介

萤火虫算法(glowworm swarm optimization, GSO)是印度学者K.N.Krishnanand^[66]等提出的一种群智能优化算法。萤火虫算法的主要原理是：模拟萤火虫运动过程中通过个体的荧光素发出的荧光来吸引其他同伴，并向领域中荧光最亮、位置较优的萤火虫移动，从而达到自身的位置最优。

萤火虫算法具有寻优速度快、计算时间短等特点，目前已成功应用于求解阻塞流水线调度问题^[67]、传感器节能^[68]和人工智能^[69]等领域。

3.6.2 萤火虫算法优化支持向量机参数

针对基本萤火虫算法存在着早期收敛速度较慢，后期收敛不稳定等问题，杨海等^[69]提出了一种基于改进萤火虫算法的SVM核函数参数选取方法。文献[69]中是通过改进萤火虫位置更新公式，并在移动过程中引入亮度特征从而确定最佳的SVM核函数参数。位置更新公式为

${x_i}(t + 1) = {x_i}(t) + {l_j}(t) \times {\beta _0}{{{e}}^{ - \gamma {r^2}ij}}({x_j} + {x_i}) + \alpha \times ({\rm{rand}} - \frac{1}{2})$

(5)

式(5)表示当在视野范围内遇到比自己更亮的萤火虫时，利用彼此之间的距离参考空间能见度，形成一个高亮度个体对低亮度个体的吸引力，同时可以使用常量e来加速收敛。其中β₀表示距离为0时的吸引力，γ为光强吸收系数， $r_{ij}^2$ 表示两只萤火虫之间的欧几里得距离的平方，rand为[0, 1]上服从均匀分布的随机因子。实验结果表明，改进后的萤火虫算法选取的SVM核函数参数在保证了分类器收敛性能的同时，显著提高了分类精度，取得了良好的优化效果。

目前使用萤火虫算法优化SVM参数的学者也出现了很多，例如李茜楠等^[70]提出了一种基于优化此算法的高光谱遥感波段选择方法。该算法针对原始萤火虫算法的缺点，改进了算法的初始值以及目标函数，设计了一种新型的基于仿生算法的波段选择新方法。实验结果表明，该方法可以比较快速地选取目标波段，并且具有较高的精度。刘玉坤等^[71]提出了一种人工萤火虫算法优化最小二乘SVM的方法，并且应用于网络热点话题预测当中。预测结果表明，用萤火虫算法优化的最小二乘SVM网络热点预测模型不仅提高了网络热点话题的预测准确性，而且在网络舆情分析中还具有广泛的应用前景。

综上所述，萤火虫算法用于SVM参数优化方法，存在很多的问题。经过不断地改进与研究，提出了各种各样的改进萤火虫算法用于SVM参数优化方面，使得SVM具有较高的分类性能，同时具备比传统方法更好的优化性能。

3.7 蝙蝠算法 3.7.1 蝙蝠算法简介

2010年YANG Xinshe^[72-74]提出了一种元启发式优化算法，这种算法就是蝙蝠算法(bat algorithm, BA)。蝙蝠算法的主要原理是，模仿自然界中的蝙蝠利用声呐来避免障碍物探测猎物的群智能优化算法。

蝙蝠算法是一种新型的智能算法，在有效性和准确性方面有明显的提高，同时它具有模型简单、搜索能力强、收敛速度快等特点，被广泛应用于灰色图像边缘检测^[75]、电容车辆路由问题^[76]以及电力系统^[77]当中。

3.7.2 蝙蝠算法优化支持向量机参数

2015年，魏峻^[78]提出了一种基于ReliefF和蝙蝠算法的SVM参数优化方法，对SVM的惩罚参数和核参数进行优化。该方法首先基于ReliefF的基因初选，剔除与分类无关的噪声和冗余基因，其次进行基于蝙蝠算法的SVM参数优化。结果表明，该算法得到的最优参数对SVM的分类精度得到较明显的提高，同时对SVM的学习和泛化能力也有所加强。

SVM的参数(例如核参数和惩罚参数)选取不当会对预测模型的准确性有很大影响，针对此问题A.Tharwat^[79]等提出了一种基于蝙蝠算法的SVM参数优化方法，与粒子群算法和遗传算法进行比较，实验结果表明，该模型能够找到SVM的最优参数组合，避免了局部最优问题。

还有一些学者用蝙蝠算法优化SVM参数，同时应用到一些领域来验证该算法的有效性，例如，E.Tuba等^[80]提出了一种蝙蝠算法用来优化SVM参数的方法。该方法应用于手写数字识别当中分类问题中，实验结果表明使用蝙蝠算法可以准确迅速找到SVM参数的最优值，并且有效地减少分类误差率。Xing Bing等^[81]提出使用蝙蝠算法用于SVM参数优化，同时应用在洪水月平均流预测方面，并且实验结果表明该模型具有更准确的预测率。

综上所述，蝙蝠算法作为一种新颖的随机型搜索算法，相对于其他的算法，显著提高了有效性和准确性，但是该算法是目前较新的算法，它的优化性能还需进一步改进完善。

3.8 其他群智能算法优化支持向量机参数

除了本文单独列举出的7种群智能算法以外，还有很多群智能算法被提出并且应用于SVM参数优化当中，如混合蛙跳算法、果蝇优化算法、细菌觅食优化算法以及花授粉算法等。

混合蛙跳算法(shuffled frog leaping algorithm, SFLA)的主要原理是：在一片湿地中生活着一群青蛙，湿地内分布着许多石头，青蛙个体之间通过文化的交流实现信息的交换，青蛙通过寻找不同的石头进行跳跃去找到食物较多的地方。

混合蛙跳算法是2003年Muzaffar Eusuff和Kevin Lansey提出的一种群智能优化算法，该算法可以用于解决许多复杂的优化问题^[82]。曾燕等^[83]人提出了一种基于改进的混合蛙跳算法优化最小二乘SVM的蔬菜总黄酮软测量模型。实验结果表明，该模型具有测量精度高，稳定性好的优点，有利于蔬菜总黄酮化学物测量工程的实际应用。

果蝇优化算法(fruit fly optimization algorithm, FOA)的主要原理是：果蝇根据食物气味的浓度分布判断飞行方向，如果其中一只果蝇的所处位置气味浓度最高，那么种群中其余果蝇就会朝该方向移动，然后再以该位置为初始位置继续随机飞行，得出气味浓度最高的果蝇位置, 以此递推最终找到食物。

果蝇优化算法是基于果蝇觅食的行为推演出来的全局寻优方法，是我国学者Pan Wenchao^[84]在2012年提出的群智能优化算法。宁剑平^[85]等提出了一种递减步长果蝇优化算法，将该算法用于SVM回归模型的惩罚因子和核函数参数优化中，结果表明该算法收敛速度快，全局搜索与局部寻优能力强。Si Lei等^[86]提出了一种改进的果蝇优化算法来优化最小二乘SVM参数，并且应用于振动信号的剪切切割模式识别当中。由于交通流预测的准确性在现代智能交通系统领域起着重要作用, 并且果蝇优化算法具有易于理解和快速收敛到全局最优解的优点, 因此Cong等^[87]提出了一种基于最小二乘SVM的交通流预测模型，并通过果蝇优化算法自适应确定具有两个参数的最小二乘SVM模型。

细菌觅食优化算法(bacteria foraging algorithm, BFA)的主要原理是：该算法是根据细菌菌落生长演化的基本规律提出一种新的优化方法。细菌觅食算法的生物学基础是大肠杆菌在人类肠道中觅食过程中的智能表现，通过趋化、繁殖、驱散这3个步骤来迭代的更新细菌的所在位置，使细菌能够趋向营养丰富的地方。为正确选择应用于人脸识别的SVM相关参数，马家辰^[88]等提出了一种应用于表情识别的基于细菌觅食算法的SVM参数选择方法。实验结果表明，采用该方法能够使人脸表情识别分类结果具有更高的准确率。杨大炼等^[89]提出了一种基于自适应细菌觅食算法的SVM参数快速选取方法。研究结果表明，细菌觅食优化算法能够更加快速地选取到最优参数，并且应用于提高齿轮箱故障诊断的精度。

花授粉算法(flower polination algorithm，FPA)的主要原理是模拟自然界花朵授粉过程而提出的一种新型元启发式群智能优化算法。花授粉算法是由YANG等^[90]在2012年提出的。该算法拥有的参数少，具有计算简单、效率高以及易于实现等优点。但是传统的花授粉算法自身也存在搜索速度慢、易陷入局部最优等缺点。针对传统花授粉算法存在的问题，N.D.Hoang等^[91]提出了一种差分花授粉算法优化SVM参数，并且用于水泥浆灌溉过程的估算。实验结果表明该方法可以提供更好的预测性能。Zhang Wenyu等^[92]提出了一种具有混沌局部搜索的花授粉算法用于SVM参数优化，同时应用于风速预测当中。实验结果表明该算法在高精度风速预测当中是有效的。

3.9 群智能算法与其他算法相结合优化支持向量机参数

因为群智能算法自身存在很多局限性，所以许多学者提出了群智能算法与其他算法相结合的方法来优化SVM参数。此种结合不但保留了群智能算法的优点，同时还具有其他算法的优点，并且取得了显著效果，使得算法的效率和性能方面都有了很大的提高。

针对遗传算法存在的缺点，2013年王萍萍等^[93]提出了一种将遗传算法与Powell算法结合用来优化SVM核参数的方法，该算法在保持了遗传算法的强全局搜索能力的同时还具有Powell算法的局部搜索优势，通过不断在迭代的过程中对全局最优值的调整来避免遗传算法的早熟收敛，由此得到更好的寻优性能。实验结果表明，该算法大大地提高了算法的效率和性能，并且准确率较高。

针对蚁群算法容易陷入局部最优的问题，2013年耿俊豹等^[94]提出了一种基于蚁群算法和循环交叉验证法的SVM参数优化方法。通过蚁群算法的函数优化功能，快速准确地确定SVM核函数参数。实验中得知全局核和局部核的组合比单核SVM具有更好的预测效果，但是最优的核函数并不是简单的相加组合，而是要通过对SVM参数的调整，最终确定最优核函数。此实验的预测模型应用于飞机机体研制费用预测当中，结果显示蚁群算法是一种比较高效的寻优方法，在蚁群算法寻找的最优参数下混合核函数的SVM的预测精度明显提高。

倪志伟等^[95]提出基于人工鱼和分形维数融合SVM的空气质量预测方法。实验表明，该方法的预测性能较优，具有较高的稳定性和可信性。

综上所述，群智能算法单独使用会存在各种各样的问题，所以许多学者为了提高SVM的预测精度，提出了群智能算法与其他算法相结合的SVM参数优化方法，并且在原来的基础上有效地选取最优参数，提高SVM的预测精度。

3.10 混合群智能算法优化支持向量机参数

单一的群智能算法自身存在很多局限性，因此很多学者通过借鉴其他算法特性来对此进行改进，并提出了混合群智能算法来优化SVM参数的方法。冯哲等^[96]提出了一种改进的粒子群算法与人工鱼群算法混合算法优化SVM参数。此算法是基于小生境和交叉选择算子的粒子群算法引入变异算子和族外竞争机制加以改进后与人工鱼群算法混合。实验结果表明，该算法稳健性更好，并且文中将此方法应用于电镜及超声纹理图像分割中，能较好地提取出目标区域，图像边缘部分的分类也很清晰。刘俊芳^[97]提出了改进的粒子群算法和人工蜂群算法的混合优化算法，人工蜂群算法具有全局和局部寻优的特点，将其与粒子群算法结合，能够有效弥补粒子群算法早熟收敛和极易陷入局部最优的不足，同时保留了粒子群的全局搜索和简单容易实现的特点。戴上平等^[98]提出了遗传算法和粒子群算法融合算法对SVM参数进行优化求解，结果表明这种组合是有效的。

综上所述，群智能算法之间的混合使用，可以寻找到最优参数，并且很大程度地提高SVM的预测与分类精度，通过混合群智能算法对SVM参数优化的实验结果中表明，改进的算法不但具备其中一种群智能算法的优点同时也具备另外一种群智能算法的优点，是一种可行且有效的方法。

3.11 各种群智能算法优化支持向量机参数的优化性能比较

每种群智能算法在优化SVM参数的时候都存在自身的不足。经过上面的综述之后，总结结果见表1所示。

对每种群智能算法优化SVM参数的优化性能比较之后发现，存在的较大问题是易于使实验结果陷入局部最优，例如遗传算法、人工蜂群算法以及花授粉算法。同时还存在后期收敛速度缓慢，例如粒子群算法。还有寻优速度过慢，虽然有些算法寻优速度快，但是存在寻优精度不高等问题。人工鱼群算法相较于其他几种群智能算法是优化SVM参数方法中性能最好的。蚁群算法主要存在的问题是如何有效地解决连续优化问题。蝙蝠算法和人工鱼群算法都存在寻优精度不高的问题。

每种算法都具有自己的优缺点，例如：粒子群算法具备了寻优精度高优点的同时也存在收敛速度缓慢的缺点；蝙蝠算法具有收敛速度快优点的同时也存在寻优精度不高的缺点。所以，将以上两种算法组合起来对SVM参数进行优化，弥补了互相的不足，并发扬了互相的优点。

总的来说，使用混合群智能算法优化SVM参数的成果较少，群智能算法与其他算法结合用来优化SVM参数的成果也较少。大多数学者都是对某一种群智能算法进行改进用于SVM参数优化，虽然取得了一些实质性的进展，但是还存在各种各样的问题，例如解决了寻优精度不高的问题，但是又会出现寻优速度缓慢等问题。群智能算法优化SVM参数的研究成果当中，使用混合蛙跳算法、细菌觅食算法、花授粉算法以及果蝇优化算法来优化SVM参数的成果较少。

4 结束语

本文主要从群智能算法对SVM参数优化的研究成果进行了论述。SVM虽然在理论上很完善了，但是在应用上仍然存在一些问题，参数模型的选择就是其中比较典型的问题。然而没有一个成熟的理论指导，传统的参数选取方法大多都既耗时又得不到满意的结果。因此有人就提出了用群智能算法来优化SVM参数，而且群智能算法发展至今以其分布性、自组织性、强的鲁棒性等优点已成功地应用于函数优化、神经网络等领域。虽然群智能算法用于优化SVM参数取得了一定的成果，但仍然存在一些问题有待解决。

1) 从本文中可以看出，经过国内外学者对群智能算法的不断研究与改进，群智能算法在SVM参数优化方面已经取得了很多重要的成果，例如，具有较强的并行处理能力、寻优速度快、有效避免陷入局部最优以及可以进行全局寻优等，同时基于群智能算法优化的SVM模型能够获得更高的预测和分类精度。所以群智能算法是用来对SVM参数优化的一个不错的选择。

2) 虽然有很多学者使用群智能算法在SVM参数优化方面进行了大量的研究工作，但是并没有很好地解决该问题。例如，改进的遗传算法虽然能在一定条件下避免陷入局部最优，但是依然存在陷入局部最优的可能性，所以在判断陷入局部最优和跳出局部最优方面，还有待进一步研究且解决此问题。蚁群算法虽然获得的最优参数组合的分类性能较其他算法更高，但是存在运行时间较长，样本数增加到一定程度算法的时间复杂度更高等问题。所以对蚁群算法的收敛性还需进一步研究。

3) 大多数研究成果都在关注算法的前期后期收敛性问题，少部分研究中会将算法的收敛性和寻优精度结合在一起同时考虑，进行改进。群智能算法在对SVM进行参数优化时，不能确保每种条件下都拥有较强的寻优能力，同时也不能保证得到的最优参数对每种模型都拥有很好的分类和预测能力。改进后的算法虽然可以同时具备寻优速度快、寻优精度高、收敛到全局最优解、避免过早陷入局部最优等优点，但还需要对算法进行不断地研究与改进。