数据挖掘是从大量的、不完整的、有噪声的、模糊的和随机的实际应用数据中，提取出蕴藏在其中的有用信息的过程^[1].数据挖掘有很多分析方法，其中数据分类一直以来关注度最高，它通过对数据集的训练构建区分数据类或概念的分类器模型，并使用该模型对未知的数据对象进行判定或预测所属的类别.数据分类的常见技术有决策树^[2]、贝叶斯分类方法^[3]、神经网络^[4]、支持向量机^[5]、KNN等.其中，由于决策树技术的计算量相对较小、分类性能好、分类规则便于转化，易通过静态测试来对模型进行评测，而且建立的树模型便于理解，得到了广泛应用.

近年来，随着数据挖掘的广泛应用，与人们生活息息相关的气象领域也引入了这门新兴技术来提高天气预报水平和气象决策能力.目前国内外利用数据挖掘技术在气象预报上的应用研究, 可以归结为两个方面:(1)基于统计学的数理统计^[6]；(2)机器学习、计算方法等研究方向^[7]，涉及到空间数据分析^[8]、气象模式识别^[9]、时态序列数据分析^[10]、气象预报^[11]等多方面，其中决策树主要应用到对气象灾害等级预测、气候分类等.文献[12]利用决策树方法建立3个分类器模型，分别对气温距平均值、海温距平均值以及雨量距平均值进行预测.文献[13]用决策树方法对天气的舒适度做了分类和预测.文献[14]对气温进行空间聚类，得出某区域气温区域的划分.文献[15]采用CART算法构建的决策树对气温进行了预测.文献[16]采用C4.5算法实现了智能手机终端上的天气预警系统.

本文用决策树C4.5算法构造基分类器，同时引入协同分析^[17]的思想用Bagging方法集成一个多组合分类器，然后用该组合分类器对局部区域的气象数据进行分析，预测当地的气温，实验表明本文的方法获得了较好的分析结果.

1 相关概念及其算法 1.1 决策树和C4.5算法

决策树是一个预测模型，代表对象属性与对象值之间的一种映射关系，它是一种树状结构，决策节点对应于待分类对象的某个属性，在该属性上的不同测试结果对应一个分支.每个叶节点存放某个类标号值，表示一种可能的分类结果.构建决策树一般被分为两个阶段：建树阶段和剪枝阶段.在建树阶段主要完成决策树的构造，而在剪枝阶段则是对第一阶段构建的决策树进行剪枝，通过剪枝来去除训练数据中的噪声和孤立点，得到一个高精确度的决策树.目前构建决策树的算法主要有ID3、C4.5、CART和SLIQ等^[18].但ID3算法只能处理离散型属性，而C4.5算法除了能处理离散型属性，也可处理连续型属性^[2].

ID3是一种基于信息熵的决策树分类算法^[18].其核心在于构建决策树的过程中, 用信息增益来选择各结点上的属性, 使得测试每一个非结节点时, 获得的类别信息最大.利用选定的属性将子集划分成更小的子训练集后, 系统整体的熵值最小, 生成的决策树平均深度较小, 提高分类速度和准确率.

集合S的信息熵的计算公式为

$ \text{Info}\left( S \right)=-\sum\limits_{i=1}^{k}{\left( \frac{\text{(freq}\left( {{C}_{i}}, S \right)}{\left| S \right|}\times \text{lo}{{\text{g}}_{2}}\frac{\text{(freq}\left( {{C}_{i}}, S \right)}{|S|}) \right)}. $

对于训练集T按照一个属性检验x的输出而分成n个子集, 所需信息可通过它相应的子集的熵的加权和求得, 计算公式为

$ {\rm{Inf}}{{\rm{o}}_x}\left( T \right) = \sum\limits_{i = 1}^k {(\frac{{(\left| {{T_i}} \right|}}{{|T|}})} \times {\rm{lo}}{{\rm{g}}_2}\left( {{T_i}} \right)). $

信息增益Gain(X)的计算公式为

$ {\rm{Gain}}(X) = {\rm{Info}}(T) - {\rm{Inf}}{{\rm{o}}_x}\left( T \right). $

虽然ID3算法方法简单，分类速度快，但是它只能处理离散型的属性，且无法增量地接受训练样本.

C4.5算法是ID3算法的一种改进算法，用信息增益率来选择属性，在树建造过程中进行剪枝，既能处理离散型属性又能处理连续型属性，还能对缺省数据进行处理^[2].

如有训练集T，离散属性x的n个不同取值，按x划分为T₁、T₂、…、T_n个不同的子集, 则用x对T进行划分的信息增益率为

$ {\rm{Gain\_ratio}}(x) = {\rm{Gain}}/{\rm{Split\_Info}}(x). $

其中，

$ {\rm{Split\_Info}}\left( x \right) = - \sum\limits_{i = 1}^n {((\frac{{\left| {{T_i}} \right|}}{{\left| {{T_i}} \right|}}) \times {\rm{Lo}}{{\rm{g}}_2}(\frac{{\left| {{T_i}} \right|}}{{\left| T \right|}}))} $

C4.5与ID3的区别在于C4.5选用增益比率Gain_ratio(x)建立决策树，而ID3使用Gain(x)建立决策树，C4.5的健壮性强于ID3, 在节点属性选择时，同样也是选择增益比率最大的属性作为检验属性.

1.2 组合器

组合学习法是将多个基分类器聚集在一起来提高分类准确率^[18].组合分类器一直是数据挖掘和机器学习中非常活跃的研究领域.已有的理论和实验表明，对于相同的样本数据集而言，单个分类器的分类准确率和泛化能力往往低于组合分类器.在给定训练数据集后，由训练数据构建一组基分类器，测试数据都经过每个基分类器进行分类得到分类结果序列，然后通过投票法等将这些单个分类器的结果进行裁决并得到最终的分类结果.目前，有两种组合方法来构建分类器，第一种是将训练集划分成不同子集，然后用各子集进行训练构建不同的基分类器；第二种是用同一训练集的不同属性子集训练得到不同的基分类器.组合学习的基本思想是：利用原始数据集构建多个分类器，然后在分类未知样本时聚集它们的预测结果.

组合学习方法的一般过程：

(1) 令D表示原始训练数据集，k表示基分类器的个数，Z表示测试数据集;

(2) For i=1 to k do;

(3) 由D创建训练集D_i;

(4) 由Di创建基分类器C_i;

(5) End for;

(6) For每个测试样本x∈ Z do;

(7) C^*(x)=Vote(C₁(x), C₂(x), …, C_k(x));

(8) End for.

组合学习法是通过对原始数据进行扰动生成不同的训练数据来构建不同的分类器，而不是利用同一训练数据集在多个不同分类器上进行简单的重复训练，另外，一个分类训练中的错误还可以被下一个分类利用.分类器预测错误的原因之一就是未知实例与所学习的实例的分布有所区别，通过扰动，消除单个分类器所产生的偏差，使其使用的范围更广，涵盖各种类型的数据分布情况，得到更精确的模型.装袋(Bagging)、提升(Boosting)是目前构建集成分类器使用最多的算法.

Bagging是Breinman于1996年提出的，它的主要思想是给定一个弱学习算法和一个训练集，从训练集中随机抽样获取多个分类子训练数据样本, 通过对这些子训练样本进行训练构建多个对应的分类器, 最终采用简单投票的方法对多分类器的结果进行决策作为分类判别的结果.由于放回抽样，每次抽样都是独立的，因此Bagging是一种并行训练的组合方法^[18].

Bagging的过程如图 1所示:模式训练阶段, 对于有限样本组成的训练集S, 通过Bootstrap过程生成测试样本S_i, 以S_i为训练集分别构建分类器C_i; 测试样本时分别用各基分类器对样本x进行预测，依据{C₁, C₂, …, C_n}的综合投票结果, 确定测试样本x的类别.

2 基于Bagging的决策树组合分类器

Bagging算法实现了将多个弱分类器集成得到一个强分类器，同时具备很强的泛化能力和稳定性.本文用Bagging来构建一个组合决策树.基分类器是用C4.5算法构建的决策树，各基分类器间采用Bagging进行组合.其模型如图 2所示.

模型中D₁、D₂、D₃、…、D_n是D上的数据集, 分别从原始数据集D中进行有放回的随机抽取得到.C₁、C₂、C₃、…、C_n是一组基分类器，对应数据集中的训练数据用C4.5算法构建而成的决策树分类器.各基分类器之间相互独立，所以可以采用协同并行的思想进行训练.C+分类器融合各个基分类器的预测结果，每个分类器都可以得到一个结果，n个分类器的结果构成了一个函数序列，将这个序列进行等权重投票，得票数最高的类别为最终组合模型的分类结果.

3 组合分类器在气象数据中的应用

本文的样本数据集是广州市某地区2011年1月份到12月份的气象数据，气象站收集的是当地全年全天候每小时的即时数据共8744条，任何一条数据的数据项包括风向、风速、时总雨量、最高气温、湿球温度、水汽压、本站气压、最高本地气压、最低本地气压、草面温度、5cm草面温度、10cm草面温度等共50多项.

结合实验数据集的情况和当地气候的分布情况可知，当地的气温比较平稳，地处亚热带季风气候，气温从未低于0℃，而且也未高于39℃，为了便于实验分类和预测，本文将实验数据集中温度分为5个等级，如表 1所示.

由于该地区近50年来未发生过地震、洪涝等地质灾害，数据变化平稳，原始数据集中无噪声点，所以数据没有进行归一化处理，只需要进行简单的数据筛选和集成.尽量保持数据包括原始信息.

为了使用组合决策树来预测气温，通过气象部门了解到，气温主要受风速、相对湿度、气压、水汽压、露点温度、地面温度、时总蒸发量7个因素的影响.因此，从某地区气象数据集中提取对气温有影响的7个属性，去掉一些异常或者属性缺失的气象数据，生成原始数据集.将风速、相对湿度、气压、水汽压、露点温度、地面温度、时总蒸发量作为分类属性，气温等级作为类属性.

使用Matlab7.0工具进行实验，由于各类别的数据量差距较大，所以设定任何一个类别的训练数据量和测试数据量的比例都按4: 1的比例进行随机选择数据，结果如表 2至表 6所示.在基分类器个数和训练样本数不同的条件下，准确率有一定的浮动，当基分类器的个数为3时，平均准确率为87.66%，绝对误差是1.8℃.当基分类器个数为5时，平均准确率为88.12%，绝对误差是1.2℃.当基分类器的个数为7时，平均准确率为88.17%，绝对误差是0.9℃.当基分类器的个数为10时，平均准确率为88.26%，绝对误差是0.9℃.基分类器的个数越多，模型的准确率越高.从表 3至表 6可知，相同模型下，样本数量越多，预测的准确率越高.训练样品数量一定条件下，组合分类器平均准确率与基分类器个数关系如图 3所示.由图 3可知，随样本个数增加，组合分类器平均准确率随之增加，且基分类器个数越多，模型的准确率越稳定.当训练样本数为6 000时，设置了K=100时准确率为91.68%，K=500时，准确性仍然在91.94%左右，由此可知，基分类器个数K=10, 训练样本数n=6 000时组合器的准确率基本达到稳定状态，准确率达91.61%，绝对误差是0.8℃.

实验数据表明，由决策树组成的多组合分类器应用于气温预测具有较高的可信度.实验结果与现有的关于气温预测的论文中的实验结果进行对比，结果如表 7所示.

4 总结

数据挖掘中，决策树模型是最受欢迎的模型之一，最主要的原因在于它能够非常方便地用图形化的方式表现挖掘的结果.气象数据挖掘能快捷、高效地在复杂气象数据中挖掘隐含知识，能够弥补传统气象研究的不足，是提高预报准确率和灾害天气预警能力的有益补充.本文将决策树构建的组合多分类器模型运用到气温预测中, 得到了很好的预测准确率，提高了对天气预评估的效果.