武夷岩茶是中国传统名茶，品种资源丰富，史书记载有上千个品种。因此武夷岩茶茶树品种的智能识别技术对研究武夷岩茶茶树的分布情况以及种质资源保护具有重要意义。基于叶片的识别是植物种类识别最直接有效的方法^[1]。鉴于武夷岩茶不同茶树品种的叶片在形态、大小和颜色上存在差异，因此，武夷岩茶叶片是识别茶树品种的首要特征。然而不同品种的武夷岩茶鲜茶叶叶片大小、形状、颜色区别细微，在没有丰富经验的情况下，仅凭肉眼不易分辨茶叶所属品种，因此研究自动化的茶叶品种识别方法是必要且有意义的工作。

当前，深度学习已成为解决图像分类问题的一种重要方法^[2-5]，尤其是基于卷积神经网络(convolutional neural network,CNN)的深度学习。该方法能得到更准确且接近图像高级语义的特征，已在图像分类方面取得了突破性进展^[6-8]。目前，有不少研究者尝试将CNN应用于植物分类问题。Yalcin等^[9]提出了一种改进的CNN结构，并在植物图像的分类问题上取得了比基于LBP、GIST等特征描述方法更高的分类准确率。Lee等^[10]采用基于解卷积网络的方法识别植物叶片特征，展示了植物叶片特征从低层抽象到高层抽象的层次转换。Grinblat等^[11]使用深度CNN模型自动提取植物叶脉特征，证明通过增加模型深度可提高植物分类的准确率。Pawara等^[12]使用基于CNN的方法在多种植物图像数据集上进行分类实验，结果表明深度CNN方法优于人工特征提取方法。

在武夷岩茶鲜茶叶叶片图像分类问题上，目前还未见到基于CNN的相关研究工作，已有方法仍然采用人工提取特征的技术路线。例如，林丽惠等^[13]人工提取武夷岩茶鲜茶叶叶片图像的14种形状和纹理图像特征，然后使用支持向量机进行分类，取得了91%的分类准确率。总体上，基于人工提取特征的鲜茶叶叶片图像分类方法的分类准确率都在90%左右^[14-16]。

本研究针对武夷岩茶鲜茶叶叶片图像分类问题，在现有CNN模型的基础上，提出了一个融合整体与局部信息的两分支并行卷积神经网络模型。该模型在武夷岩茶的9个茶叶品种共计7330张鲜茶叶叶片图像数据集上的分类准确率显著超过已有方法。

1 常见的CNN模型

2012年，由Alex等提出的AlexNet^[17]模型赢得了2012年ImageNet项目的大规模视觉识别挑战(ILSVRC)的第一名，取得Top-5错误率为16.4%的成绩。2014年，牛津大学视觉几何组提出的VGGNet模型^[18]在ILSVRC比赛中将Top-5错误率降到7.32%。Google提出的GoogLeNet模型及其后续版本^[19]在ILSVRC比赛中将Top-5错误率降低至4.8%。从上述CNN模型发展过程看，采用越来越深的网络结构是发展趋势。因为从AlexNet、VGGNet到GoogLeNet，网络模型的深度越来越深，同时在ILSVRC比赛上取得的成绩也越来越好。

2 ResNet模型 + 迁移学习

在CNN模型中，常通过增加网络深度来提升模型的表达能力。但随着网络深度的增加，梯度消失等问题导致网络参数的寻优过程变得愈发困难。为此，何恺明等^[20]提出了深度残差网络(residual network，ResNet)，并在2015年的ILSVRC比赛中将Top-5错误率降至3.57%。ResNet模型的核心思想是引入输入到输出的捷径连接(图1)，以降低数据中信息的冗余度^[21]。ResNet模型有不同的网络层数，常用的有18层深度的ResNet18和50层深度的ResNet50。

将深度CNN模型应用于图像分类问题的困难之一是需要庞大的图像数据集，否则其分类准确率不佳。迁移学习^[22]是一种把源领域知识迁移到目标领域的方法，适用于源领域数据量充足而目标领域数据量较小的情况。因此在图像数据量较小的情况下，可将CNN模型和迁移学习相结合。这样做有3个益处:1) CNN模型能充分利用源领域的大数据来预训练网络的参数；2) CNN模型在训练过程中性能提升的速率更快；3) CNN模型训练过程能更平稳地收敛到局部最优值。

3 整体与局部信息融合的CNN模型

针对武夷岩茶鲜茶叶叶片分类问题，本研究构建了一个如图2所示的整体与局部信息融合的CNN模型(IGL-CNN)，并将在ImageNet数据集上预训练的ResNet模型通过微调网络参数的方式迁移到武夷岩茶鲜茶叶叶片分类问题中。

3.1 网络模型结构概述

IGL-CNN模型包含两个并行分支，分别用于提取鲜茶叶叶片的全局特征和局部特征。两个分支都采用在ImageNet数据集上通过预训练得到的ResNet模型。第一个分支的输入是完整的茶叶叶片图像(整体信息)，其输出是叶片的全局特征。第二个分支的输入是局部的茶叶叶片图像(局部信息)，其输出是叶片的局部特征。其次，在特征融合层将全局特征和局部特征进行融合，得到叶片图像对应的最终特征向量。最后，通过分类层将融合后的特征向量分类到不同的茶品种类别。

3.2 局部特征提取

将叶片图像归一化到224像素×224像素，然后再将叶片图像均匀划分为 ${\rm{3}} \times {\rm{3}}$ 的子块(图3)。把子块分为3组。第1组由标注为1的子块组成，代表图像中间信息。第2组由标注为2的子块组成，代表图像前后端信息。第3组由标注为3的子块组成，代表图像边缘信息。以上3组局部信息经过并行分支结构中的第2个分支处理后得到对应的局部特征。

3.3 特征融合

用特征串联操作将IGL-CNN模型提取出的茶叶叶片图像全局特征 ${{g}}$ 与局部特征 ${{l}}$ 组合为特征向量 $[{{g}},{{l}}]$ ，其中 ${{g}}$ 和 ${{l}}$ 均为512维的向量。

3.4 损失函数

考虑到武夷岩茶鲜茶叶叶片图像样本数量的不均匀性，本研究使用交叉熵作为损失函数。假设待分类的武夷岩茶鲜茶叶叶片共有 $C$ 个品种。对叶片样本 $k$ ，定义其真实的类标签 ${{p}}$ 为一个维度为 $C$ 的向量 $\left[ {{t_1},{t_2}, \cdots ,{t_C}} \right]$ ，当样本 $k$ 属于品种 $i$ 时， ${t_i}{\rm{ = }}1$ ，否则 ${t_i}{\rm{ = 0}}$ 。将叶片样本 $k$ 在分类模型的输出预测概率分布记为 ${{q}}{\rm{ = }}\left[ {{y_1},{y_2}, \cdots ,{y_C}} \right]$ 。对叶片样本 $k$ ，其真实类标签与输出预测分布之间的差异用交叉熵 ${l_{{\rm{CE}}}}$ 来表示：

${l_{{\rm{CE}}}} = - \sum\limits_{i = 1}^C {{t_i}} \log ({y_i})$

(1)

对所有 $N$ 个叶片样本，总损失函数 $L$ 如下：

$L = - \sum\limits_{k = 1}^N {\sum\limits_{i = 1}^C {{t_{ki}}} \log ({y_{ki}})} $

(2)

当叶片样本 $k$ 属于品种 $i$ 时， ${t_{ki}}{\rm{ = }}1$ ，否则 ${t_{ki}}{\rm{ = 0}}$ 。 ${y_{ki}}$ 是IGL-CNN模型预测叶片样本 $k$ 属于品种 $i$ 的概率。

4 实验 4.1 数据集

数据集为实地采集武夷岩茶中9个茶叶品种共计7330张鲜茶叶叶片图像。图4列出了9种茶叶品种的鲜茶叶叶片图像数目。

4.2 数据预处理

通过基于阈值的图像分割算法对叶片图像进行预处理，提取图像前景区域，然后将背景颜色设置为纯白。图5为武夷岩茶鲜茶叶叶片图像的预处理结果。

4.3 训练过程

将7330张叶片图像数据按7:3的比例划分为训练集和测试集。在IGL-CNN模型中，第1个ResNet模型的输入为整个叶片图像，用于提取叶片图像的全局特征，第2个ResNet模型的输入为叶片图像块，即图3所示的3组叶片图像块中的一组或者多组，用于提取叶片图像的局部特征。IGL-CNN模型中全连接层的输出设为9维矢量，以适应9类茶叶品种。

使用随机梯度下降方法训练模型。为客观比较网络模型和训练机制对分类准确率的影响，对实验中的超参数进行统一处理，超参数的具体值如表1所示：

4.4 实验结果与分析 4.4.1 配置ResNet18的IGL-CNN模型

将IGL-CNN模型中的两个分支均设置为ResNet18。局部的茶叶叶片信息分为边缘、中间和前后端3类，实验中选择了7种组合作为第2个分支的输入。表2给出了这7种输入对应的分类准确率，可见全局信息与边缘信息融合的策略取得了96.68%的最高分类准确率。

4.4.2 配置ResNet50的IGL-CNN模型

将IGL-CNN模型中的两个分支均设置为ResNet50。为了与配置ResNet18的IGL-CNN模型进行最优分类准确率的对比，将配置ResNet50的IGL-CNN模型的第2个分支的输入设置为图像边缘信息。实验结果表明其分类精度为96.36%，低于对应配置ResNet18的IGL-CNN模型的分类准确率96.68%。这表明对于7330张叶片图像数据集，18层的网络已足够深。如果希望在配置ResNet50的IGL-CNN模型上取得更好的分类准确率，7330张叶片图像数据集小了，需要更大的数据集。

4.4.3 单分支CNN模型

为验证两分支并行卷积神经网络相较于单分支卷积神经网络的优越性，对单分支CNN模型进行了实验。第1次实验将单分支设为ResNet18模型，第2次实验将单分支设为ResNet50模型，第3次实验将单分支设为VGG16模型，第4次实验将单分支设为AlexNet模型。

综合以上3类实验结果，可得到以下结论。

1)当IGL-CNN模型的输入是整个叶片图像信息与图像边缘信息时取得96.68%的最高分类准确率；

2)当IGL-CNN模型的输入是整个叶片图像信息与图像中间信息时，分类准确率为96.27%，高于单分支CNN模型的最高分类准确率96.04%；

3)当IGL-CNN模型的输入是整个叶片图像和图像前后端信息时，分类准确率为92.25%，略高于单分支CNN模型的最低分类准确率92.21%。

4)对于武夷岩茶鲜茶叶叶片分类问题，除了全局信息，叶片图像的边缘局部信息和中间局部信息也是区分叶片种类的重要信息。图像的边缘信息反映了叶片的边缘形状特征，图像的中间信息反映了叶片的纹理特征。因此，边缘形状和纹理是分类叶片种类的重要信息。在加入图像的前后端信息后，叶片分类的准确率出现了下降，这说明叶片图像的前后两端信息对区分叶片种类的作用不大。

5)合理选择CNN模型的深度很重要。理论上，模型深度越深，模型的表达能力越好。如表3所示，ResNet50模型的分类准确率要高于ResNet18模型的分类准确率。但对于配置ResNet50的IGL-CNN模型和配置ResNet18的IGL-CNN模型而言，这种情况出现了逆转。考虑到IGL-CNN模型的两分支并行结构包含的参数数目是单分支CNN模型的2倍，这说明7330张叶片图像数据集对于配置ResNet50的IGL-CNN模型是不够的，如果想进一步提高配置ResNet50的IGL-CNN模型的分类准确率，还需增大图像数据集的容量。

5 结束语

针对武夷岩茶鲜茶叶叶片图像分类问题，本研究设计了一个两分支并行结构的CNN模型。该模型融合了叶片图像的整体与局部信息，并在给定的武夷岩茶鲜茶叶叶片图像数据集上取得了很好的分类准确率。此外，实验结果还表明，除了图像的全局信息外，图像的边缘信息和纹理信息也是识别武夷岩茶鲜茶叶叶片的重要特征。以上结论为后续研究工作提供了有益的借鉴。