2021,
Vol. 30
2. 中国水产科学研究院东海水产研究所 水产品质量安全与加工实验室, 上海 200090;
3. Marine Institute of Ireland, Ireland 999014
微藻是淡水和海洋生态系统食物链中重要组成部分之一，是众多海洋动物的直接饵料或间接饵料，其营养成份可促进鱼、虾、蟹、贝等水产生物的生长[1]。但是，近年来人类干扰活动频繁，导致入海污染物日益增多，从而引发水体的富营养化程度日趋严重，海洋赤潮发生的频率和强度都有所增加，表现为海域内产毒微藻浓度超限、贝类毒素污染等严重后果。然而微藻种类众多，种类形态相近，即使对于专业人士来说，其种类的鉴定也具有相当大的难度。因此开展微藻种类识别方法的研究，不仅有利于我国水产安全水平的提高，同时对于完善我国环境保护预警机制，也具有至关重要的意义。
随着计算机硬件的发展和算法研究的不断深入，结合计算机图形学对微藻图像进行辨别和分类也有了较多研究。在国外较早的相关研究中，HÄDER[2]使用落射荧光显微镜和计算机连接的图像识别系统实现了海洋微藻种类的鉴别，但该系统只能对浮游植物样品中的细胞进行区别辨认。随着人工智能算法研究的深入，机器学习技术也逐渐在微藻识别中有所应用。利用人工神经网络、支持向量机等原理，根据藻类的光学数码图像特征以及图像相似性距离方法对藻种进行分类，识别结果与人工鉴定结果具有一定的一致性[3-9]。
以上利用机器进行自动识别方法大体可分为轮廓特征识别和纹理特征识别两类，但都需要人工构造特征，难以发现和建立特征之间的关联性，因此传统分类器不易获得较准确的识别率[3]。与基于人工提取规则的传统特征构造方法相比，深度学习方法利用数据驱动进行特征学习，从而能够更好地描述数据的内在信息，最终提高分类的准确率[10]。
因此，采用卷积神经网络(convolutional neural networks, CNN)进行微藻识别的研究，利用微藻光学显微二维图像，基于AlexNet模型建立一套准确、快速的藻种鉴定方法，探索人工智能在浮游生物形态学鉴定应用中的关键技术。
1 材料与方法 1.1 图像预处理与数据集的生成 1.1.1 图像的采样与鉴定藻类样本来自于东海水产研究所赤潮甲藻和贝类毒素团队和爱尔兰海洋研究所(Marine Institute of Ireland)浮游植物与海洋生物毒素实验室。由于采样区域包含了沿海水域，因此藻种也包含了少量淡水种类。鉴于卷积神经网络具有强大的特征提取特点，为了简化藻种自动识别的流程，本研究也未对藻株进行染色与固定。通过对藻种进行图像光学显微拍照(目镜放大倍数为10倍，物镜放大倍数为40倍)，共获得图像样本1 758个，包括了7个藻种，分别为微小亚历山大藻(Alexandrium minutum)、冈比亚藻(Gambierdiscus sp.)、墨西哥原甲藻(Prorocentrum mexicanum)、链状亚历山大藻(Alexandrium catenella)、塔玛亚历山大藻(Alexandrium tamarense)、裸藻(Euglen sp.)和衣藻(Chlamydomonas sp.)，采样照片如图版Ⅰ所示。以上7个藻种中，除衣藻为淡水种、裸藻为淡水或半咸水种外，其余5个种类均为海洋产毒藻类。
|
1.微小亚历山大藻; 2.冈比亚藻; 3.裸藻; 4.链状亚历山大藻; 5.墨西哥原甲藻; 6.衣藻; 7.塔玛亚历山大藻。 1.Alexandrium minutum; 2.Gambierdiscus sp.; 3.Euglen sp.; 4. Alexandrium catenella; 5.Prorocentrum mexicanum; 6.Chlamydomonas sp.; 7.Alexandrium tamarense. 图版 Ⅰ 7个微藻的采样图像 Plate Ⅰ Sampling images of 7 microalgae |
构建深度模型往往需要海量的训练样本，可以通过更多样本的采样得到。但这需要大量的成本，而利用已有的数据人为制造出更多的数据，也可以使模型获得更好的泛化效果。为扩大样本数量，本研究采取了2方面的措施：(1)多次变焦采样。通过光学显微镜的微调功能，进行多次调焦后，即可以获得同一藻种在不同焦距下的多幅图像。(2)后期图像处理。藻种类型不应受藻种图像中所处位置与旋转角度的影响，因此，通过图像的翻转1次以及随机旋转10次，实现对数据集的增强处理, 流程如图 1所示。通过上述方法，最终共获得35 160个样本，各藻种数量组成如表 1所示。
|
图 1 藻种图像数据增强流程图 Fig. 1 Data enhancement flow chart of algae images |
|
表 1 图像训练数据集中藻种样本种类组成 Tab.1 Composition of microalgae samples of the image dataset for training |
数据增强后，将藻种的图像统一裁剪成了127×127像素的“小”图像，存储到训练数据集中。为了检验模型是否稳定，本研究利用了5折交叉验证的方法[11]，即样本集分成5等份，其中的4份作为训练数据，1份作为测试数据，记录5次的训练和测试精度。重复以上5折交叉验证各20次，最终计算100次训练和测试精度的平均值，以此检验模型的稳定性。另外每个藻种取40个藻株进行拍照，共计280个图像以备实际检验。
1.2 AlexNet网络模型AlexNet是在LeNet上发展起来的应用卷积神经网络的一个深度学习模型[12]。模型包含5个卷积层和3个全连接层(包括输出层)，在第1、2、5个卷积计算后添加了降采样(Max-pooling，最大池化)操作。整体网络结构如图 2所示。
|
图 2 微藻识别的AlexNet网络结构图 Fig. 2 AlexNet network structure diagram of microalgae identification |
在第1卷积层，输入的灰度像素规格为M×M(M为藻种图像边长像素数，本模型中M=127)，该层卷积核数量为64，尺寸为11×11，即每次连接11×11大小区域，获得一个特征。使用线性整流函数(rectified linear unit，ReLU)作为激活函数，并进行降采样处理。
在第2卷积层，使用192个5×5×64大小的卷积核，产生192个6×6的特征图，进一步提取特征，即对64个特征图中的某几个特征图中相应的区域乘以相应的权重，然后加上偏置之后所得到区域进行卷积。该层同样再进行激活和降采样处理。
第3和第4卷积层分别得到384个6×6的新特征图，第5卷积层得到256个2×2的特征图，并进行降采样, 防止过拟合。第6层和第7层均为全连接层，神经元个数分别为2 048个。
第8链接层采用的是7个神经元，代表 7个藻种，对第7层中2 048个神经元同样进行全连接，可计算得到7个浮点型的值，采用Softmax函数(公式1)计算7个藻种的概率值。
(1)
式中：vj为第j个类别节点的输出值；i为当前类别索引；vi为当前类别节点的输出值；c为总的类别个数；Si为当前类别节点输出值指数与所有类别节点输出值指数和的比值，即当前藻种判断概率值。
1.3 模型评价指标为检验AlexNet模型分类的实际应用效果，采用精确率(Ppre)、召回率(Pre)以及调和平均数(PF1)作为实验结果的评价标准。公式如下：
(2)
(3)
(4)
式中：Ntp为真阳性，表示正确地将正标签归为正标签的数量；Nfp为假阳性，表示错误地将负标签归为正标签的数量；Nfn假阴性，表示错误地将正标签归为负标签的数量。
2 结果 2.1 模型的训练精度变化利用5折交叉验证的方法，对该模型进行100次训练。当进行30 000次迭代后，训练精度和测试精度曲线均不再随迭代次数的增加而增长，处于平稳状态。最终训练精度为97.86%±1.63%，测试精度为85.86%±0.80%，训练效果良好。
2.2 实际藻种图像分类验证整个数据集进行训练后，将得到的模型参数调入内存，再将预留的280幅图像作为验证实例输入模型中。识别过程总耗时4.20 s, 单个藻种的平均用时15.0 ms。从结果看，7个藻种平均识别精确度、平均召回率以及平均调和平均数分别为83.2%、84.4%和83.3%。其中：识别精确率最高的是裸藻，达92.5%，最低的是衣藻，为70.0%；召回率最高的是衣藻，达96.6%，最低的是微小亚历山大藻，为69.8%；调和平均数(F1 Score)最高的是裸藻，为90.2%，最低的是微小亚历山大藻，为72.3%(表 2)。另外，验证样本中出现假阳性最高的为墨西哥原甲藻，样本量为14个，假阴性最高的为衣藻，样本量为12个。部分藻种(随机取30个)的识别结果如图版Ⅱ所示。
|
表 2 实际藻种图像的识别效果 Tab.2 Recognition effect for actual algal images |
|
红框中为分类错误的藻种图像，右上角的百分数值为分类概率值。其中编号1，6，7，9，10，25和27的图像分类结果为裸藻；编号2，3，16和21的图像分类结果为链状亚历山大藻；编号4的图像分类结果为冈比亚藻；编号为5，11，12，15，17，20，23，24和28的图像分类结果为墨西哥原甲藻；编号8和29的图像结果为衣藻；编号13的图像分类结果为塔玛亚因山大藻；编号14，18，19，22，26和30的图像分类结果为微小亚历山大藻。 Misclassified algae specieswere framed by red boxes and the percentage value in the top-right corner was the classification probability. Images of numbers as 1, 6, 7, 9, 10, 25 and 27 were classified as Euglen sp.; images of numbers as 2, 3, 16 and 21 were classified as Alexandrium catenella; image of number as 4 was classified as Gambierdiscus sp.; images of numbers as 5, 11, 12, 15, 17, 20, 23, 24 and 28 were classified as Prorocentrum mexicanum; images of numbers as 8 and 29 were classified as Chlamydomonas sp.; image of number as 13 was classified as Alexandrium tamarens and images of number as 14, 18, 19, 22, 26 and 30 were Alexandrium minutum. 图版 Ⅱ 部分实际藻种图像的识别结果 Plate Ⅱ Part of recognition results of actual algae species images |
形态学观察是历史最悠久的一种微藻分类方法，这种方法主要是根据藻细胞的大小、鞭毛、色素体等的位置及数量，腹孔的有无等形态特征来确定种类[13]。与荧光显微镜和扫描电镜相比，由于光衍射效应的存在，普通光学显微镜往往并不能很好观察到藻种细胞的清晰结构[14-15](图版Ⅰ)，这给通过普通光学显微镜进行人工鉴定带来一定的难度。而传统藻种图像机器识别中，由于图像中噪点往往大量存在，藻体分割是一个相当难解决的问题[4]。本研究中模型使用的深度学习方法，未涉及上述藻种的形态特征的人工辨认和藻种图像的分割，体现了该方法的易用性和高效性。
由于大部分藻种通过实验室培养或野外采样得到，在对藻种进行图像采集时，样本可能处于不同的生长阶段，这会导致藻类表面特征会发生一定的变化，如墨西哥原甲藻在不同阶段间插带的宽窄会发生变化等[16]。同时某些藻类在生殖过程中受到外界因子的环境胁迫，使细胞外部轮廓和内部纹理发生不同形式的改变，会产生畸变形式[17]。即便是在同一生长周期，由于破损、杂质干扰、角度等原因，不同藻类个体形态也会表现出一定的不同。这就要求针对同种藻种所提取到的特征要具有旋转、平移不变性的特征，且具有较强的鲁棒性。本研究中同样有个别藻种形态差异较大的现象，以墨西哥原甲藻图像为例，由于藻种观测角度不同，藻种图像的外轮廓和内部纹理有也较大的差异(图版Ⅱ-11、Ⅱ-17和Ⅱ-20)。为了应对这些情况，首先对藻种的图像样本采取了随机旋转等数据增强手段，增加训练的数据量，提高模型泛化能力。就模型结构而言，利用了5个卷积层和3个全连接层，并采取了卷积计算、最大池化等操作，较好地提取了藻种特征。这是因为卷积神经网络是为2维图像识别而设计的多层网络，内部模拟了视觉神经机制，因此对图像的平移、缩放、旋转及局部扭曲具有很强的适用性[18-19]。
另外，本研究中未对分类数据不平衡问题进行处理。这有可能导致分类更倾向于多数类别数据，而同样重要的少数类别数据却被错分[20]。在本研究的训练数据集中，墨西哥原甲藻占比相对较大，达到31.1%左右，而与之相对，衣藻在训练集中比例最小，约占4.7%。在实际分类结果中，假阳性样本最高的种类为墨西哥原甲藻，体现了分类结果向多数类别样本倾斜的迹象；而训练样本占少数的衣藻假阴性样本量最高，也说明少数类别的数据更容易错分到其他类别。针对不均衡数据分类问题，在今后的工作中，可以从数据层面和技术层面两个途径进一步对模型进行改进[21-22]。
4 结论本研究探讨了卷积神经网络模型AlexNet在微藻识别中的应用。与普通常见植物或动物的识别不同，微藻结构识别具有更高的复杂性。该研究可以应用于不同藻种不同生长阶段形态，以及模糊图像等不利情况。由于该方法具有在没有人工干预下提取形态特征的优势，并且可以获得较高的藻种识别率，因此适用于非专业人士进行快速而准确的藻种鉴定。在今后的工作当中，将尝试将其移植到C++环境下，为以后开发更完善的实时藻种识别系统打下基础。
| [1] |
王盛林, 刘平怀, 曹猛. 微藻营养价值及微藻饵料的开发利用[J]. 食品工业, 2019, 40(7): 275-279. WANG S L, LIU P H, CAO M. Development and utilization of nutritional value and feeds of microalgae[J]. The Food Industry, 2019, 40(7): 275-279. |
| [2] |
HÄDER D P. Novel method to determine vertical distributions of phytoplankton in marine water columns[J]. Environmental and Experimental Botany, 1995, 35(4): 547-555. DOI:10.1016/0098-8472(95)00021-6 |
| [3] |
PECH-PACHECO J L, ALVAREZ-BORREGO J. Optical-digital system applied to the identification of five phytoplankton species[J]. Marine Biology, 1998, 132(3): 357-365. DOI:10.1007/s002270050402 |
| [4] |
骆巧琦, 李雪松, 梁君荣, 等. 基于形状特征的硅藻显微图像自动识别[J]. 厦门大学学报(自然科学版), 2011, 50(4): 690-696. LUO Q Q, LI X S, LIANG J R, et al. Automatic identification of diatom microscopic images based on contour features[J]. Journal of Xiamen University (Natural Science), 2011, 50(4): 690-696. |
| [5] |
汪振兴, 佘焱, 姜建国. 赤潮藻类图像自动识别的研究[J]. 海洋环境科学, 2007, 26(1): 42-44. WANG Z X, SHE Y, JIANG J G. Study on automatic recognition for harmful algae images[J]. Marine Environmental Science, 2007, 26(1): 42-44. |
| [6] |
DIMITROVSKI I, KOCEV D, LOSKOVSKA S, et al. Hierarchical classification of diatom images using ensembles of predictive clustering trees[J]. Ecological Informatics, 2012, 7(1): 19-29. DOI:10.1016/j.ecoinf.2011.09.001 |
| [7] |
王铌, 于新生, 唐颖, 等. 图像自动识别技术在海洋浮游生物分析中的应用[J]. 海洋科学, 2007, 31(10): 61-66. WANG N, YU X S, TANG Y, et al. Applications of automatic image identification for marine plankton analysis[J]. Marine Sciences, 2007, 31(10): 61-66. DOI:10.3969/j.issn.1000-3096.2007.10.017 |
| [8] |
余肖翰, 曾松福, 曹宇峰, 等. 基于流式细胞摄像技术(FlowCAM)的赤潮藻类识别分析初探[J]. 海洋科学进展, 2013, 31(4): 515-526. YU X H, ZENG S F, CAO Y F, et al. Identification of red tide algae based on FlowCAM[J]. Advances in Marine Science, 2013, 31(4): 515-526. DOI:10.3969/j.issn.1671-6647.2013.04.010 |
| [9] |
牟琦. 基于机器视觉的硅藻门藻类鉴定方法研究[D]. 杭州: 浙江理工大学, 2014. MOU Q. Research on diatom algae identification methods based on machine vision[D]. Hangzhou: ZhejiangSci-Tech University, 2014. |
| [10] |
徐及, 黄兆琼, 李琛, 等. 深度学习在水下目标被动识别中的应用进展[J]. 信号处理, 2019, 35(9): 1460-1475. XU J, HUANG Z Q, LI C, et al. Advances in underwater target passive recognition using deep learning[J]. Journal of Signal Processing, 2019, 35(9): 1460-1475. |
| [11] |
范永东. 模型选择中的交叉验证方法综述[D]. 太原: 山西大学, 2013. FAN Y D. A summary of cross-validation in model selection[D]. Taiyuan: Shanxi University, 2013. |
| [12] |
KRIZHEVSKYA, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. Siem Reap, Cambodia: Curran Associates Inc., 2012.
|
| [13] |
李斯. 海洋微藻的分类方法学研究[D]. 青岛: 中国海洋大学, 2012. LI S. Development of applicable methodology for of the identification of marine microalgae[D]. Qingdao: Ocean University of China, 2012. |
| [14] |
祝生祥. 传统光学显微镜与近场光学显微镜[J]. 光学仪器, 2000, 22(6): 34-41. ZHU S X. Optical microscopy and near-field optical microscopy[J]. Optical Instruments, 2000, 22(6): 34-41. DOI:10.3969/j.issn.1005-5630.2000.06.007 |
| [15] |
王红霞, 陆斗定, 黄海燕, 等. 东海剧毒卡尔藻的形态特征及其系统进化分析[J]. 植物学报, 2011, 46(2): 179-188. WANG H X, LU D D, HUANG H Y, et al. Morphological and phylogenetic analysis of Karlodinium veneficum isolated from the East China Sea in China[J]. Bulletin of Botany, 2011, 46(2): 179-188. |
| [16] |
CORTÉS-ALTAMIRANO R, SIERRA-BELTRÁN A P. Morphology and taxonomy of Prorocentrum mexicanum and reinstatement of Prorocentrum rhathymum (Dinophyceae)[J]. Journal of Phycology, 2003, 39(1): 221-225. DOI:10.1046/j.1529-8817.2003.01112.x |
| [17] |
FALASCO E, BONA F, BADINO G, et al. Diatom teratological forms and environmental alterations: a review[J]. Hydrobiologia, 2009, 623(1): 1-35. DOI:10.1007/s10750-008-9687-3 |
| [18] |
丁小刚. BP神经网络与卷积神经网络在文字识别中的应用研究[D]. 武汉: 华中科技大学, 2014. DING X G. Research on character recognition with BP neural network and convolution neural network[D]. Wuhan: Huazhong University of Science and Technology, 2014. |
| [19] |
徐姗姗. 卷积神经网络的研究与应用[D]. 南京: 南京林业大学, 2013. XU S S. Research and application of the convolution neural network[D]. Nanjing: Nanjing Forestry University, 2013. |
| [20] |
徐丽丽. 面向不平衡数据集的分类算法研究[D]. 大连: 辽宁师范大学, 2016. XU L L. Research on classification algorithms for imbalanced dataset[D]. Dalian: Liaoning Normal University, 2016. |
| [21] |
BARUA S, ISLAM M M, YAO X, et al. MWMOTE—Majority weighted minority oversampling technique for imbalanced data set learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2014, 26(2): 405-425. DOI:10.1109/TKDE.2012.232 |
| [22] |
WANG B X, JAPKOWICZ N. Boosting support vector machines for imbalanced data sets[J]. Knowledge and Information Systems, 2010, 25(1): 1-20. DOI:10.1007/s10115-009-0198-y |
,
TIAN Xiaoqing2,
KANG Wei2,
ZHU Haopeng1,
ZHANG Shengmao1,
JOE Silke3,
DAI Yang1,
FAN Chengqi2
2. East China Sea Fisheries Research Institute, Chinese Academy of Fishery Sciences, Shanghai 200090, China;
3. Marine Institute of Ireland, Ireland 999014