文章信息
- 陈龙现, 葛浙东, 罗瑞, 刘传泽, 刘晓平, 周玉成.
- Chen Longxian, Ge Zhedong, Luo Rui, Liu Chuanze, Liu Xiaoping, Zhou Yucheng.
- 基于CNN的木材内部CT图像缺陷辨识
- Identification of CT Image Defects in Wood Based on Convolution Neural Network
- 林业科学, 2018, 54(11): 127-133.
- Scientia Silvae Sinicae, 2018, 54(11): 127-133.
- DOI: 10.11707/j.1001-7488.20181118
-
文章历史
- 收稿日期:2018-04-02
- 修回日期:2018-08-04
-
作者相关文章
近年来,随着经济社会建设速度不断加快,对木材的需求量日益增加,同时也对木材加工质量提出了更高要求。由于木材缺陷的存在,常导致木材利用率低下,造成大量资源浪费。为了最大程度地利用、节约木材资源,须在木材加工前获悉木材质量,因此利用无损检测方法对木材进行缺陷检测成为了木材加工的关键环节。
木材无损检测技术是20世纪50年代发展起来的一门新兴的、综合性的木材非破坏性检测技术。目前,常用的木材无损检测方法主要有机器视觉检测法、超声波检测法、应力波检测法和X射线检测法等(杨洋等,2010),这些检测方法的应用,大大提高了木材利用率,但也存在一些问题。马旭等(2017)利用工业相机采集木材图像,基于核PCA与SVM算法构造了分辨率达99%的模型,预测准确率相对普通常用线性方法显著提高,但该模型优化时间复杂度相当大,不宜于实际应用。张甜等(2016)利用超声波法对杉木(Cunninghamia lanceolata)进行测试,采用指数函数模型和线性函数模型对缺陷大小和超声波传播速度进行回归分析,但该研究仅确定了超声波传播速度与孔洞直径的定量关系,没有对缺陷类型进行辨识分类。王再超等(2015)提出应力波与支持向量机相结合的木材缺陷识别分类方法,该方法可有效区分虫眼、节子、裂纹缺陷,但对腐朽程度较小的缺陷区域和木材正常区域难以区分。牟洪波(2006)利用X射线探测木材获取内部图像,基于人工神经网络算法识别木材缺陷,取得了较好效果,但人工神经网络模型内部神经元采用全连接结构,训练参数繁多,耗时较长。戚大伟等(2013)利用X射线检测木材,获得了清晰图像,并采用Hu不变矩和BP神经网络算法对缺陷进行分类,准确率达到86%,但该算法需先获取缺陷形状特征参数,再输入到BP神经网络进行训练、分类,建模过程复杂。在缺陷识别算法方面,深度学习之卷积神经网络(convolutional neural network,CNN)可有效解决常规算法存在的问题,其无需输入分类特征,由图像数据集本身直接驱使特征及表达关系自我深度学习,对输入图像有极强的数据表述、表征能力,具有训练参数少、构建模型过程简单、分类耗时短、准确率高等优点,在手写数字识别(张红等,2017;Alwzwazy et al., 2016;Yang et al.,2016)、人脸识别(陈耀丹等,2016;Singh et al., 2017;Dobhal et al., 2015)、情绪识别(李思泉等,2018)、行为识别(刘璐璐,2017;Ronao et al., 2016)以及物体识别(黎奉薪,2016)等方面都有广泛应用。最近,傅隆生等(2018)将识别手写数字的卷积神经网络LeNet模型成功应用于识别猕猴桃(Actinidia chinensis)果实试验中,取得了非常好的效果。
鉴于此,本研究采用X射线获取木材内部横断面CT图像,基于CNN构建LeNet优化模型对图像进行辨识分类,提出一种基于CNN的木材内部缺陷辨识方法,以期实现木材的高效化自动分类。
1 CNN的基本原理卷积神经网络(CNN)中每层卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,更多层的网络能从低级特征中迭代提取更复杂的特征。
1.1 卷积层卷积层的计算公式为:
$ X_j^l = f(\sum\limits_{i \in {M_j}} {} X_i^{l - 1}{\rm{kernel}}_{ij}^l + B_j^l)。$ | (1) |
式中:f代表激活函数,采用非饱和线性修正单元(rectified linear units,ReLU)函数;Xjl为第l层第j个特征图,每个特征图对应不同的卷积核,每个卷积层有多个卷积核,则有多个特征图;kernelijl为第l层CNN第j卷积核第i神经元的权值;Bjl为偏置项。
在具体卷积操作过程中,首先需要确定卷积核的尺寸和数量,这对CNN的性能起决定性作用。使用卷积核kernelijl进行加权运算得到Xil-1×kernelijl,然后对其求和后加偏移Bjl。为解决卷积操作后造成的网络过拟合和收敛速度慢问题,将卷积层输出结果作非线性映射,经ReLU激活函数运算处理后,卷积层的输出能够合理地作为池化层的输入。
1.2 池化层为进行下采样并减少过拟合,需构建池化层。依据图像局部性原理对上层输入进行抽样,以降低网络空间分辨率,消除图像偏移和扭曲。在池化过程中,假设矩阵Xjl-1为n×n维矩阵,池化窗口为2×2,按照池化窗口大小将矩阵Xjl分割成m块不相交的2×2小矩阵,对每块中的所有元素取最大值,则称为最大池化,得到的矩阵S称为pool map。池化过程完成后,特征图在2个维度上分别变为原来的1/2。池化层的计算公式为:
$ X_j^l = \beta _j^l{\rm{down}}(X_i^{l - 1}) + B_j^l。$ | (2) |
式中:down()代表下采样函数;Xjl-1为池化层输入;βjl为输出特征的乘性偏置;Bjl为加性偏置项。
1.3 全连接层为达到深度学习分类的目的,需设计合理高效的全连接层。若卷积层、激活函数和池化层等操作是将原始数据映射到隐层特征空间,全连接层则起到将学得的“分布式特征表示”映射到样本标记空间的作用。在本研究中,对前层是全连接的全连接层,通过转化为卷积核为1×1的卷积,实现输出n×1大小的向量,使得几个全连接层对向量进行降维操作。
2 材料与方法 2.1 图像获取利用课题组自行开发的计算机断层扫描系统(图 1a)采集样本木材(图 1b~e)内部CT图像,该系统核心部件为IXS160型X射线发射器(英国)和DS_LINXV3型等距平板探测器(英国)。设置X射线发射器和X射线探测器的最佳参数,调节X射线发射器和X射线接收器到旋转平台中心的距离,将待测样本木材置于发射器与探测器之间可升降旋转的载物平台上,样本每旋转0.1°采集1次数据,每次扫描获得数据3 600行、1 280列,直至完成对样本360°扫描。对采集的样本图像进行预处理、滤波运算及反投影成像,获取木材断层二维灰度图像,进而辨识木材内部结构(葛浙东等,2016)。通过扫描样本木材的剖面断层,共采集800幅样本图像,图像格式为bmp,大小为1 036×1 036,如图 2所示。
![]() |
图 1 计算机断层扫描系统及部分木材试件 Figure 1 Computed tomography scanning system and some timber specimens |
![]() |
图 2 木材内部CT断层图像 Figure 2 CT tomography images of wood |
计算机断层扫描系统采集的样本图像尺寸较大,且同一幅图像中包含多种缺陷。本研究从采集的800幅CT断层图像中随机选取700幅,截取具有裂纹、虫眼、节子存在的目标区域和正常木材断层区域样本图像20 000幅。采用双线性插值法将图像尺寸缩小并标准化,使所截取的样本图像大小为28×28像素,通过亮度变换、水平翻转等图像增强算法将数据集扩充到70 000幅,一定程度上提升了数据集的多样性。将截取的所有样本图像进行人工分类筛选,以避免数据样本选取的单一性和误选性。整个数据集全部用于CNN的模型训练、参数优化和结果测试,分别从正常、裂纹、虫眼和节子4类样本图像中各随机选择15 000幅,组成60 000幅样本图像的训练集,剩余10 000幅样本图像作为测试集。截取的部分样本图像如图 3所示。
![]() |
图 3 部分数据集样本示例 Figure 3 Example images of partial dataset |
基于CNN的木材内部CT图像缺陷辨识是一种深度学习方法,是以多层神经网络为基础、针对图像识别和分类而设计的。本研究依托MATLAB构建CNN模型,借助DeepLearnToolBox工具箱,搭建基于CNN的LeNet分类模型。通过多次训练不同参数的LeNet模型,验证不同结构模型的识别正确率和耗时,综合考虑后最终采用2个卷积层C1、C3,尺寸均为5×5像素的局部感受野,其数目分别为6、12。构建基于LeNet的木材图像识别训练体系如图 4所示,包括输入层、卷积层、池化层、全连接层和输出层。灰度图像直接从输入层输入,池化层和卷积层交替出现,再到全连接层,最后通过Softmax函数传输到输出层输出类别。
![]() |
图 4 基于LeNet的木材图像识别训练体系 Figure 4 Training architecture for wood image recognition based on LeNet |
根据本研究提出的图像缺陷辨识方法及构建的LeNet网络结构,图像识别步骤如下:
第1步,为使木材内部CT图像符合网络训练要求,对图像进行裁剪预处理和分类;
第2步,对预处理分类后的图像进行随机采样,获得一定数量的训练集和测试集,为得到初始化滤波器的权值,对LeNet结构进行初始化;
第3步,将第2步的滤波器和第1步的训练集图像进行第1次卷积,得到一定数量的特征图,采用ReLU激活函数处理数据;
第4步,将第3步获得的特征图进行最大池化操作,经泛化后得到图像;
第5步,分别利用第3步和第4步的方法对第4步输出的特征图进行第2次卷积、第2次批量归一化处理、第2次下采样,获得所需特征图;
第6步,将第5步获得的所有特征图转化为一个列向量,输入到全连接层,计算识别结果与标记的差异,利用反向传播算法自上向下调节更新网络结构参数;
第7步,将处理后的测试图像输入到网络模型,采用训练得到的网络结构模型对测试图像进行分类,利用Softmax分类器并与多尺度滑动窗算法相结合显示最终识别结果。
3 结果与分析 3.1 模型训练正确率通过60 000幅图像来训练CNN网络模型,流程如图 5所示。加载样本数据和标签,设置学习率为1,每次更新参数的样本数为50,初始化权重采用0.01的标准差,高斯分布均值为0,动量因子为0.9。设置好所有参数后,进行训练集的迭代训练和验证集的验证,其变化曲线如图 6所示。可以看出,随着不断训练样本数据,训练集和验证集的分类正确逐渐升高:第10 000个样本训练完成后,模型分类正确率超过90%,并趋于稳定上升状态;训练70 000个样本后,模型分类正确率接近96%,训练误差率也基本收敛到稳定较小值,这说明CNN训练达到了预期分类效果。
![]() |
图 5 模型训练流程 Figure 5 Flow chart of training model |
![]() |
图 6 模型分类正确率 Figure 6 Accuracy rate of model classification |
为了验证模型的稳定性、可靠性和实际分类正确率,通过200次试验识别测试集的10 000幅图像,计算平均分类正确率。在测试集中正常、裂纹、虫眼和节子图像各2 500幅,逐一经过模型识别,最终平均分类正确率分别为91.32%、95.84%、97.28%和99.04%(表 1)。
![]() |
木材内部缺陷无损检测方式有很多,不同测试方法和分类算法组合所得结果也不同,本研究方法同其他2种辨识方法的比较结果如表 2所示。
![]() |
从表 2可以看出,在同样试验材料(杉木和松木)的CT图像基础上,HOG特征提取与SVM算法相结合的分类正确率仅83.83%,单幅图像分类时间为54 ms;LBP特征提取与随机森林算法相结合的分类正确率为94.46%,单幅图像分类时间为18 ms; 而本研究方法的分类正确率高达95.87%,单幅图像分类时间仅为15 ms。综合分析可以得出:图像采集方面,CT扫描占明显优势,成像清晰直观;分类算法方面,本研究方法先进、有效,更适合图像的识别和分类。2方面优势均证明基于CNN的木材内部CT图像缺陷辨识优于传统辨识分类方法。
4 讨论基于CNN的LeNet模型具有隐藏层数少、结构简单和便于参数优化等特点,应用于处理灰度图像较为成熟。CNN处理二维灰度图像时有很多独特之处,算法共享卷积核,无需手动选取图像纹理特征,缩短了处理时间;局部感受野和权值共享技术减少了参数空间,降低了算法的复杂度;次抽样技术增强了网络鲁棒性,能容忍图像一定程度的畸变。与对图像进行复杂预处理、缺陷边界提取的随机森林和SVM等传统算法相比,本研究方法避免了模型复杂程度高、人为提取缺陷特征不足等问题。通过CT扫描获取清晰的木材内部缺陷图像,基于CNN的木材内部缺陷图像辨识算法准确性较高,辨识时间较短,取得了较好效果。但本研究也存在一些不足之处,如试验木材种类相对单一、模型容量小等,后期研究要增加木材种类,搭建更深层次CNN网络模型,以便模型输入更大尺寸图像,识别存在多种缺陷的图像。
5 结论本研究使用课题组自行开发的计算机断层扫描系统扫描木材,获取内部断层图像,并搭建了基于CNN的LeNet模型对图像缺陷进行识别。首先模型在增强后的70 000幅图像数据集上进行训练,通过正向传播、反向传播算法更新网络LeNet模型参数;其次根据图像纹理特点,LeNet模型通过深度自学习提取分类特征,避免人为主观提取分类特征影响图像识别结果;最后确定网络模型各层权值、偏置等参数,在10 000幅图像测试集上检验分类准确率达到了95.87%,单个缺陷图像识别时间为15 ms。经验证比较,本研究方法优于参数量大、训练时间长和分类正确率低的传统算法,可有效对木材内部缺陷进行辨识分类,是一种无损、高效、准确的辨识分类方法。
陈耀丹, 王连明. 2016. 基于卷积神经网络的人脸识别方法. 东北师大学报:自然科学版, 48(2): 70-76. (Chen Y D, Wang L M. 2016. Convolutional neural network for face recognition method. Journal of Northeast Normal University:Natural Science Edition, 48(2): 70-76. [in Chinese]) |
傅隆生, 冯亚利, Elkamil T, 等. 2018. 基于卷积神经网络的田间多簇猕猴桃图像识别方法. 农业工程学报, 34(2): 205-211. (Fu L S, Wen Y L, Elkamil T, et al. 2018. Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks. Transactions of the Chinese Society of Agricultural Engineering, 34(2): 205-211. [in Chinese]) |
葛浙东, 侯晓鹏, 鲁守银, 等. 2016. 基于反投影坐标快速算法的木材CT检测系统研究. 农业机械学报, 47(3): 335-341. (Ge Z D, Hou X P, Lu S Y, et al. 2016. Wood CT detection system based on fast algorithm of inverse projection coordinate. Transactions of the Chinese Society of Agricultural Machinery, 47(3): 335-341, 327. [in Chinese]) |
马旭, 刘应安, 业宁, 等. 2017. 基于核PCA与SVM算法的木材缺陷识别. 常州大学学报:自然科学版, 29(3): 60-68. (Ma X, Liu Y A, Ye N, et al. 2017. Application of KPCA and SVM to wood defect recognition. Journal of Changzhou University:Natural Science Edition, 29(3): 60-68. [in Chinese]) |
牟洪波. 2006.基于人工神经网络的木材缺陷检测研究.哈尔滨: 东北林业大学硕士学位论文. (Mou H B. 2006. Study on wood defects testing base on artificial neural network. Harbin: MS thesis of Northeast Forestry University.[in Chinese]) |
黎奉薪. 2016.基于深层卷积神经网络的物体识别研究.哈尔滨: 哈尔滨工业大学硕士学位论文. (Li F X. 2016. Research on object recognition based on deep convolution neural network. Harbin: MS thesis of Harbin Institute of Technology.[in Chinese]) |
李思泉, 张轩雄. 2018. 基于卷积神经网络的人脸表情识别研究. 软件导刊, 17(1): 28-31. (Li S Q, Zhang X X. 2018. Study on face expression recognition based on convolutional neural network. Software Guide, 17(1): 28-31. [in Chinese]) |
刘璐璐. 2017.基于卷积神经网络的人体行为识别研究.北京: 中国科学技术大学硕士学位论文. (Liu L L. 2017. Research on human body action recognitiom by convolutional neural networks. Beijing: MS thesis of Univercity of Science and Technology of China.[in Chinese]) |
戚大伟, 牟洪波. 2013. 基于Hu不变矩和BP神经网络的木材缺陷检测. 东南大学学报:自然科学版, 43(s1): 63-66. (Qi D W, Mou H B. 2013. Detection of wood defects types based on Hu invariant moments and BP neural network. Journal of Southeast University:Natural Science Edition, 43(s1): 63-66. [in Chinese]) |
王再超, 李光辉, 冯海林, 等. 2015. 基于应力波和支持向量机的木材缺陷识别分类方法. 南京林业大学学报:自然科学版, 39(3): 130-136. (Wang Z C, Li G H, Feng H L, et al. 2015. A method of wood defect identification and classification based on stress wave and SVM. Journal of Nanjing Forestry University:Natural Science Edition, 39(3): 130-136. [in Chinese]) |
杨洋, 申世杰. 2010. 木材无损检测技术研究历史、现状和展望. 科技导报, 28(14): 113-117. (Yang Y, Shen S J. 2010. History, present state and future of non-destructive testing for wood. Science & Technology Review, 28(14): 113-117. [in Chinese]) |
张红, 马静. 2017. 基于卷积神经网络的手写数字识别算法. 电子技术与软件工程, (22): 176. (Zhang H, Ma J. 2017. Handwritten numeral recognition algorithm based on convolutional neural networks. Electronic Technology & Software Engineering, (22): 176. [in Chinese]) |
张甜, 程小武, 陆伟东, 等. 2016. 超声波法检测木材内部孔洞缺陷的研究. 西南林业大学学报, 36(1): 121-125. (Zhang T, Cheng X W, Lu W D, et al. 2016. Experimental study on testing internal hole defects of wood by ultrasonic method. Journal of Southwest Forestry University, 36(1): 121-125. [in Chinese]) |
Alwzwazy H, Albehadili H, Alwan Y, et al. 2016. Handwritten digit recognition using convolutional neural networks. International Journal of Innovative Research in Computer & Communication Engineering, 4(2): 1101-1106. |
Dobhal T, Shitole V, Thomas G, et al. 2015. Human activity recognition using binary motion image and deep learning. Procedia Computer Science, 58: 178-185. DOI:10.1016/j.procs.2015.08.050 |
Ronao C A, Cho S B. 2016. Human activity recognition with smartphone sensors using deep learning neural networks. Expert Systems with Applications, 59: 235-244. DOI:10.1016/j.eswa.2016.04.032 |
Singh R, Om H. 2017. Newborn face recognition using deep convolutional neural network. Multimedia Tools & Applications, 76(18): 19005-19015. |
Yang W, Jin L, Tao D, et al. 2016. Dropsample:a new training method to enhance deep convolutional neural networks for large-scale unconstrained handwritten Chinese character recognition. Pattern Recognition, 58(4): 190-203. |