南京农业大学学报  2017, Vol. 40 Issue (3): 547-555   PDF    
http://dx.doi.org/10.7685/jnau.201609031
0

文章信息

魏康丽, 王振杰, 孙柯, 殷旭, 赵保民, 屠康, 陈飞, 朱金星, 潘磊庆
WEI Kangli, WANG Zhenjie, SUN Ke, YIN Xu, ZHAO Baomin, TU Kang, CHEN Fei, ZHU Jinxing, PAN Leiqing
基于计算机视觉对苹果脆片外观品质分级
External quality classification of apple chips based on computer vision
南京农业大学学报, 2017, 40(3): 547-555
Journal of Nanjing Agricultural University, 2017, 40(3): 547-555.
http://dx.doi.org/10.7685/jnau.201609031

文章历史

收稿日期: 2016-09-21
引用本文
魏康丽, 王振杰, 孙柯, 等. 基于计算机视觉对苹果脆片外观品质分级[J]. 南京农业大学学报, 2017, 40(3): 547-555.
WEI Kangli, WANG Zhenjie, SUN Ke, et al. External quality classification of apple chips based on computer vision[J]. Journal of Nanjing Agricultural University, 2017, 40(3): 547-555.  DOI: 10.7685/jnau.201609031
基于计算机视觉对苹果脆片外观品质分级
魏康丽1, 王振杰1, 孙柯1, 殷旭1, 赵保民2, 屠康1, 陈飞2, 朱金星2, 潘磊庆1    
1. 南京农业大学食品科技学院, 江苏 南京 210095;
2. 江苏派乐滋食品有限公司, 江苏 徐州 221008
收稿日期：2016-09-21
基金项目：国家自然科学基金项目(31671925, 31671926);苏北科技发展计划——科技富民强县项目(BN2015025);中央高校基本科研业务费专项资金(KYLH201504)
作者简介：魏康丽, 硕士研究生
通信作者：潘磊庆, 副教授, 硕导, 研究方向为农产品无损检测, E-mail:pan_leiqing@njau.edu.cn
摘要：[目的]为了开发苹果脆片自动化分级技术, 利用计算机视觉对苹果脆片外部品质进行无损检测研究。[方法]通过对苹果脆片的大小、形状、颜色、纹理特征的感官评分建立苹果脆片外部品质等级评价标准。首先, 利用计算机视觉系统获取脆片图像, 经图像处理后, 进行特征提取; 然后, 通过比较数据离差标准化和标准差标准化处理对费歇尔线性判别(FLD)、偏最小二乘法判别分析(PLS-DA)、支持向量机(SVM)3种模型建模效果的影响, 确定合适的数据预处理方式; 并分别基于这3种模型对预测样本进行分级; 最后, 采用连续投影算法(SPA)筛选最佳特征参数, 并比较3种模型的建模和预测结果, 确定最佳分级模型。[结果]数据经离差标准化处理后建模效果更好; FLD、PLS-DA、SVM 3种模型中SVM模型分级效果最好, 其建模集和预测集分级准确率分别为99.1%和98.0%;基于SPA算法筛选得到了面积、圆形度、对比度的均值、能量的均值、对比度的均方差、熵的均方差这6个特征参数, 基于特征参数的SVM模型建模集和预测集分级准确率分别为98.7%和97.3%。[结论]该研究实现了苹果脆片的外观品质的自动检测和分级, 为苹果脆片的计算机视觉自动分级提供了技术支持。
关键词：苹果脆片   计算机视觉   连续投影算法   模型   分级   
External quality classification of apple chips based on computer vision
WEI Kangli1, WANG Zhenjie1, SUN Ke1, YIN Xu1, ZHAO Baomin2, TU Kang1, CHEN Fei2, ZHU Jinxing2, PAN Leiqing1    
1. College of Food Science and Technology, Nanjing Agricultural University, Nanjing 210095, China;
2. Jiangsu Palarich Food Company, Xuzhou 221008, China
Abstract: [Objectives] A non-destructive classification technology for apple chips was built based on computer vision technology. [Methods] In this paper, grading was implemented according to sensory evaluation score of apple chips based on size, shape, color and texture. Following image acquisition and processing, the features were extracted. Then the data was pretreated using deviation normalization and standard deviation normalization to determine the appropriate handling method by comparing modeling results of three models, including fisher linear discrimination(FLD), partial least squares discriminant analysis(PLS-DA)and support vector machine(SVM). Then these three models were utilized to classify samples. Furthermore, the best classification model was determined by comparing the modeling and classification results based on the feature parameters screened by successive projections algorithm(SPA). [Results] The classification performance based on data pretreated by deviation normalization were better than those by standard deviation normalization, and SVM performed best among three models. For the calibration and prediction samples, classification accuracy was 99.1% and 98.0%, respectively. Six characteristic parameters were selected by SPA, including area, circularity, the mean value of contrast and energy, and the mean square error of contrast and entropy. On the basis of six parameters, SVM had the classification accuracy of 98.7% and 97.3% for calibration samples and prediction samples, respectively. [Conclusions] This study realized the automatic detection and classification of external quality of apple chips, and provided a technical support for automatic classification of apple chips based on computer vision.
Key words: apple chips    computer vision    successive projections algorithm    model    classification   

苹果具有很高的营养价值, 是大宗水果之一。我国作为世界最大的苹果生产国, 鲜食苹果消费占主导地位, 但深加工业有待发展[1-2]。苹果脆片是苹果深精加工制品之一, 它保留了苹果的营养成分和生鲜风味, 而且口感酥脆, 形态饱满, 符合消费者和市场低脂肪、高纤维素、绿色天然、便于携带和贮存的要求, 因而受到消费者的认可和市场的关注。由于苹果脆片个体之间的差异及加工技术的影响, 苹果脆片外部品质存在大小、形状、颜色、纹理等方面的差异[3]。因此, 对苹果脆片的质量进行分级是未来市场的必然需求。

传统的人工分级和机器分级方法存在耗时、费力、价格昂贵、存在机械损伤等缺陷, 无法满足市场的要求。而计算机视觉作为一种无损检测方法[4], 具有快速、简便、制样少等优势, 一次可以对大小、形状、颜色、纹理等多个指标进行检测, 已广泛应用于苹果、橙子、大枣、芒果等新鲜果蔬的品质分级和检测CanKaoWenXian_10。而对于果蔬的加工半成品和成品的研究主要是对膨化工艺的改进, 对外部品质评价没有系统的评价指标和统一的评价标准, 且并未有相关分级的研究报道[3, 11-12]。

因此, 本研究利用计算机视觉技术获取苹果脆片图像, 经图像处理后, 提取与脆片外观品质有关的信息, 确立脆片形状、大小、颜色和纹理特征的参数, 构建苹果脆片外部品质分级的模型, 研究苹果脆片外部品质无损检测技术, 旨在为苹果脆片工业生产中质量的自动化分级提供技术支持。

1 材料与方法 1.1 试验材料及外观等级

苹果脆片样本来自江苏派乐兹食品有限公司, 水分含量为2%~3%(湿基)。

根据农业部行业标准(NY/T 2779—2015)[13]中的苹果脆片感官评价指标, 建立如表 1所示的外部品质感官评价等级标准。评分为85~100分的样本划为一等, 65~ < 85分的样本划为二等品, 低于65分的样本划为三等品。其中, 以游标卡尺测得的样本最大直径作为样本的大小。

表 1 苹果脆片外部品质感官评价等级标准 Table 1 rade criteria for sensory evaluation of apple chips
等级(得分)Grade(Score) 指标(权重)Index(Weight)
大小(40) Size 形状(30) Shape 纹理(20) Texture 颜色(10) Color
一等 直径≥4.5 cm 环形、边缘形态较完整 光滑 颜色均匀, 亮度大
First-grade Diameter is more than 4.5 cm Annular, high integrity Smooth Uniform color, bright
[85, 100] [35, 40] [25, 30] [18, 20] [7, 10]
二等 2.5 cm≤直径 < 4.5 cm 环形、边缘形态缺损较多 较光滑 颜色较均匀
Second-grade Diameter is between 2.5 cm and 4.5 cm Annular, low integrity Less smooth Less uniform color
[65, 85) [30, 35) [20, 25) [10, 18) [5, 7)
三等 直径 < 2.5 cm 非环形 粗糙 颜色不均匀，发暗
Third-grade Diameter is less than 2.5 cm Non-annular Rough Non-uniform color, dark
[0, 65) [0, 30) [0, 20) [0, 10) [0, 5)
表选项

选择南京农业大学食品安全专业男、女同学各4人组成感官评价小组, 按照表 1对苹果脆片样本的形状、大小、纹理和颜色逐项进行打分, 取总分的平均值进行分析。每等级选取200个苹果脆片样本, 其中, 随机选取150个作为训练样本, 且样本的分数范围尽量覆盖相应等级的得分范围, 剩余50个为预测样本。

1.2 计算机视觉系统与图像采集

利用计算机视觉系统进行图像采集, 装置构成示意图如图 1所示。采用型号为NEX-6的索尼相机, 试验获取的图像像素为4 912×3 264, 图像分辨率为350 dpi。相机镜头与样本之间距离为35 cm。相机的相关参数设置:相机闪光灯禁用模式, 自动白平衡, 光圈f/9.0, 曝光时间为1/50 s, 曝光补偿为-2.0, ISO 100, 焦距为30 mm。光源由2条LED灯组成, 每条功率12 W, 长度为33 cm。光源与样本之间距离为20 cm。采集到的每个等级的典型苹果脆片图像如图 2所示。

图 1 计算机视觉系统示意图 Figure 1 The schematic diagram of computer vision system
图选项
图 2 不同等级的苹果脆片图像 Figure 2 Images of different grades of apple chips A1, A2:一等品First-grade product; B1, B2:二等品Second-grade product; C1, C2:三等品Third-grade product
图选项
1.3 图像预处理

利用MATLAB软件(version 7.1, Mathworks Inc.)进行图像预处理。如图 3所示:首先采用权重法[14]对苹果脆片图像进行灰度转化, 得到脆片灰度图像; 为消除图像噪声, 同时保留图像重要的边缘信息, 进一步采用5×5方形模板进行中值滤波[15];最后运用双峰法[16]进行图像分割, 提取感兴趣区域。其中, 图像分割的灰度阈值为35。

图 3 图像预处理流程 Figure 3 Images pre-processing process A.原始图像Raw image; B.灰度图像Gray image; C.滤波效果图Filtering result; D.灰度直方图Gray level histogram; E.二值图像Binary image
图选项
1.4 图像特征提取 1.4.1 大小特征

本研究中, 选取面积来描述苹果脆片的大小特征(表 2)。这里用图像像素点数的总和(即像素面积)来表示苹果脆片的面积。

表 2 不同等级苹果脆片面积(像素点数)的统计 Table 2 Statistics of area for different grades of apple chips(pixels)
等级Grade 均值Mean 标准差SD 最大值Maximum 最小值Minimum
一等First-grade 134 416 27 308 228 565 90 602
二等Second-grade 81 417 17 908 148 761 48 509
三等Third-grade 44 593 9 262 69 418 26 259
表选项
1.4.2 形状特征

圆形度是用于描述物体形状特征的几何参数之一, 是与圆形相似程度的量, 圆形度值越大, 目标形状越复杂。圆形度(P)的计算公式如下:

(1)

式中:A为脆片区域的面积; L为脆片区域的外边界周长。

傅里叶描述子形状识别的原理是将目标的轮廓曲线建模成一维序列, 然后进行一维的傅里叶变换以获得一系列的傅里叶系数, 并选取不同组数的傅里叶系数对目标轮廓进行重构, 从而确定最佳组数的傅里叶描述子。具体的方法[17]:假设L是x-y平面内由点集(xk, yk)(k=0, 1, 2, …, K-1) 组成的封闭曲线, 那么在复平面内, 令sk=xk+jyk, 其中j为虚数单位, 则L可表示为一个一维的复数序列{sk}。对该离散序列进行傅里叶变换, 边界的傅里叶描述子L(u)可表示为:

(2)

式中:u=0, 1, 2, …, K-1。

那么, 由这些傅里叶描述子L(u)可恢复目标边界sk:

(3)

式中:k=0, 1, 2, …, K-1。

本研究结合几何参数法和傅里叶形状描述法来提取形状特征, 选取圆形度和傅里叶描述子作为苹果脆片的形状特征参数。不同等级苹果脆片圆形度统计值如表 3所示。在本研究中, 分别采用8、10和20个傅里叶系数对脆片边界进行重构。如图 4所示:前10项傅里叶系数即可保留苹果脆片大部分形状特征, 即用前10项傅里叶描述子可准确地进行脆片形状特征分析。

表 3 不同等级苹果脆片圆形度统计值 Table 3 Statistics of circularity for different grades of apple chips
等级Grade 均值Mean 标准差SD 最大值Maximum 最小值Minimum
一等First-grade 0.855 0.019 0.891 0.769
二等Second-grade 0.550 0.071 0.858 0.408
三等Third-grade 0.647 0.059 0.817 0.473
表选项
图 4 苹果脆片边界图像重建效果图 Figure 4 The boundary reconstruction results of apple chips A.原始图像Raw image; B.基于8个傅里叶系数重构效果The boundary reconstruction result based on eight Fourier coefficients; C.基于10个傅里叶系数重构效果The boundary reconstruction result based on ten Fourier coefficients; D.基于20个傅里叶系数重构效果The boundary reconstruction result based on twenty Fourier coefficients
图选项
1.4.3 颜色特征

在图像处理中, 经常使用的颜色空间有RGB颜色模型和HSI颜色模型。RGB模型直接采用与硬件相同的颜色系统, 采集到的图像数据不经过颜色空间模型的转换也可直接作为图像处理的原始数据。HSI模型与人眼感觉颜色的原理相似, 符合人眼描述和解释颜色的方式。其中, H和S分量与人眼感受颜色的方式是密切相关的[18]。在实际环境中, S分量的影响因素(光源和光照强度)都不变, 因此S分量值是一定的, 所以对苹果脆片颜色的识别只需考虑H分量即可。本研究中, 将获取的脆片图像的R、G、B成分转换为H、I、S值, 并选取脆片图像的R、G、B、H分量的均值作为颜色特征参数, 提取结果如表 4所示。

表 4 不同等级苹果脆片颜色参数统计值 Table 4 Statistics of color characteristic parameters for different grades of apple chips
颜色特征参数Color characteristic parameter 等级Grade 均值Mean 标准差SD 最大值Maximum 最小值Minimum
一等First-grade 98 6.1 111 77
R 二等Second-grade 99 6.0 112 79
三等Third-grade 91 8.6 107 66
一等First-grade 97 6.7 111 74
G 二等Second-grade 98 6.8 111 76
三等Third-grade 90 9.6 107 65
一等First-grade 96 7.6 110 68
B 二等Second-grade 96 8.2 111 70
三等Third-grade 86 11.6 107 58
一等First-grade 130 16.7 153 64
H/(°) 二等Second-grade 126 20.2 151 56
三等Third-grade 108 26.4 156 51
注:R:红色分量, 0~255;G:绿色分量, 0~255;B:蓝色分量, 0~255;H:色调, 0°~360°
Note:R:Red component, 0-255;G:Green component, 0-255;B:Blue component, 0-255;H:Hue, 0°-360°
表选项
1.4.4 纹理特征

纹理特征反映了物体表面粗糙度、方向性和规则性, 对其区域性的特征描述具有很好的可行性和稳定性[19]。在本研究中, 如表 5所示, 选择灰度共生矩阵中的熵、相关性、能量(角二阶距)和对比度这4个特征中每个特征在0°、45°、90°、135° 4个方向的均值和均方差作为脆片的纹理特征参数[20]。

表 5 不同等级苹果脆片纹理特征参数统计值 Table 5 Statistics of texture characteristic parameters for different grades of apple chips
纹理特征参数Texture characteristic parameter 等级Grade 均值Mean 标准差SD 最大值Maximum 最小值Minimum
对比度均值 一等First-grade 0.058 5 0.020 1 0.112 2 0.029 0
Mean value of contrast 二等Second-grade 0.058 6 0.025 7 0.146 3 0.025 2
三等Third-grade 0.080 2 0.031 3 0.173 7 0.034 3
相关性均值 一等First-grade 0.982 6 0.007 9 0.992 1 0.955 4
Mean value of correlation 二等Second-grade 0.982 7 0.010 4 0.993 6 0.944 8
三等Third-grade 0.971 7 0.013 9 0.990 4 0.933 1
能量均值 一等First-grade 0.388 9 0.064 1 0.539 1 0.257 7
Mean value of energy 二等Second-grade 0.387 8 0.059 2 0.507 5 0.251 2
三等Third-grade 0.355 1 0.066 0 0.522 7 0.247 2
熵均值 一等First-grade 1.725 2 0.226 9 2.229 0 1.232 9
Mean value of entropy 二等Second-grade 1.711 0 0.223 6 2.237 0 1.284 3
三等Third-grade 1.864 4 0.241 2 2.291 9 1.302 5
对比度均方差 一等First-grade 0.010 8 0.002 7 0.018 7 0.006 6
Mean square error of contrast 二等Second-grade 0.011 7 0.003 5 0.023 7 0.006 8
三等Third-grade 0.014 9 0.004 3 0.030 2 0.005 8
相关性均方差 一等First-grade 0.003 2 0.001 1 0.007 2 0.001 8
Mean square error of correlation 二等Second-grade 0.003 4 0.001 5 0.008 8 0.001 8
三等Third-grade 0.005 2 0.002 0 0.010 9 0.002 2
能量均方差 一等First-grade 0.003 6 0.001 6 0.008 1 0.001 0
Mean square error of energy 二等Second-grade 0.003 8 0.001 9 0.009 3 0.001 3
三等Third-grade 0.005 1 0.002 1 0.011 7 0.001 6
熵均方差 一等First-grade 0.031 0 0.008 2 0.053 5 0.015 7
Mean square error of entropy 二等Second-grade 0.033 5 0.009 2 0.059 8 0.018 9
三等Third-grade 0.041 0 0.009 7 0.070 9 0.019 6
表选项
1.5 数据标准化

为了消除量纲以及变量自身变异大小和数值大小的影响, 在数据分析之前, 先将数据标准化, 使原始数据均处于同一数量级, 以便于综合测评分析。常用数据标准化的方法有离差标准化和标准差标准化。本研究中, 分别采用这2种方法进行数据预处理, 并比较不同处理方法对SVM模型建模效果的影响, 从而确定合适的数据预处理方法。

1.6 特征参数筛选

为消除特征参数间的共线性, 降低模型复杂度, 同时提升运算速度, 建模分析之前进行参数优选。本文主要运用了连续投影算法(SPA)进行特征参数的筛选[21]。对大小、形状、颜色和纹理特征共24个特征变量进行分析筛选。其中第1列为面积, 第2列为圆形度, 第3~6列分别为R、G、B、H分量均值, 第7~10列分别为灰度共生矩阵(GLCM)得到的对比度、相关性、能量、熵的均值, 第11~14列分别为对比度、相关性、能量、熵的标准差, 第15~24列为前10项傅里叶系数。处理前指定最终选取结果的最小变量数为1, 最大变量数为10。

1.7 建模分析

特征提取完成之后, 选取合适的建模方法对数据进行处理尤为重要, 本文选取了3种用于分类识别应用较广泛的判别模型:费歇尔线性判别(FLD)、偏最小二乘法判别分析(PLS-DA)、支持向量机(SVM), 其中, SVM模型的核函数为径向基函数, 构造最优超平面时, 最优分类函数[22]为:

(4)

式中:xi为支持向量, xi∈Rn, i=1, 2, …, l; b为分类的阈值; αi≥0为Lagrange乘子, γ为径向基核函数的参数。

2 结果与分析 2.1 不同数据标准化方法对3种分级模型建模效果的比较

为了确定合适的数据标准化方法, 分别用提取的图像特征原始数据, 经标准差标准化预处理和离差标准化预处理后建模。由表 6可见:数据经标准化处理后的建模准确率较原始数据均明显提高, 且采用相同数据预处理方式时, SVM模型建模结果明显优于FLD和PLS-DA模型。其中, 采用FLD模型建模时, 基于原始数据建模的总准确率只有83.6%, 且对二等品和三等品的分级准确率低于80.0%。采用离差标准化后的数据建模结果优于标准差标准化, 两者的总准确率分别为97.1%和92.0%, 且前者对二等品和三等品的分级准确率分别提高至94.7%和96.7%。

表 6 采用不同数据标准化方法的建模结果 Table 6 Modeling results on the basis of data normalization by different methods
模型Model 数据标准化方法Data normalization method 分级准确率/% Grading accuracy(n=150) 总准确率/%Overall accuracy
一等First-grade 二等Second-grade 三等Third-grade
未处理No preprocessing 95.3 76.7 78.7 83.6
FLD 标准差标准化Deviation normalization 100.0 86.0 90.0 92.0
离差标准化Standard deviation normalization 100.0 94.7 96.7 97.1
未处理No preprocessing 95.3 64.7 80.0 80.0
PLS-DA 标准差标准化Deviation normalization 98.0 88.0 86.7 90.9
离差标准化Standard deviation normalization 100.0 93.0 92.0 95.0
未处理No preprocessing 99.3 86.0 94.0 93.1
SVM 标准差标准化Deviation normalization 100.0 97.3 98.7 98.7
离差标准化Standard deviation normalization 100.0 98.0 99.3 99.1
注: FLD:费歇尔判别Fisher linear discrimination; PLS-DA:偏最小二乘判别Partial least squares discriminant analysis; SVM:支持向量机Support vector machine. The same as follows.
表选项

利用PLS-DA模型建模, 数据未处理时, 二等品分级准确率只有64.7%, 总建模准确率为80.0%。数据经标准差标准化后, 总建模准确率达90.9%, 但二等品和三等品分级准确率仍低于90.0%。采用离差标准化处理后, 总准确率高达95.0%, 且各等级分级准确率均在90.0%以上。

采用SVM模型建模, 数据未处理时, 总建模准确率为93.1%。SVM核函数的参数为:γ值为10, 惩罚系数cost值为1×10-6。数据经标准差标准化后, 总建模准确率达98.7%。SVM核函数的参数为:γ值为0.003 16, 惩罚系数cost值为100。而经离差标准化后, 总建模准确率高达99.1%, 各等级分级准确率在98.0%以上。SVM核函数的参数为:γ值为0.1, 惩罚系数cost值为100。

由以上分析可知, 基于3种模型建模时, 采用离差标准化后的数据建模结果更好。因此, 后续数据采用离差标准化后建模分析。

2.2 苹果脆片的分级结果 2.2.1 基于全部参数的3种模型分级结果

为确定苹果脆片外部品质分级的最佳模型, 分别采用FLD、PLS-DA和SVM 3种模型建模分析。由表 7可知:在3种模型中, SVM模型分级结果最优, 总准确率最高, 达98.0%;二等品和三等品分级准确率分别为96.0%和98.0%, 分别有2个二等品被误判为三等品, 1个三等品被误判为二等品。而采用FLD模型分级时, 总准确率为95.3%;二等品和三等品的准确率分别为90.0%和96.0%, 分别有5个和2个样本被误判。基于PLS-DA模型分级时, 总准确率为94.7%;二等品和三等品的准确率均为92.0%, 均有4个样本被误判。

表 7 基于3种模型的苹果脆片分级结果 Table 7 Classification results of apple chips based on three models
模型Model 脆片等级Chips grade 预测等级Prediction grade(n=50) 准确率/%Accuracy 总准确率/%Overall accuracy
一等First-grade 二等Second-grade 三等Third-grade
一等First-grade 50 0 0 100.0
FLD 二等Second-grade 0 45 5 90.0 95.3
三等Third-grade 0 2 48 96.0
一等First-grade 50 0 0 100.0
PLS-DA 二等Second-grade 0 46 4 92.0 94.7
三等Third-grade 0 4 46 92.0
一等First-grade 50 0 0 100.0
SVM 二等Second-grade 0 48 2 96.0 98.0
三等Third-grade 0 1 49 98.0
表选项
2.2.2 基于SPA算法的特征参数筛选

在苹果脆片特征参数筛选中, 基于SPA选取不同特征数据组合建立的模型均方根误差(RMSE)见图 5。RMSE越小, 说明模型的效果越好。由图 5可见:特征数量大于6个时, RMSE值降低趋于平稳, 此时RMSE值为0.338 46。最终系统选取6个特征值作为输出结果。由图 6可知:这6个特征值分别为第1、2、7、9、11、14列, 即面积、圆形度、对比度的均值、能量的均值、对比度的均方差、熵的均方差。

图 5 均方根误差(RMSE)值随特征变量数增加的变化 Figure 5 The change curve of root mean square error(RMSE) with the number of characteristic variables
图选项
图 6 基于SPA选取的特征参数分布 Figure 6 The distribution of screening features based on SPA
图选项
2.2.3 基于优选特征参数的3种模型的分级结果

结合SPA筛选的特征参数进行建模分析, 建模集和预测集分级结果(表 8) 显示:特征参数筛选后, SVM模型在3种模型中建模和预测结果仍最优, 总准确率分别为98.7%和97.3%。在建模集中, 一等品分级准确率为100.0%, 二等品和三等品的分级准确率均为98.0%。在预测集中, 3个等级的分级准确率分别为100.0%、94.0%和98.0%, 分别只有3个二等品被误判为一等品, 1个三等品误判为二等品。其中SVM核函数的参数为:γ值为10, 惩罚系数cost值为1。

表 8 基于特征参数的3种模型分级结果 Table 8 Classification results of three models using screened parameters
模型Model 脆片等级Chips grade 建模集Calibration(n=150) 准确率/%Accuracy 总准确率/%Overallaccuracy 模型Model 脆片等级Chips grade 预测等级Prediction grade(n=50) 准确率/%Accuracy 总准确率/%Overallaccuracy
一等First-grade 二等Second-grade 三等Third-grade 一等First-grade 二等Second-grade 三等Third-grade
一等First-grade 150 0 0 100.0 一等First-grade 50 0 0 100.0
FLD 二等Second-grade 3 140 7 93.3 96.0 FLD 二等Second-grade 0 42 8 84.0 92.0
三等Third-grade 0 8 142 94.7 三等Third-grade 0 3 47 92.0
一等First-grade 150 0 0 100.0 一等First-grade 50 0 0 100.0
PLS-DA 二等Second-grade 3 129 18 86.0 91.3 PLS-DA 二等Second-grade 0 41 9 82.0 89.3
三等Third-grade 1 132 17 88.0 三等Third-grade 0 7 43 86.0
一等First-grade 150 0 0 100.0 一等First-grade 50 0 0 100.0
SVM 二等Second-grade 3 147 0 98.0 98.7 SVM 二等Second-grade 0 47 3 94.0 97.3
三等Third-grade 0 3 147 98.0 三等Third-grade 0 1 49 98.0
表选项

基于FLD模型分级时, 建模集和预测集的总准确率分别为96.0%和92.0%。在建模集中, 各等级分级准确率均在90.0%以上。在预测集中, 一等品和三等品的准确率分别为100.0%和92.0%, 而二等品分级准确率只有84.0%, 有8个二等品误判为三等品。

采用PLS-DA模型分级时, 建模集和预测集的总准确率明显低于FLD和SVM模型, 分别为91.3%和89.3%。其中, 二等品和三等品的分级结果较差:在建模集中, 准确率分别为86.0%和88.0%, 分别有22个和18个样本被误判。在预测集中, 准确率分别为82.0%和86.0%, 分别有9个和7个样本被误判。

由表 6、表 7和表 8可见:特征参数经离差标准化处理后, 基于SPA筛选的特征参数的分级准确率较筛选前的有所降低, 这是因为特征参数筛选后部分信息损失, 如颜色信息。其中, 在建模集中, 如表 6和表 8, FLD、PLS-DA和SVM模型总准确率分别下降了1.1%、3.7%和0.4%。在预测集中, 如表 7和表 8, 总准确率分别下降了3.3%、5.4%和0.7%。PLS-DA模型分级准确率下降最多, 而SVM分级准确率下降最少, 且各等级分级结果均较优, 在94.0%以上。说明采用筛选出来的面积、圆形度、对比度的均值、能量的均值、对比度的均方差、熵的均方差这6个特征参数基于SVM建模和分级时, 能较好实现外部品质分级。

3 讨论

本研究运用计算机视觉技术和图像处理方法提取了苹果脆片大小、形状、颜色和纹理4个方面的特征参数, 并基于FLD、PLS-DA和SVM 3种分级模型分级, 实现了苹果脆片的外观品质的自动检测和分级。本研究选取了面积、圆形度、前10项傅里叶系数, R、G、B、H分量的均值, 以及灰度共生矩阵中的熵、相关性、能量和对比度在0°、45°、90°和135° 4个方向的均值和均方差共24个特征参数, 建模结果显示这些特征参数可以有效地表征苹果脆片的外观品质。

进一步基于SPA进行特征参数优选, 得到了面积、圆形度、对比度的均值、能量的均值、对比度的均方差、熵的均方差6个特征参数。研究结果表明, 参数优选后的分级准确率有所下降, 但基于筛选后的特征参数仍能较好地实现苹果脆片外观品质分级。

SVM模型在3种分级模型中表现出最佳的建模和分级结果, 可作为苹果脆片外部品质分级的最佳模型。其中, 参数筛选前后SVM的分级准确率分别为98.0%和97.3%, 充分展现了SVM在解决小样本、非线性、高维度和局部极小点等实际问题中的优势, 适用于解决多分类问题, 这一结果与Nashat等[23]和Wu等[24]的研究结果一致。

本研究方法具有快速、简便、分级精度高、无损、成本低等优点, 对于工业上实现苹果脆片外部品质的分级提供了科学、可行的解决方法。由于在苹果脆片的生产加工中, 脆度、糖度、维生素C含量等是很重要的品质指标。因此, 在后续的研究中可结合近红外光谱和高光谱等技术以同时实现苹果脆片外部和内部品质的检测和分级。

参考文献(References)
[1] 杨慧莲, 刘军弟, 时卫平, 等. 世界苹果主产国生产、加工、贸易与消费状况分析[J]. 北方园艺, 2015(10): 166–169.
Yang H Y, Liu J D, Shi W P, et al. Analysis on apple production, processing, trade and consumption situation in major apple producing countries[J]. Northern Horticulture, 2015(10): 166–169. (in Chinese)
[2] 周卫国, 杨海燕. 国内外苹果生产加工和贸易状况[J]. 西北园艺, 2004(10): 50–52.
Zhou W G, Yang H Y. International apple production, processing and trade situation[J]. Northwest Horticulture, 2004(10): 50–52. DOI: 10.3969/j.issn.1004-4183-B.2004.10.037 (in Chinese)
[3] 王沛, 毕金峰, 方芳, 等. 苹果脆片品质评价技术现状及展望[J]. 食品与发酵工业, 2010, 36(9): 138–142.
Wang P, Bi J F, Fang F, et al. The current situation and prospects of apple chips quality assessment technology[J]. Food and Fermentation Industries, 2010, 36(9): 138–142. (in Chinese)
[4] 陈士进, 丁冬, 李泊, 等. 基于机器视觉的牛肉结缔组织特征和嫩度关系研究[J]. 南京农业大学学报, 2016, 39(5): 865–871.
Chen S J, Ding D, Li B, et al. Research on relationship between beef connective tissue featuresand tenderness by computer vision technology[J]. Journal of Nanjing Agricultural University, 2016, 39(5): 865–871. DOI: 10.7685/jnau.201511016 (in Chinese)
[5] Unay D, Gosselin B, Kleynen O, et al. Automatic grading of Bi-colored apples by multispectral machine vision[J]. Computers and Electronics in Agriculture, 2011, 75: 204–212. DOI: 10.1016/j.compag.2010.11.006
[6] 卢军, 付雪媛, 苗晨琳, 等. 基于颜色和纹理特征的柑橘自动分级[J]. 华中农业大学学报, 2012, 31(6): 783–786.
Lu J, Fu X Y, Miao C L, et al. Citrus automatic grading by using color and texture features[J]. Journal of Huazhong Agricultural University, 2012, 31(6): 783–786. (in Chinese)
[7] López-García F, Andreu-García G, Blasco J, et al. Automatic detection of skin defects in citrus fruits using a multivariate image analysis approach[J]. Computers and Electronics in Agriculture, 2010, 71: 189–197. DOI: 10.1016/j.compag.2010.02.001
[8] 姜继祥. 基于计算机视觉系统的大枣在线分级[D]. 扬州: 扬州大学, 2013.
Jiang J X. Jujubes online detection based on computer vision[D]. Yangzhou:Yangzhou University, 2013(in Chinese with English abstract).
[9] Hu L Y, Yang L B, Song Y Q, et al. A least-squares support vector machine(LS-SVM)based on fractal analysis and CIELab parameters for the detection of browning degree on mango(Mangifera indicia L.)[J]. Computers and Electronics in Agriculture, 2012, 83: 47–51. DOI: 10.1016/j.compag.2012.01.012
[10] Ma J, Sun D W, Qu J H, et al. Applications of computer vision for assessing quality of agri-food products:a review of recent research advances[J]. Food Science and Nutrition, 2014, 56(1): 113–127.
[11] 毕金峰. 苹果变温压差膨化干燥工艺优化研究[J]. 食品科学, 2008, 29(11): 213–218.
Bi J F. Optimization of explosion puffing drying process of apple at variable temperature and pressure difference[J]. Food Science, 2008, 29(11): 213–218. DOI: 10.3321/j.issn:1002-6630.2008.11.047 (in Chinese)
[12] 赵学伟, 魏益民. 加工参数对挤压膨化食品膨胀度的影响[J]. 粮食与饲料工业, 2008(1): 24–26.
Zhao X W, Wei Y M. Effects of processing parameters on expansion degree of extruded food[J]. Cereal and Feed industry, 2008(1): 24–26. (in Chinese)
[13] 中华人民共和国农业部. 苹果脆片: NY/T 2779—2015[S]. 北京: 中国标准出版社, 2015.
The Ministry of Agriculture of the People's Republic of China. Apple Crisp Chips:NY/T 2779-2015[S]. Beijing:China Standards Press, 2015(in Chinese).
[14] 付峰. 球体图像的灰度变换与颜色变换模型及其在柑桔图像校正中的应用研究[D]. 杭州: 浙江大学, 2003.
Fu F. Gray level transformation model and color transformation model of ball image and their application in citrus image correction[D]. Hangzhou:Zhejiang University, 2003(in Chinese with English abstract).
[15] Sonka M, Hlavac V, Boyel R. 图像处理、分析与机器视觉[M]. 兴军亮, 艾海舟, 译. 北京: 清华大学出版社, 2011: 90-91.
Sonka M, Hlavac V, Boyel R. Image Processing, Analysis, and Machine Vision[M]. Xing J L, Ai H Z, trans. Beijing: Tsinghua University Press, 2011: 90-91(in Chinese).
[16] 贾永红. 数字图像处理[M]. 武汉: 武汉大学出版社, 2003: 147-149.
Jia Y H. Digital Image Processing[M]. Wuhan: Wuhan University Press, 2003: 147-149. (in Chinese)
[17] 赵三琴, 刘德营, 丁为民, 等. 边界点数量对傅里叶描述子识别精度的影响[J]. 农业机械学报, 2014, 45(9): 305–310.
Zhao S Q, Liu D Y, Ding W M, et al. Influence of outline points on the recognition accuracy of fourier descriptors[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 305–310. DOI: 10.6041/j.issn.1000-1298.2014.09.049 (in Chinese)
[18] 李景彬, 坎杂. 颜色模型在脱绒棉种检测分级中的应用[J]. 石河子大学学报(自然科学版), 2008, 26(4): 507–510.
Li J B, Kan Z. The application of color model in checking and classifying cottonseeds[J]. Journal of Shihezi University(Natural Science Edition), 2008, 26(4): 507–510. (in Chinese)
[19] 王志瑞, 闫彩良. 图像特征提取方法的综述[J]. 吉首大学学报(自然科学版), 2011, 32(5): 44–46.
Wang Z R, Yan C L. Method of the image feature extraction[J]. Journal of Jishou University(Natural Science Edition), 2011, 32(5): 44–46. (in Chinese)
[20] Ulaby F T, Kouyate F, Brisco B, et al. Textural information in SAR Images[J]. IEEE Transactions on Geosciece and Remote Sensing, 1986, 24(2): 235–245.
[21] Diniz P H G D, Pistonesi M F, Alvarez M B, et al. Simplified tea classification based on a reduced chemical composition profile via successive projections algorithm linear discriminant analysis(SPA-LDA)[J]. Journal of Food Composition and Analysis, 2015, 39: 103–110. DOI: 10.1016/j.jfca.2014.11.012
[22] 唐启义. DPS数据处理系统(第2卷): 现代统计及数据挖掘[M]. 北京: 科学出版社, 2013: 505-510, 561-566, 642-647.
Tang Q Y. DPS Data Processing System(Volume Ⅱ):Contemporary Statistics and Data Mining[M]. Beijing:Science Press, 2013:505-510, 561-566, 642-647(in Chinese).
[23] Nashat S, Abdullah A, Aramvith S, et al. Support vector machine approach to real-time inspection of biscuits on moving conveyor belt[J]. Computers and Electronics in Agriculture, 2011, 75: 147–158. DOI: 10.1016/j.compag.2010.10.010
[24] Wu D, Yang H, Chen X, et al. Application of image texture for the sorting of tea categories using multi-spectral imaging technique and support vector machine[J]. Journal of Food Engineering, 2008, 88(4): 474–483. DOI: 10.1016/j.jfoodeng.2008.03.005