文章信息
- 谢堂胜, 刘德营, 陈京, 蔡俊. 2016.
- XIE Tangsheng, LIU Deying, CHEN Jing, CAI Jun. 2016.
- 白背飞虱智能识别技术研究
- Automatic identification of Sogatella furcifera
- 南京农业大学学报, 39(3): 519-526
- Journal of Nanjing Agricultural University, 39(3): 519-526.
- http://dx.doi.org/10.7685/jnau.201508026
-
文章历史
- 收稿日期:2015-08-20
白背飞虱(Sogatella furcifera)属于大范围迁飞性害虫,是水稻主要害虫之一[1, 2]。尤其,随着杂交水稻大面积推广和耕作制度的改变,白背飞虱的种群数量急剧上升,严重发生的频次明显增加,成为水稻生长前期害虫的主要优势种[3]。因此,采用了诸多控制白背飞虱的方法,如化学防治[4]、生物防治[5]、农业防治[6]和培育抗性品种[7]等,然而有效的控制,离不开对白背飞虱数量的准确监测和预测。
目前,在中国植物保护站根据《稻飞虱测报调查规范》(GB/T 15794—2009)监测稻飞虱。但是,识别效率低,劳动强度大,且危害测报人员身体健康[8]。当前对农作物害虫自动监测方法的研究,主要有声特征法[9]、雷达观测法[10]、光谱监测法[11]和图像识别法[8, 12]等。其中,声特征法极易受外在噪声的影响,故研究主要在特定环境下进行;雷达观测法成本昂贵且不适宜大田环境监测;光谱监测法,又会出现“同谱异物”和“异谱同物”现象;目前,图像识别法在昆虫领域的研究相当丰富,且随着计算机视觉技术和数字图像处理技术的不断发展,运用到大田环境下监测农作物害虫将越来越成熟。
本研究针对害虫测报现状,探索利用计算机视觉、图像处理和模式识别等技术进行白背飞虱的自动识别。植保专家主要依赖于白背飞虱几何形态,及其背部的颜色和纹理进行识别,因此,需要设计一套野外环境昆虫图像自动采集装置,获取昆虫处于自然状态下的背部图像,并通过图像处理提取出白背飞虱几何形态、颜色、纹理特征,输入到支持向量机,建立白背飞虱分类模型,这为提高农业虫害的自动测报水平提供一种有效的技术手段。
1 样本采集用自行设计的野外昆虫图像采集装置采集白背飞虱图像。自动采集装置由计算机、采集工作台及Y向调节系统、图像采集系统、X向和Z向进给系统及其控制系统等组成,整体结构示意图如图 1所示。
![]() | 图 1 装置整体结构示意图 Fig. 1 Diagram of the device 1.旋转手柄Rotary handle;2.幕布Screen;3.拍摄光源Shooting light;4.显微变焦距镜头 Microscopic zoom lens;5.摄像机Camera;6.光源的工作台Light source workbench;7.Z向电机 Z direction motor;8.X向电机 X direction motor;9.Z向丝杠 Z direction screw;10.X向丝杠 X direction screw;11.底座Base |
根据稻飞虱的趋光性并依照植保专家捕捉昆虫标本的方法[13],在南京农业大学江浦实验农场稻田旁(北纬32°01′至32°03′,东经118°36′至118°38′),选用160 W自镇流荧光高压汞灯为引诱光源,诱集稻飞虱爬附于白色采集工作台幕布上(图 2)。使用Y向调节系统,将相机和幕布距离调节到最大(60 cm),并设计Guppy Pro F-503B/C相机为自动白平衡状态,调节OPT-DP1024-4HT环形冷光源亮度和相机曝光度,使得采集到的白色幕布背景的像素值在195左右,同时控制X向进给系统和Z向进给系统,实现摄像机和拍摄光源的X和Z向的二维运动,循环采集整个幕布的昆虫图像。保持上述硬件采集参数不变,采集昆虫数字图像131张。图片中以白背飞虱为主,其他还有灰飞虱、褐飞虱、潜蝇、长蝽、盲蝽、蚂蚁、叶蝉、露尾甲等昆虫。图片采用BMP格式进行保存,大小为768×576像素,昆虫图像如图 3所示。
![]() | 图 2 装置夜晚采集图 Fig. 2 Capture device figure at night |
![]() | 图 3 昆虫图像 Fig. 3 Insect images |
图像预处理主要通过对图像二值化和形态学滤波等处理,得到昆虫背部图像,并且通过像素点面积统计分析去掉明显不是白背飞虱的单个昆虫图片,减轻后期特征值提取及分类识别的计算量。
2.1 阈值统计大小和颜色是昆虫的基本特征。长翅型白背飞虱体长3.8~4.6 mm,雄性大部分为黑褐色,雌性大部分为灰黄褐色,其头顶端部两侧脊间、前胸背板和中胸背板中域为黄白色[14]。因此,需要对白背飞虱颜色进行分析,并运用阈值分割的方法提取出昆虫背部区域图像。分析图 3,整幅图像可分为白色背景区域和白背飞虱前景目标区。先将图片格式BMP转化成JPG格式,并在RGB颜色空间下,在131张白背飞虱样本图片中随机选取15 850个白背飞虱前景像素点及15 850个背景像素点,统计结果如表 1所示。
均值 Mean | R | G | B | R-G | R-B |
前景分析Foreground analysis | 94.25 | 91.61 | 79.49 | 2.64 | 14.76 |
背景分析Background analysis | 195.35 | 197.94 | 195.18 | -2.95 | -0.17 |
R:红色分量Red component;G:绿色分量Green component;B:蓝色分量Blue component;R-G:红色分量减去绿色分量Red component minus green component;R-B:红色分量减去蓝色分量Red component minus blue component. |
从表 1可以看出,背景3个分量均值大小基本相等,前景中红色和绿色分量均值也基本相等,由于白背飞虱整体略呈黄色,故前景的蓝色分量均值明显小很多。前景和背景的蓝色分量的直方图如图 4所示,可知二者相差很大,故选取蓝色分量B=130作为颜色阈值,且只有0.40%的前景像素点被误分为背景像素点。
![]() | 图 4 白背飞虱前景和背景的蓝色分量直方图 Fig. 4 The histogram of the blue component of the foreground and background of Sogatella furcifera |
选取蓝色分量B=130作为颜色阈值,对昆虫图像进行阈值分割,并设计形态学滤波器,去除足、触角和噪声等,且提取出昆虫背部区域图像,设计步骤如下:
1)选取B<130,对昆虫图像进行二值化,再去除边界昆虫图像,填充二值图中的小孔洞,并以原图为中心将二值图扩大到888×696像素,以便后期剪裁单个昆虫图片;
2)选用半径为3的圆盘型结构元素作为滤波器,对二值图进行开运算,去除细小噪声,使区域边界平滑;
3)对二值图中不连通区域进行标记和编号,逐一提取出单个标记区域,并和灰度化后的昆虫图像进行逻辑与运算,得到单个昆虫虫体背部区域灰度图像;
4)求出单个昆虫背部区域图像的重心并以此为中心点,将图像尺寸剪裁为128×128像素,以便减少后期计算量。
通过上述步骤,提取出128×128像素点的单个昆虫背部图像。对图 3二值化处理后的图像如图 5-a,滤波处理后的图像如图 5-b,提取的昆虫区域图像如图 5-c~f所示。同时,使用同样方法提取出灰飞虱和褐飞虱区域图像,如图 5-g~h所示。
![]() | 图 5 昆虫图像处理过程和结果图 Fig. 5 Image of processing and results of insects |
通过白背飞虱的大小统计分析可以去掉部分非白背飞虱昆虫,以便减少识别的工作量且提高识别的准确率。经植保专家鉴定,选取112个白背飞虱区域二值图,统计面积结果如图 6所示。可知白背飞虱的面积像素点个数集中在1 000~2 600,故当昆虫面积小于1 000或者大于2 600个像素点的当作非白背飞虱,如图 5-e的像素点为733,故可以去掉。
![]() | 图 6 白背飞虱面积统计结果图 Fig. 6 The statistical result of the area of Sogatella furcifera |
提取昆虫几何形态、颜色和纹理特征作为识别的特征向量,是昆虫自动识别领域中重要的方法[15]。因此,本研究用不变矩来描述白背飞虱几何形态特征;用傅里叶频谱描述白背飞虱颜色和纹理特征。
3.1 不变矩矩函数在图像分析中有着广泛的应用,如模式识别、目标分类、目标识别与方位估计、图像编码与重构等。一个从一幅数字图形中计算出来的矩集,通常描述了该图像形状的全局特征,并提供了大量的关于该图像不同类型的几何特性信息,比如大小、位置、方向及形状等[16]。一阶矩与形状有关,二阶矩显示曲线围绕直线平均值的扩展程度,三阶矩则是关于平均值的对称性的测量。由二阶矩和三阶矩可以导出一组共7个不变矩。不变矩是图像的统计特性,满足平移、伸缩、旋转均不变的不变性,在图像识别领域得到了广泛的应用[17]。7个不变矩的公式如下:
通过7个不变矩提取白背飞虱的几何特征,为了减少计算量,只对滤波后的白背飞虱二值图进行不变矩运算,并使用log的绝对值代替不变矩本身,可以缩小动态范围,且绝对值可以避免处理在计算负不变矩的log时产生的复数。对图 5中白背飞虱、长蝽、蚂蚁、叶蝉、灰飞虱和褐飞虱的区域二值图进行绝对值的log不变矩计算(后文统称7个不变矩)结果如表 2所示,白背飞虱和其他种类昆虫的数值有明显的不同,但和灰飞虱和褐飞虱并不明显,说明不变矩特征可以用来识别白背飞虱和其他种类昆虫,但飞虱类昆虫需要进一步提取其他特征来有效识别。
不变矩Moment invariants | ø1 | ø2 | ø3 | ø4 | ø5 | ø6 | ø7 |
白背飞虱Sogatella furcifera | 1.28 | 3.03 | 5.95 | 6.67 | 12.99 | 8.20 | 15.61 |
长蝽Stink bug | 1.33 | 3.11 | 11.21 | 13.47 | 27.48 | 23.89 | 25.83 |
蚂蚁Ant | 0.62 | 1.41 | 3.69 | 3.81 | 7.56 | 4.52 | 12.27 |
叶蝉Leafhopper | 1.45 | 3.54 | 11.78 | 13.40 | 26.10 | 15.40 | 26.98 |
灰飞虱Laodelphax striatellus | 1.38 | 3.32 | 7.19 | 7.88 | 15.46 | 9.56 | 15.23 |
褐飞虱Nilaparvata lugens | 1.46 | 3.62 | 7.93 | 9.02 | 17.50 | 10.84 | 20.68 |
傅里叶变换是数字图像处理技术的基础,其通过在时空域和频率域来回切换图像,对图像的信息特征进行提取和分析。利用傅里叶变换把昆虫背部图像从空间域变换到频率域,提取反映昆虫颜色和纹理特征的傅里叶频谱,为设计昆虫分类模型提供信息[18]。
一幅M×N像素图像的函数f(x,y)二维离散傅里叶变换如下:
将F(u,v)原点变换到频率坐标下的(M/2,N/2),它是二维傅里叶变换设置的M×N区域的中心,这样,输出中心对称昆虫傅里叶频谱(图 7)。从图 7中可以看出:6种昆虫的频谱图不同,频谱图中心为能 量最集中区域,是昆虫背部大块面状的地方(低频成分)。本研究选取昆虫傅里叶频谱图低频部分(l×l(l=1,2,…,9) 二维对数频谱窗口数据log[F(u,v)])作为特征量,可以有效地描述昆虫背部颜色和纹理特征。
![]() | 图 7 昆虫傅里叶频谱图 Fig. 7 Fourier spectrums of insect images |
昆虫样本分为白背飞虱和非白背飞虱2种,标号分别为1、2,其中非白背飞虱有灰飞虱、褐飞虱、潜蝇、长蝽、盲蝽、蚂蚁、叶蝉、露尾甲等昆虫。识别白背飞虱主要依赖于白背飞虱背部几何形态、颜色和纹理特征。因此昆虫图像经过预处理,利用7个不变矩提取几何特征,并用m表示不变矩个数;利用傅里叶变换,提取l×l(l=1,2,…,9)二维对数频谱窗口数据log[F(u,v)]来描述昆虫颜色和纹理特征。
昆虫可以表示为:
构造的样本集为:
白背飞虱识别属于多类别模式识别问题,选用成对分类方法,采用标准的C-支持向量机(SVM),其基于径向基核函数的决策函数如(5)所示。
共270张昆虫背部区域图像样本,其中165张白背飞虱,30张褐飞虱,30张灰飞虱和45张其他种类昆虫,现分成白背飞虱和非白背飞虱2类不同样本,随机选定130张白背飞虱、25张褐飞虱、25张灰飞虱和30张其他种类昆虫,共210张昆虫背部区域图像为训练集,余下的60张昆虫背部区域图像作为测试样本。
4.2 显著性分析
显著性检验的基本原理是提出“无效假设”和检验“无效假设”成立的概率(P)水平的选择。所谓“无效假设”,就是当比较试验处理组与对照组的结果时,假设两组结果间差异不显著,即试验处理对结果没有影响或无效。检验“无效假设”成立的概率水平一般定为5%,若P>0.05认为两组间的差异不显著。本试验采用单因素分析法对7个不变矩和9×9频谱数据进行检验,即对88(7+81)组数据进行显著性检验。从图 8可以看出,不具有显著性差异的特征值为:2、7、20、28、30、51、69、84,只有8个特征值没有显著性差异,说明这些特征值可以有效地描述昆虫的几何形态、颜色和纹理特征。
![]() | 图 8 引物Satt641和Sat_166在亲本和F2 ∶ 3部分家系中的扩增结果 Fig. 8 Amplication products of Satt641 and Sat_166 among parents or F2 ∶ 3 |
运用MatLab环境下的LIB-SVM工具箱建立昆虫分类模型[19]。通过使用网格搜索交叉验证的方法选取最佳惩罚系数和核函数参数,根据最佳的参数训练整个训练集并产生最终的模型,其中训练集为210个样本,测试集为60个样本。昆虫不变矩特征和频谱数据特征相结合的训练集的准确率结果如表 3,测试集的准确率结果如表 4所示,表中ø1~n表示选取ø1,ø2,…,øn作为不变矩的特征值。
% | |||||||||
1×1 | 2×2 | 3×3 | 4×4 | 5×5 | 6×6 | 7×7 | 8×8 | 9×9 | |
ø1 | 91.90 | 92.86 | 90.95 | 90.00 | 91.90 | 88.10 | 87.62 | 85.71 | 85.24 |
ø1~2 | 91.90 | 94.29 | 91.90 | 90.48 | 90.48 | 89.05 | 88.10 | 87.14 | 85.24 |
ø1~3 | 93.81 | 96.19 | 93.33 | 92.86 | 92.38 | 90.95 | 92.86 | 89.52 | 88.10 |
ø1~4 | 93.33 | 95.71 | 92.86 | 93.33 | 93.33 | 91.90 | 92.86 | 90.48 | 88.57 |
ø1~5 | 91.43 | 95.24 | 93.33 | 91.90 | 95.71 | 91.90 | 92.38 | 92.38 | 90.48 |
ø1~6 | 90.95 | 95.71 | 94.29 | 92.38 | 95.24 | 93.33 | 92.38 | 92.38 | 90.95 |
ø1~7 | 89.52 | 94.29 | 94.29 | 91.43 | 92.86 | 91.90 | 91.43 | 91.90 | 90.95 |
1×1 | 2×2 | 3×3 | 4×4 | 5×5 | 6×6 | 7×7 | 8×8 | 9×9 | |
ø1 | 86.67 | 91.67 | 83.33 | 85.00 | 91.67 | 86.67 | 81.67 | 83.33 | 83.33 |
ø1~2 | 85.00 | 93.33 | 81.67 | 86.67 | 88.33 | 86.67 | 80.00 | 83.33 | 83.33 |
ø1~3 | 81.67 | 90.00 | 85.00 | 91.67 | 90.00 | 90.00 | 88.33 | 86.67 | 88.33 |
ø1~4 | 81.67 | 85.00 | 90.00 | 93.33 | 91.67 | 90.00 | 90.00 | 88.33 | 88.33 |
ø1~5 | 86.67 | 88.33 | 91.67 | 85.00 | 95.00 | 91.67 | 91.67 | 90.00 | 90.00 |
ø1~6 | 88.33 | 85.00 | 90.00 | 93.33 | 95.00 | 93.33 | 91.67 | 88.33 | 90.00 |
ø1~7 | 83.33 | 90.00 | 86.67 | 90.00 | 91.67 | 91.67 | 90.00 | 90.00 | 91.67 |
通过昆虫图像处理及特征提取,并用特征值建立基于支持向量机的白背飞虱识别模型,表 3训练准确率和表 4测试准确率的结果表明:不同的不变矩特征和频谱特征组合成的训练准确率至多达到96.19%,测试准确率至多达到95.00%。观察表 3,随着不变矩特征值的增加,训练准确率基本逐步上升,但增加到第7个不变矩特征参数时开始下降,这是由于第7个不变矩特征为非显著性,同时,随着频谱特征参数增加到5×5个后,训练准确率反而略有下降,这可以解释为机器的过学习现象[20],且频谱特征值的数量是整数平方倍的增长,从而更加的增加了过学习现象。观察表 4和表 3,当选取ø1~5不变矩特征值和5×5频谱特征值时,训练准确率达到了95.71%,测试准确率达到95.00%,说明此时的分类模型较为理想,可以作为白背飞虱识别模型。
6 总结与展望本文通过自行设计的昆虫图像采集装置采集野外环境下的白背飞虱背部图像,并运用不变矩和傅里叶变换提取白背飞虱的形态、颜色和纹理特征。该方法与现有方法相比,能自动获取野外环境下高质量、标准统一的昆虫背部图像,提高了图像处理算法的普遍适应性和准确性,最终能够达到95.00%识别率。这对于发展现代化农业中害虫自动识别技术的研究和应用具有一定的价值。同时,白背飞虱在不同季节、不同生长阶段、不同环境下的特征会发生变化,现有的白背飞虱图像识别库还需结合昆虫分类专家不断的修正和完善,才能更准确、快速地识别白背飞虱。
[1] | 何忠全,陈德西,封传红,等. 水稻主要害虫发生区划研究[J]. 西南农业学报,2014,27(5):1937-1944.He Z Q,Chen D X,Feng C H,et al. Study on occurrence regionalization of rice major pests[J]. Southwest China Journal of Agricultural Sciences,2014,27(5):1937-1944(in Chinese with English abstract). |
[2] | 吕进,祝增荣,娄永根,等. 稻飞虱灾变和治理研究透析[J]. 应用昆虫学报,2013,50(3):565-574.Lü J,Zhu Z R,Lou Y G,et al. Review of research into outbreaks and management of rice planthoppers[J]. Chinese Journal of Applied Entomology,2013,50(3):565-574(in Chinese with English abstract). |
[3] | 唐小艳,李正跃,陈斌. 水稻白背飞虱的综合防治[J]. 湖南农业科学,2009(8):70-73.Tang X Y,Li Z Y,Chen B.Integrated control of Sogatella furciferaon rice[J]. Hunan Agricultural Sciences,2009(8):70-73(in Chinese with English abstract). |
[4] | Zhang K,Zhang W,Zhang S,et al. Susceptibility of Sogatella furciferaandLaodelphax striatellus(Hemiptera:Delphacidae)to six insecticides in China[J]. Journal of Econmic Entomology,2014,107(5):1916-1922. |
[5] | 刘功朋,张玉烛,黄志农,等. 水稻牛蛙生态种养对稻飞虱防效及水稻产量的影响[J]. 中国生物防治学报,2013,29(2):207-213.Liu G P,Zhang Y Z,Huang Z N,et al. Effects of rice-bullfrog mixed cultivation on rice planthopper and rice yield[J]. Chinese Journal of Biological Control,2013,29(2):207-213(in Chinese with English abstract). |
[6] | Zhang Z F,Cui B Y,Li Y F,et al. Effects of tobacco-rice rotation on rice planthoppers Sogatella furcifera(Horváth)and Nilaparvata lugens(Stl)(Homoptera:Delphacidae)in China[J]. Plant and Soil,2015,392(1/2):333-344. |
[7] | Ramesh K,Padmavathi G,Deen R,et al. White backed planthopper Sogatella furcifera(Horváth)(Homoptera:Delphacidae)resistance in rice variety Sinna Sivappu[J]. Euphytica,2014,200(1):139-148. |
[8] | Yao Q,Xian D X,Liu Q J,et al. Automated counting of rice planthoppers in paddy fields based on image processing[J]. Journal of Integrative Agriculture,2014,13(8):1736-1745. |
[9] | 竺乐庆,张真. 基于MFCC和GMM的昆虫声音自动识别[J]. 昆虫学报,2012,55(4):466-471.Zhu L Q,Zhang Z. Automatic recognition of insect sounds using MFCC and GMM[J]. Acta Entomologica Sinica,2012,55(4):466-471(in Chinese with English abstract). |
[10] | 齐会会,张云慧,程登发,等. 褐飞虱2009年秋季回迁的雷达监测及轨迹分析[J]. 昆虫学报,2010,53(11):1256-1264.Qi H H,Zhang Y H,Cheng D F,et al. Radar observation and trajectory analysis on the autumn return migration of the brown planthopper in 2009 in Chian[J]. Acta Entomologica Sinica,2010,53(11):1256-1264(in Chinese with English abstract). |
[11] | Yang C M,Cheng C H,Chen R K. Changes in spectral characteristics of rice canopy infested with brown planthopper and leaf folder[J]. Crop Science,2007,47:329-335. |
[12] | 李文勇,陈梅香,李明,等. 基于姿态描述的果园靶标害虫自动识别方法[J]. 农业机械学报,2014,45(11):54-59.Li W Y,Chen M X,Li M,et al. Orchard pest automated identification method based on posture description[J]. Transactions of the Chinese Society for Agricultural Machinery,2014,45(11):54-59(in Chinese with English abstract). |
[13] | 高兴荣,张培毅. 夜间收集趋光性昆虫的方法[J]. 昆虫知识,2010,47(1):210-212.Gao X R,Zhang P Y. The method of collecting photo toxic insects at night[J]. Chinese Bulletin of Entomology,2010,47(1):210-212(in Chinese with English abstract). |
[14] | 郭玉人. 植保员手册[M]. 4版. 上海:上海科学技术出版社,2006:40-42.Guo Y R. Handbook of Plant Protection[M]. 4th ed. Shanghai:Shanghai Science and Technology Press,2006:40-42(in Chinese). |
[15] | 徐鹏,陈乃中,杨定. 自动识别技术在昆虫分类鉴别研究中的应用[J]. 昆虫知识,2010,47(2):256-262.Xu P,Chen N Z,Yang D. Automatic identification of insects[J]. Chinese Bulletin of Entomology,2010,47(2):256-262(in Chinese with English abstract). |
[16] | Berg C,Thill M. Rotation invariant moment problems[J]. Acta Mathematica,1991,167(1):207-227. |
[17] | Yaakob S N,Jain L. An insect classification analysis based on shape features using quality threshold ARTMAP and moment invariant[J]. Applied Intelligence,2012,37(1):12-20. |
[18] | 刘德营,赵三琴,丁为民,等. 基于图像频谱特征的稻飞虱识别方法[J]. 农业工程学报,2012,28(7):184-188.Liu D Y,Zhao S Q,Ding W M,et al. Identification method for rice plant hoppers based on image spectral characteristics[J]. Transactions of the Chinese Society of Agricultural Engineering,2012,28(7):184-188(in Chinese with English abstract). |
[19] | Chang C C,Lin C J. LIBSVM:a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology,2011,2(3):1-27. |
[20] | 尹中航,王永成,蔡巍. 自动分类中的过学习问题与支持向量机[J]. 计算机工程,2000,26(增刊):726-730.Yin Z H,Wang Y C,Cai W. The overfitting in automatic classification and support vector machines[J]. Computer Engineering,2000,26(S1):726-730(in Chinese with English abstract). |