林业科学  2004, Vol. 40 Issue (3): 144-148   PDF    
0

文章信息

向海涛, 郑加强, 周宏平.
Xiang Haitao, Zheng Jiaqiang, Zhou Hongping.
基于机器视觉的树木图像实时采集与识别系统
Real-time Tree Image Acquisition and Recognition System Based on Machine Vision
林业科学, 2004, 40(3): 144-148.
Scientia Silvae Sinicae, 2004, 40(3): 144-148.

文章历史

收稿日期:2002-09-27

作者相关文章

向海涛
郑加强
周宏平

基于机器视觉的树木图像实时采集与识别系统
向海涛, 郑加强, 周宏平     
南京林业大学机械电子工程学院 南京 210037
摘要: 研究了树木图像的实时采集与识别技术,以及树木图像处理及分析软件系统的开发,并自行设计制作了室内模拟实验系统。树木图像处理技术包括图像的获取、图像的增强、图像边缘检测、图像分割和图像的特征提取与识别。本文的研究能够为分离施药目标与非施药目标提供依据,有助于精确农药喷雾的实现。
关键词: 机器视觉    图像处理    树木图像    图像识别    精确农药喷雾    
Real-time Tree Image Acquisition and Recognition System Based on Machine Vision
Xiang Haitao, Zheng Jiaqiang, Zhou Hongping     
College of Mechanical and Electronic Engineering, Nanjing Forestry University Nanjing 210037
Abstract: The paper mainly studied the technology of acquisition and recognition of real-time tree image, and developed the tree image processing and analyzing system. Tree image acquisition, tree image enhancement, tree image edge detection, tree image segmentation, tree image feature extraction and tree image recognition were included in the study. The spraying target object from the non-spraying target object could be distinguished according to study in the paper, which should contribute to the realization of the precision pesticide spraying.
Key words: Machine vision    Image processing    Tree image    Image recognition    Precision pesticide spraying    

目前,我国森林病虫害形势相当严峻,森林病虫害防治的最有效方法是使用药物防治;可是在农药使用的同时却伴随着环境污染、农药残留、害物的抗药性、人畜农药中毒以及低效的使用等弊端。对此,需要研究农药安全、精确的使用技术,减少农药对环境的污染以及人畜和农药接触的机会,并提高农药的使用效率。从目前的资料分析看,还没有在林业上进行基于机器视觉的精确农药使用技术的探索。利用机器视觉技术可以实现树木图像的实时采集、边缘检测、分割以及树木图像的特征提取与识别,而且根据所得到的识别结果,可以分离施药目标与非施药目标,并以此为依据产生精确喷雾的控制策略,从而实现在林业上进行基于机器视觉的精确农药使用,最终做到有目的地科学使用农药,既可提高农药的使用效率又可以减少因农药造成的环境污染,同时能降低农药使用成本(郑加强等,2001;Gopalapillai et al., 1999Cho et al., 1999)。本文以室内模拟树木以及实际树木为研究对象,研制了一套适应树木检测的彩色机器视觉识别系统。

1 机器视觉识别系统构成

图 1为所研制的室内模拟树木检测的机器视觉识别系统原型。图 2为其总体示意图,该系统由计算机、DC30 PLUS真彩色图像采集卡、松下CP450型彩色CCD(Charge Coupled Device电荷耦合器件)摄像头和输送带式模拟实验台组成。图像采集卡的最大分辨率为1 024×1 024×24像素。摄像头安装在输送带式模拟实验台的一侧,同时采用西门子矢量型变频器6SE3214实现实验台无级平稳运动,以模拟室外摄像头与树木之间的相对运动,系统未使用特殊的光源以反映室外自然环境。

图 1 机器视觉识别系统原型 Fig. 1 Machine vision system prototype
图 2 机器视觉识别系统示意图 Fig. 2 Principle sketch of machine vision system
2 树木图像处理算法研究

图 3所示为针对树木图像处理的识别算法,对采集得到的连续视频图像,首先提取单帧图像进行预处理以后,将图像由采集得到的RGB(三原色,Red红, Green绿, Blue蓝)图像转换为色度图像。再将转换后的色度图像中绿色(G)通道分离出来进行图像分割、边缘提取、特征提取与识别后,输出识别结果。

图 3 系统识别算法示意 Fig. 3 Recognition algorithm of the tree image
2.1 图像采集

本系统构造了自己的基于VFW的Capture采集类可以完成单幅图像或连续图像的采集,并能在采集过程中实时地从连续视频中提取单帧图像数据进行分析,对图像采集卡、计算机等硬件设备没有特别限制。

2.2 图像预处理

由于在自然光条件下,有时光线照度不理想,进行预处理的目的是使得图像清晰。预处理包括对图像进行亮度、对比度调整和平滑滤波。亮度和对比度的调整可以使得树木图像特征明显,易于识别。平滑滤波的目的是去掉尖锐不连续的噪声(方如明等,1999)。

2.3 RGB表示转换为色度表示

真彩色图像采集卡采集得到的原始图像是由RGB色彩空间表示的彩色图像。在分割采集到的彩色图像时,要利用色彩的聚类性质。通常物体的色度由构成物体的材料所具有的光线吸收和反射特性决定,而亮度明显地受光照和视角的影响,因此根据色度分割图像比较可靠。根据这一点,通常将RGB空间的图像转换到HSI(Hue色度,Saturation饱和度,Illuminance光照度)空间中以完成彩色图像分割,但由于RGB到HSI空间的转换计算量很大,较为耗时,在实时性要求很高的识别系统中不适用(陈晓光等,2001Blackshaw et al., 1998EI-Faki et al., 2000)。本文采用式(1)来实现RGB图像中色度和明度的分离,只用反映色彩本质特性的色度来进行聚类分析,可以获得比较好的识别效果。

(1)

式中rgb分别表示红、绿、蓝三原色的色度坐标值。

2.4 提取绿色(G)通道图像

在彩色图像分割中,可以先将其变换为灰度图像再进行处理,但考虑到彩色图像提供了比灰度图像更多的信息,而且由图 4灰度图像直方图可见,图像灰度值分布比较均匀,不易实现树木与背景的分离。由于树木的色彩大多为绿色基调,色度图像中的G分量包含了较多的树木色彩信息。图 5显示了滤去亮度的色度图像中其G分量的直方图较为符合分割所需的双峰特性,而R分量中有3个峰值,B分量中两个峰值间的差别不够明显,因此只需将G分量的图像提取出来,以实现图像的分割。

图 4 灰度图像的直方图 Fig. 4 Histogram of gray image
图 5 色度图像各分量直方图 Fig. 5 Each channel histogram of chroma image a.R分量直方图R channel histogram;b.G分量直方图G channel histogram;c.B分量直方图B channel histogram.
2.5 图像分割

把经过上述处理的图像,采用图像最佳分割阈值的算法将树木和背景分离开来成为两类区域的二值图像(章毓晋,2000)。

求出图像中的最小和最大灰度值Z1ZM,令K=0,且阈值初值为

(2)

根据阈值Tk将图像分割成目标和背景两部分,求出两部分的平均灰度值ZOZB

(3)
(4)

式中Z(i, j)是图像上(i, j)点的灰度值,N(i, j)是(i, j)点的权重系数,通常N(i, j)=1。

求出新的阈值:

(5)

如果Tk=Tk+1,则结束迭代,以阈值Tk分割图像;否则令k=k+1,转到步骤(2)。

2.6 边缘提取

图 6所示为采用Robert、Sobel、Prewitt、Kirsh和Laplacian边缘检测算子对分割好的图像进行边缘检测,提取模拟树木图像的边缘检测的结果。由于Prewitt算子并不是各向同性的,由图 6d可以看到其检测到的边缘并不是完全连通的,有一定程度的断开。Sobel算子也存在同样的问题。Laplacian算子对噪声比较敏感,检测到的图像边缘较粗,还需要进行进一步的细化。而采用Robert算子和Kirsh算子则可得到较为理想的边缘(方如明等,1999章毓晋,2000)。由于Kirsh算子运算时间较长,Robert边缘检测算子用较小的运算量产生了较好的边缘检测效果,因此本文采用Robert边缘检测算子完成图像边缘提取。

图 6 图像边缘检测结果比较 Fig. 6 Comparison the results of edge detection by different operators a.原始图像Segmentation image;b.Robert算子边缘Robert operator edge;c. Sobel算子边缘Sobel operator edge;d.Prewitt算子边缘Prewitt operator edge;e.Kirsh算子边缘Kirsh operator edge;f.Laplacian算子边缘Laplacian operator edge.
2.7 特征提取

本研究分别提取了树木的面积A、周长l、圆形度R0、内切圆半径r、形状复杂度e、重心x坐标mx、重心y坐标my等形状特征参数。这里提取的图像特征参数都是在360×270分辨率的图像中进行的(方如明等,1999章毓晋,2000景寒松等,2000)。树木的面积A等于分割好的图像中黑色像素的累积数,周长l等于边缘图像中相邻边缘点之间距离的和。其余各形状特征参数可分别可由式(6)~(10)计算得到。

(6)
(7)
(8)
(9)
(10)

式(9)、(10)中M(0,0)为图像的零阶矩;M(1,0)为图像对y轴的矩;M(0,1)为图像对x轴的矩。

2.8 识别

根据树木外形特征以及试验结果,选择树木的重心高度my、圆形度R0、形状复杂度e作为树木形状的描述参数。用于树木识别的特征向量X如式(11)所示,采用二叉分类的方法来完成树木图像的识别。

(11)
3 算法测试

为了对上述算法进行测试,使用3种不同类型的模拟目标进行模拟研究,整个软件系统采用VC++6.0开发,结果如图 7所示。本文还对比了同一目标在不同背景下处理的情况,如图 8所示。图 9中所示的是在公路上任意采集的自然光条件下的行道树图像,采用本系统中的算法进行处理的情况。

图 7 不同模拟目标处理结果 Fig. 7 The processing results of different simulated objectives
图 8 同一目标在不同背景下处理结果 Fig. 8 The processing results of the same simulated objective under the different backgrounds
图 9 行道树图像处理示例 Fig. 9 Test result of the tree on the road

模拟树木和行道树试验结果表明,本系统研究的图像处理算法对树木图像的处理识别具有普遍适用性。

4 结论

本文研究了室内树木图像采集识别系统,完成了实时采集树木图像的分割与识别以及树木图像特征提取,可为确定农药喷雾控制策略提供依据,在此控制策略基础上完成精确农药喷雾。目前,系统的试验对象为单行多株树木,树木图像的深度信息提取有待进一步研究,以实现成林树木的识别。系统采用VC++平台,利用基于Windows的主流操作系统的可视化编程和面向对象的软件设计方法,开发了树木图像处理及分析软件系统,具有良好的代码重用性。

参考文献(References)
陈晓光, 吕朝晖, 吴文福, 等. 2001. 机器视觉田间植物检测与识别技术. 吉林工业大学自然科学学报, 31(3): 90-94. DOI:10.3969/j.issn.1671-5497.2001.03.021
方如明, 蔡健荣, 许俐编著.计算机图像处理技术及其在农业工程中的应用.北京: 清华大学出版社, 1999
景寒松, 马俊福, 应义斌, 等. 2000. 黄花梨品质检测机器视觉系统. 农业机械学报, 31(2): 113-115. DOI:10.3969/j.issn.1000-1298.2000.02.032
应义斌. 2000. 水果尺寸和面积的机器视觉检测方法研究. 浙江大学学报(农业与生命科学版), 26(3): 229-232. DOI:10.3321/j.issn:1008-9209.2000.03.003
章毓晋编著.图像理解与计算机视觉.北京: 清华大学出版社, 2000
Blackshaw R E, Chevalier D F, Lindwall C W, et al. 1998. Factors affecting the operation of the weed-sensing detectspray system. Weed Science, 46: 127-131. DOI:10.1017/S0043174500090287
Cho S I, Ki N H. 1999. Autonomous speed sprayer guidance using machine vision and fuzzy logic. Transactions of the ASAE, 42(4): 1137-1143. DOI:10.13031/2013.20130
EI-Faki M S, Peterson D E, Zhang N. 2000. Factors affecting color-based weed detection. Transaction of the ASAE, 43(4): 1001-1009. DOI:10.13031/2013.2968
Gopalapillai S, Tian L, Zheng J Q. 1999. Evaluation of a flow control system for site-specific herbicide applications. Transaction of ASAE, 42(4): 863-870. DOI:10.13031/2013.13265