林业科学  2009, Vol. 45 Issue (6): 62-67   PDF    
0

文章信息

胡天翔, 郑加强, 周宏平, 丛静华.
Hu Tianxiang, Zheng Jiaqiang, Zhou Hongping, Cong Jinghua
提高动态树木图像分割处理速度的方法
Method on Improving Segmentation Processing Speed of Dynamic Tree Image
林业科学, 2009, 45(6): 62-67.
Scientia Silvae Sinicae, 2009, 45(6): 62-67.

文章历史

收稿日期:2008-08-05

作者相关文章

胡天翔
郑加强
周宏平
丛静华

提高动态树木图像分割处理速度的方法
胡天翔1, 郑加强1, 周宏平1, 丛静华2     
1. 南京林业大学机械电子工程学院 南京 210037;
2. 南京森林公安高等专科学校 南京 210037
摘要: 针对智能对靶喷雾技术领域中动态树木图像分割处理速度的提高方法进行研究。对整个系统程序设计进行调整,采用四叉树的数据结构进行图像存储,并将基于相对色彩因子的图像处理算法应用在系统中,根据光线强弱自动调节图像分割阈值,提高了识别率;在此基础上减少了系统处理树木图像的时间。通过试验验证系统的运行情况,将图像分割处理的速度提高到小于0.1 s·f-1,进一步提升智能对靶喷雾的实时性。
关键词:智能喷雾机    图像分割算法    软件控制系统    处理速度    
Method on Improving Segmentation Processing Speed of Dynamic Tree Image
Hu Tianxiang1, Zheng Jiaqiang1 , Zhou Hongping1, Cong Jinghua2    
1. College of Mechanical and Electronic Engineering, Nanjing Forestry University Nanjing 210037;
2. Nanjing Forest Police College Nanjing 210037
Abstract: The improving segmentation processing speed of dynamic tree images for the intelligent toward-target spray technology was studied in this paper. In this research, entire system had been adjusted, and the quad tree data structure was used for image storage. The relative color indices image segmentation algorithm had been applied in the system, it can automatically set the threshold for best recognition rate. That would be able to reduce the time of processing tree image, and by experimental operation verification of the system, the tree image segmentation processing speed was less than 0.1 s·f-1, so that the intelligent spray targeting precision could be further improved.
Key words: intelligent sprayer    image segmentation algorithm    software control system    processing speed    

随着精确农业技术和精确林业技术的发展,智能农药喷雾系统也得到了广泛应用(向海涛,2002向海涛等,2004章毓晋,2001葛玉峰等,20042005郑加强等,2006Steward et al., 19992002)。在整个智能农药喷雾的控制系统中,对施药对象的图像采集和处理是必要的环节,而图像采集后的实时处理工作,其速度的快慢极大地影响着智能对靶施药的精确性,它的影响因素除了所采用的硬件平台不同外,还与软件系统处理速度的能力有着密切的联系。而对树木图像进行采集和提取主要依靠硬件来完成(如选用较好的CCD设备等),并结合图像采集的API函数来完成图像每一帧的采集,图像信息的再加工过程就完全交由系统的软件来完成。系统中软件程序的设计和图像分割算法的选用将直接影响系统处理图像速度的快慢。

将整个智能系统应用在车载喷雾中,对系统处理的实时性要求就相对较高,因此系统的图像处理速度直接影响智能喷雾的效率。所以在树木图像处理过程中如何运用更为合理的分割算法,以达到图像处理的最佳效果仍是一个亟需解决的问题(郑加强等,2006Steward et al., 19992002)。本文拟在已有研究基础上针对影响智能对靶喷雾中动态树木图像分割处理速度的相关问题,通过对系统设计和图像存储结构以及处理算法的调整和修改,来减少程序处理图像的时间,进一步提升智能对靶喷雾的实时性。

1 系统的改进和调整 1.1 软件设计实现的改进

在整个智能对靶喷雾系统中,系统的硬件由软件来进行智能控制,在试验设计中将硬件部分分成3个模块,硬件实现的框图如图 1所示。

图 1 系统硬件设计框图 Figure 1 System hardware design diagram

整个系统在应用过程中,除了硬件部分对系统有直接的影响外,软件系统设计的好坏对系统的工作效率也有着重要的影响。在智能对靶喷雾系统中以功能的不同按模块进行相应的划分,在执行操作时系统通过全局回调函数来执行每一次的分割操作。在原有的系统设计中,程序在执行功能任务时,每次采集完图像都要对每个位图通过系统提供的图像转换函数进行相应的转换工作,在函数中的算法设计上要对空间和色度进行相应的转换工作,在调用系统函数时将以循环嵌套的方式执行,缺少考虑对内存资源占用分配情况,使得内存的利用率下降,影响系统的运行速度和效率,在图像分割处理过程中的实时性较差(葛玉峰等,2005)。

图 2可以看出所有提取分析的关键帧图像在内存中的存储格式转换在该图像分割算法中占了很大的篇幅,恰恰这些步骤是算法最复杂、最占用CPU时间的,而真正的分割步骤却只占一小部分。在算法的实现上,源代码还存在一定的冗余,对代码进行优化能在一定程度上提高实时性。

图 2 原系统图像处理流程图 Figure 2 The original image processing system flow chart

而改进后的分割处理流程就非常简单,如图 3所示,当进行图像采集时,首先对视频信号的输入进行软件解码,这一部分包含在整个系统的预处理部分中,其次只要用2G(R+B)因子进行全局阈值的分割,即可对图像进行实时处理,最后得到想要的图像处理结果,并输出。

图 3 改进后的系统分割处理图像流程 Figure 3 Improve the system partition process image processing

改进后整个系统处理图像的步骤简化,在每个处理步骤中都是按功能来划分,模块中每个元素都紧密相连,而每个功能模块之间都相对独立,这样可以很好地实现模块内不同元素的高内聚,同时能达到模块与模块之间的低耦合。

1.2 图像数据存储的改进

在交互式系统中,通常期望得到非常快的响应,一种解决方法是使用并行计算机,但很多计算机视觉问题都很难在多处理机间分配计算任务,在做系统设计时也存在同样的问题,因此考虑通过变换图像存储的数据结构来对图像快速处理响应做改进。

在分层数据结构中一般使用较多的以T型金字塔的存储方式为主(Milan et al., 2003),本文根据智能对靶喷雾对图像处理数据量大的特点,使用分层数据结构的形式对图像进行存储,如图 4所示。但该存储数据在按照分层数据遍历索引时有些不必要的数据也做了相应的存储,使得存储资源存在不必要的浪费,因此采用以四叉树的形式对数据进行保存(图 5),在每个层次图像被分解为4个象限,但无须在所有层次上保留节点。如果父节点有4个具有相同颜色的节点,则无须记录这些子节点。这样对于图像分割后的具有较大均匀区域的图像来说,较为节省存储空间。

图 4 T型金字塔的数据存放形式 Figure 4 T-pyramid in the form of data storage
图 5 四叉树的数据存放形式 Figure 5 Quad tree the form of data storage

在系统设计实施过程中,按照智能对靶喷雾的要求对目标物体与背景进行分离,分别放置在不同的图像层中,使目标物体与背景相分离,在同一层中用相同的颜色填充,不同层的使用不同的颜色,这样在相邻2个节点有相同颜色节点,在存储时只记录该父节点颜色值,而其他节点不做记录,因此在存储图像数据时就大大地节省了存储空间,同时也能相应地提高存储速度。

1.3 图像算法与参数的设置

在树木图像分割上,系统将采集到的图像进行分割,使目标树木从背景中分割出来。可采用遗传算法对目标进行分割,但算法实现较为复杂(余楠等,2007)。在此对树木图像分割可采用基于颜色的最佳阈值分割算法来完成分割工作,通过该方法的应用已能较好地对田间的杂草进行分割获取(刘娅静等,2007),其主要通过将获取的图像从RGB模型转换为HSI模型,计算公式为:

(1)
(2)
(3)

以此可以有效地削弱光照强度对图像处理的影响。但色彩模型的转换非常耗时,对于应用在智能对靶喷雾这种实时性要求很高的条件下就非常不适应。因此系统在开发设计时采用了基于相对色彩因子的树木图像分割算法,该方法可以直接从RGB空间转换到色度空间,其转换公式为:

(4)

式中:rgb表示色度。

将该分割算法应用在试验过程中,对普通光照条件下大量绿色树木的图像进行RGB各分量的分析,证明绿色树木图像的G分量值对于RB分量相比较大,而RB分量都相对较小。因此设计了2G/(R+B)突出G分量在像素中的比重来抑制光照强度对分割的影响,通过设定(R+G+B)/3参数来去除原始图像中的噪声区。

图像分割效果的好坏除了同算法有关外,还与图像采集设备和算法阈值的选取有关。在智能对靶喷雾系统中采用通用构件的形式来完成每个功能模块的任务,使系统能适应不同的硬件设备,并提供统一的系统接口,能与不同的采集设备进行交互。根据硬件采集设备选取的不同,系统对图像采集后得到的RGB值也存在偏差,因此图像采集后进行分割所设定的阈值也不同。

对树木图像进行分割的目的是为了智能喷雾系统在自然光条件下能自动识别施药目标,如道路两旁的行道树。因此阈值的选取应在自然光照射下进行,其光照强度约为3 000 lx。在试验过程中采用普通的CCD摄像头,其合理的色彩因子分割阈值在1.3~1.5之间(葛玉峰等,2004)。当在阴天或光照不足的情况下,光照强度变为500~1 000 lx,在程序设计中,阈值的改变对分割效果的好坏有很大的影响,在多次试验取得的结果中阈值取值范围1.04~1.32较为合理,从图 6中可以看出当阈值取1.08时图像分割出最佳效果,而阈值小于1.04或大于1.32时背景色和目标物体就不能很好地被分割。

图 6 阴天情况下选取不同阈值分割效果图 Figure 6 Different threshold effect partition map

在系统中可手动调节阈值,较合理的方式是通过在预处理部分中定义宏的形式将不同设备对应的阈值进行预先设定,当系统由于外界因素的干扰而影响分割效果时,可自动设定相对应的分割阈值,使图像达到最佳的分割效果。

普通光照条件下预设阈值的表达式为:

#ifdef DAYLIGHT

#define THRESHOLD 1.4

阴天或光照不足条件下预设阈值的表达式为:

#ifdef DARKNESS

#define THRESHOLD 1.08

系统根据阈值分割图像时,通过调用预先定义好的宏即可实现图像处理任务。

当阈值选定后可对目标图像进行二值化处理,使目标与背景分离,用阈值变换公式表示为:

(5)

式中f(xy)和g(xy)分别是处理前和处理后的图像在(xy)处像素的灰度值,T是阈值。经过二值化处理后的叶片图像,叶片区为绿色,其他区为黑色。

2 系统改进验证试验 2.1 试验方法

图 7所示,在试验台上安装了树叶以模拟对靶目标的实际树木,工作台的启动和调速由变频器控制电动机来完成。

图 7 模拟试验台 Figure 7 Simulated experiment platform

试验中选用高分辨率的摄像头为采集源进行图像获取,在程序设计时将图像采集中和图像处理后的结果显示在同一个用户界面下进行对比,系统界面的上方为相对于静止摄像头运动中的施药目标,下方为经过系统图像处理后的物体运动轨迹。

2.2 试验结果分析

在试验中使用不同的智能对靶喷雾的软件版本,通过多次反复的测试得到模拟树木图像处理的结果如图 89所示。从图中可以明显看出系统改进前后对图像处理速度的影响,试验平台上运行改进前后的智能对靶喷雾系统对树木图像分割的处理速度存在差异。

图 8 原系统分割图像处理结果 Figure 8 The original image processing
图 9 系统优化后的最佳处理结果 Figure 9 The best results after system optimized

图 8所示在原系统中将图像采集与分割后的图像进行对比,很容易看出图像处理速度的滞后,反应出原系统的实时性较差。而智能对靶喷雾系统应用在无人控制的准确施药的情况下,对原系统改进的关键就在于能提高系统实时性的要求。

改进后系统处理图像的速度有明显地提高,从图 9中可以看出图像采集的速度和分割处理后的速度基本能保持同步,这样就能达到智能对靶喷雾的效果,在施药的过程中就能准确地找到对靶目标,高效地完成施药任务,为能最大程度上避免药液的流失和浪费,真正做到高效的病虫害防治奠定了基础。

2.3 试验数据分析

当软件系统优化后,本文通过调节物体相对运动的速度,来获得目标物体相对运动速度和系统图像处理速度的对应关系,将其绘制成一张数据试验表来记录物体相对运动速度从0.5到3 m·s-1范围内逐渐增加时,图像处理速度变化的相应数值s·f-1。试验重复进行了10次,具体数据见图 10所示数据折线图。

图 10 图像处理速度折线图 Figure 10 Image processing speed broken line map

图 10可清晰地看出系统在处理图像的响应速度和目标物体运动的速度有关,当目标物体相对运动的速度越快时系统所处理图像的速度就相应地减慢,反映在图像处理上就会出现图像分割的滞后现象。因此在智能对靶喷雾的实际应用中对目标树木进行智能辨别,并对树木进行施药时,喷雾车保持恒定的移动速度对喷雾施药的精准性有着一定的影响。喷雾车速过低虽然能达到施药准确性的要求,但其会降低喷雾施药的效率,而过高则会影响施药的准确性,所以从图 10数据上反映的情况可以看出,运动速度在0.5~2.8 m·s-1图像处理效果能达到最好,即喷雾车速在3~10 km·h-1能使系统达到最近状态,但为了保证喷雾效率,车速不应低于5 km·h-1,因此喷雾车运动的速度保持在5 km·h-1~10 km·s-1是最佳的取值范围,其处理速度普遍为0.1 s·f-1左右。

3 讨论

通过对系统设计和相应的图像存储结构以及处理算法的调整和修改,减少了程序处理图像的时间,通过试验验证系统的运行,验证了以软件系统的设计同图像处理算法的改进相结合的方式来提高图像处理的速度是一种可行的方法。经试验验证,喷雾车运动速度的最佳的取值范围以5 km·h-1~10 km·s-1为宜,系统处理图像的速度从原先的0.2 s·f-1提高到了0.1 s·f-1,进一步提升了智能对靶喷雾的准确性要求。

目前树木图像的识别还只停留在了对目标的颜色进行辨别,在今后的智能对靶喷雾施药的技术中有可能会采用颜色识别和目标外形识别相结合的方式来共同完成,如树木的形状、树叶的叶形等(郑建东等,2007),这样可以提高识别的准确率,同时也对整个系统的运算处理能力提出了更高的要求,这也是人工智能技术应用在智能对靶喷雾领域中的一个新的研究方向。

参考文献(References)
葛玉峰, 周宏平, 郑加强, 等. 2004. 基于相对色彩因子的树木图像分割算法. 南京林业大学学报, 28(4): 19-22. DOI:10.3969/j.issn.1000-2006.2004.04.004
葛玉峰, 周宏平, 郑加强, 等. 2005. 基于机器视觉的室内模拟农药精确对靶施用系统研究. 农业机械学报, 36(3): 86-89. DOI:10.3969/j.issn.1000-1298.2005.03.025
刘娅静, 杨帆, 浦昭邦. 2007. 基于颜色特征的杂草图像分割技术研究. 微计算机信息, 23(6): 269-271. DOI:10.3969/j.issn.1008-0570.2007.06.110
向海涛. 2002. 基于机器视觉的树木图像实时采集与识别. 南京林业大学硕士学位论文. http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=Y439212
向海涛, 郑加强, 周宏平. 2004. 基于机器视觉的树木图像实时采集与识别系统. 林业科学, 40(3): 144-148.
余楠, 孙芳. 2007. 基于改进遗传算法的图像分割. 计算机与数字工程, 35(8): 107-109. DOI:10.3969/j.issn.1672-9722.2007.08.038
章毓晋. 2001. 图像处理和分析. 北京: 清华大学出版社.
郑加强, 周宏平, 徐幼林. 2006. 农药精确使用技术. 北京: 科学出版社.
郑建冬, 伍铁军, 商庆清. 2007. 基于图像处理的烟叶叶片结构分类算法. 华东大学学报, 33(3): 282-286.
Milan S, Vaclay H, Roger B. 2003. Image processing, analysis, and machine vision. Beijing: Post & Telecom Press.
Steward B L, Tian L F. 1999. Machine-vision weed density estimation for real time, outdoor lighting conditions. Transactions of ASAE, 42(6): 1897-1909. DOI:10.13031/2013.13355
Steward B L, Tian L F, Tang L. 2002. Distance based control system for machine vision-based selective spraying. Transactions of ASAE, 45(5): 1255.