文章信息
- 王雪峰, 毕于慧, 罗景芳
- Wang Xuefeng, Bi Yuhui, Luo Jingfang
- 银中杨苗木光需求的图像分析法
- Image Analysis Method of Light Need of the Populus alba×P. berolinensis
- 林业科学, 2010, 46(4): 161-165.
- Scientia Silvae Sinicae, 2010, 46(4): 161-165.
-
文章历史
- 收稿日期:2009-11-03
-
作者相关文章
2. 内蒙古赤峰市克什克腾旗联峰林场 赤峰 025350
2. The Forestry Center of Keshiketeng County, Chifeng City, Inner Mongolia Chifeng 025350
近年来,在一些国际农林业学术会议上出现了“智能林业”的概念(Hirafuji et al., 2008a; 2008b),“智能林业”的主体是林业机器人,与人类信息的70%以上来自视觉一样,机器人的主要信息源也是图像。图像理解程度不仅关系到未来的林业技术走向,也具有重要的战略意义,因此,图像技术被赋予了新的使命而得到了极大重视。
图像技术的发展已经渗透到诸多领域,很多技术已经得到成功应用,比如医学断层扫描、工业探伤等。随着图像技术及计算机视觉技术的日臻完善,人们开始关注非规则几何体图像的农、林业应用。Ahmad等(1996)利用彩色图像信息评价缺水和缺氮对玉米(Zea mays)生长的影响及由此而造成的植株的RGB色彩特征变化,并把此结果作为灌溉和施用氮肥决策时参考。Shimizu等(1995)利用安装了近红外滤镜的CCD摄像机和近红外照明设备对植物白天和夜间生长分别进行监测,得到植物白天和夜间的平均生长率。Mayer等(1997)利用数字图像分析作为一种无损测量手段,通过获取单株植物在不同生长阶段的生长参数,为建立植物生长模型提供依据。近几年植物种分割类识别(Jafari et al., 2006; Jo-ao et al., 2006; Philipp et al., 2002)的文献增多,有从图像开始区别田间植物与杂草的(吕朝辉等,2001; 王月青等,2004),也有统计禾苗株数的(戴之祥等,2006; 大角雅晴,2007)。从人类需求看,可以把此类研究分为两大类:一类是完成到中间结果(田有文等, 2003; 孙业明等, 2005;王培珍等, 2009),另一类是给出最终结果(谭峰等, 2009; 王雪峰等, 2006)。通常情况,前者是后者的工作基础,其精度直接影响后续研究。从图像技术看,完成到中间结果对应图像处理分析内容,给出最终结果属于图像理解和机器视觉范畴,而林业需求很多是要求达到最终的应用目的。
本文以抗病虫能力强、耐寒耐瘠薄的速生丰产林优良树种银中杨(P. alba×P. berolinensis)苗木图像为例,研究前景图像的提取方法,并在此基础上研究如何利用植物的图像信息来判定其生长状态,一方面为集约化人工培育苗木提供指导,同时为林业机器人智能判断进行算法上的探讨。
1 图像来源与分割、理解方法 1.1 苗木图像来源试验地选择自内蒙古赤峰红庙子苗圃,银中杨图像采集地经纬度42°18′18.0″N,119 °04′00.9″E,海拔534 m,摄影机是Canon EOS 20D,图像分辨率3 504×2 336。光照不足图像取自苗圃周围的防护林内,苗木光照不足起因于上层树冠遮挡,而苗圃地经营的苗木光照充足。本试验图像中苗木除光照外,其他措施比如施肥、浇水量等均相同,图像的摄影时间是苗木扦插后第96天的上午9: 00—11: 00,摄影时天气晴朗、无风。
1.2 图像分割中的彩色空间选择及分割算法物体的颜色是由它的反射光谱特性和光源特性所决定的, 由于物体的反射光谱特性不同, 自然界的物体呈现千变万化的颜色。有生命力的植物与无生命力的土壤及其他物体的反射光谱特性是大不相同的, 因此, 可根据植物和背景物颜色的差异来区分它们。在数字图像处理中有多种表示物体颜色的彩色空间,相关的彩色空间感知文献(Tkalcic et al., 2003)也很多。通过比较发现,对于本研究中所获取的图像,在CIE L*a*b*彩色空间提取前景图像具有更好的适应性;由于变换后的L*a*b*空间消除了3个颜色分量之间的相关性,它更能表示出人眼视觉的差别。
CIE L*a*b*与RGB空间的变换,是通过XYZ空间间接得到的,从RGB换算到XYZ有不同的计算公式(贾渊等, 2004),本文使用下面的转换矩阵:
![]() |
(1) |
CIE L*a*b*与XYZ之间的变换关系为:
![]() |
(2) |
其中,
![]() |
(3) |
![]() |
图 1 L*a*b*彩色空间 Figure 1 L*a*b* color model |
本文所用分割算法是利用图像中不同物体的色彩特征作为分割依据,即根据图像彩色变换后的a*和b*分量的值,用最小距离判别法作为判别准则,将每个像素点进行归类。具体步骤如下:
1) 从原图像中选取任意形状的叶片和背景图像样本S1, S2。
2) 计算图像样本的平均色彩特征:
![]() |
(4) |
式中: t表示图像的2个色彩分量﹛a*,b*﹜,p=1, 2表示图像样本,m×n表示图像样本的大小。
3) 计算待分割图像中每个点与2个样本之间的距离:
![]() |
(5) |
式中:f(i, j)表示原始图像中的像素点,比较dp(i, j)的大小,将待分割点归入使dp(i, j)较小的一类。
1.3 植物光需求理解图像分割后利用前景图像来判断苗木的光需求状况,大大减少了背景的影响。通过大量的银中杨图像测试发现,根据彩色图像直方图中的R分量峰值变化可以很好判断当前植物的光摄入情况,据此理解银中杨图像光照需求状况效果很好。在目前的计算机系统中,彩色图像每一个像素的颜色都是由R, G, B 3个分量的某种混合而构成,每一个分量色深由8位表示,即最大灰度值是28=256,通常用0表示黑色,255代表纯白。统计图像中0~255每个灰度等级总共有多少像素,就产生了RGB直方图。易见,图像直方图具有尺度、旋转不变性。
由于苗木内在的变化会通过植物体外在的形态、颜色等特征表现出来,比如干旱造成萎蔫、病虫害造成叶片卷曲等,这也是人类经营苗木能够参考的最主要最直接的标准。以下利用图像直方图从机器人的角度考虑当前苗木对光的生长需求状况。
2 结果与分析 2.1 苗木图像分割实例与分割前后的图像直方图植物图像的复杂性,造成分割算法多样性并存,比如可以采用色度坐标法分割和定位马铃薯图像(Tian et al., 1998)。从本次试验所获取图像的分割效果看,L*a*b*空间内的最小距离法效果更佳,所以,本文使用此方法提取前景植物图像。在计算上首先根据式(1),(2)把图像转换到L*a*b*空间内,然后利用1.2中的分割算法对图像进行分割。图 2是本算法分割前后的图像。
![]() |
图 2 L*a*b*算法分割苗木图像 Figure 2 Segmentation by L*a*b* algorithm a.原始图像The original image; b.分割出的前景图像 The segmented image of foreground. |
图 2a是原始图像,主要包含植物、阴影、土壤3部分,前景是要继续研究的植物体部分,其他部分是希望去除的背景。不改变前景部分,把背景部分像素值用0值(表现为黑色)替代,得到图 2b的分割结果。可以看到,除了叶片上沾染土壤的像素以及纳入了少部分的杂草背景外,绝大多数植物体图像被很好地保留下来,同时背景也被很好地剔除。需要说明的是,在后续的分析中,宁可把更多的部分置入背景, 就是说,前景部分越“纯”,分析结果越准确。
为了能够准确分析苗木图像的需光情况,在RGB空间分别绘制分割前图像和仅前景图像的RGB直方图(图 3)。可以看到,分割前的几条R,G,B线交织在一起,规律不明显,而分割后的前景直方图具有单一的峰值,几条线的变化趋于简单化。测试了很多图像,发现背景越复杂的图像,其RGB直方图越显复杂,但是其前景图像直方图却与图 3b类似,简单且规律性强,不同图像前景直方图的差异主要表现在各曲线峰值对应的灰度值和曲线间的相关度上。由此推断利用此指标可以推断植物的某些生理状况。
![]() |
图 3 分割前后的图像的直方图 Figure 3 Histogram of original image and segmented image a.分割前图像直方图The histogram of the image before segmentation; b.分割后前景图像直方图 The histogram of foreground image after segmentation. |
光是光合作用的能量来源,光照不足直接影响光合作用。植物的光合作用可分为光反应和暗反应2个阶段,光反应是暗反应发生的前提条件,暗反应只有发生了光反应才能持续发生。在光照的情况下,2个具有重要作用的叶绿素a吸收高峰在440 nm附近的蓝光区域和680 nm附近的红光区域,叶绿素b的吸收高峰也是在蓝区和红区,分别为470和650 nm,从而使处于500~600 nm之间吸收很少的绿光反射出来而被摄影机捕捉到,致使植物图像呈现绿色。在光饱和点之前随着光强的增加,光合作用加速,植物浓绿;但是当光照不足时,光合速率降低,植物吸收红光以及蓝光数量减少,使更多的红光和蓝光反射出来。根据加色原理,红、绿光合成黄色,红、绿、蓝合成白色,从摄影机获取的图像看,光不足时植物表现为黄色或趋于白色与之相符。
测试了大量图像发现,图像直方图中的R分量曲线随着光照的减少逐步向右移动,并且与G分量曲线的相关度增加,植物表现出黄色、黄白色。图 4a是光照正常的苗木图像,图 4c是林下的光照不足植物,图 4b是这2张图像的R直方图曲线,为便于绘图对像素数进行了归一化。可以看到,图 4a的R直方图峰值出现在灰度级113附近,而图 4c的峰值出现在200前后,两线交于150。由此,当R直方图峰值对应的灰度级大于150时,可能当前植物光照不足。另外,从R-G 2条直方图线的相关度看,光照正常植物处于0.4~0.5前后,而光照不足的植物通常大于0.7。
![]() |
图 4 不同光照图像及其前景R分量直方图 Figure 4 Different light condition images and their R-component histograms of seedling a.光照正常图像The image of normal light; b.不同光照图像R分量直方图The histogram of R component of the images under different light condition; c.光照不足图像The image of insufficient light. |
从现地情况看,苗木干旱也出现发黄症状,同时伴随打蔫、萎缩等现象。本文也对水分不足的苗木图像与光不足图像做一个简单比较。直观上,结合植物形态和背景图像来判断植物水分供求状况将有助于得到正确的结果,但考虑一致性,本文仅从植物反射光性质方面做一些分析。
参照图像直方图的做法,在L*a*b*空间统计缺水和缺光苗木图像b*分量各分级的像素数。研究发现,水分不足图像最多的像素数对应的b*值较大,而光照不足的b*值较小。从测试的一些图像看,水分不足的拥有最多像素峰值的b*均大于50,而光不足的b*比50小。图 5给出了干旱和光不足图像的归一化像素数与b*的曲线图。
![]() |
图 5 光、水不足图像的各b*对应的像素数比较 Figure 5 Comparation of the number of pixels in b* component of the insufficient light and water-deficient images |
综上所述,基于图像的银中杨苗木光需求分析法总结如下(图 6)。
![]() |
图 6 苗木光需求的图像识别方法流程图 Figure 6 The flow chart of the image recogonition method of light demandness of seedling |
目前,对“智能林业”的概念还没有严格的界定,但是随着信息技术及机器人研究的深入,它可能对现有的传统林业生产、科研带来革命性的影响。本文从算法角度对这一概念所含具体内容做了一个简单的尝试,期望为其可操作性提供一些借鉴。
利用基于L*a*b*空间的分割方法从土壤背景中提取银中杨苗木图像,在此基础上对银中杨苗木生长正常和光照不足图像进行了分析,用图像直方图变化分析植物的光需求策略,即是否光照不足,同时与干旱苗木图像做了对比。结果表明:用最短距离法能够很好分割苗木图像,彩色图像中R分量的灰度直方图变化可以表述植物从绿到黄的渐进过程,可以用于判断苗木的光需求;在L*a*b*空间中,利用具有最多像素的b*分量值的大小判断是干旱还是光照不足所引起的苗木叶片发黄。如果是干旱所致,经营者需要浇水,如果是光照不足的原因则不需要浇水,从而避免未来机器人自动操作中见到叶片发黄就认为是缺水的错误判断。
本研究所用图像仅取自一个苗圃以及周边的防护林内,范围相对较窄,使用更大范围的图像进一步探讨光照不足、干旱等环境因子与苗木不同生长期颜色的关系是今后的研究重点;另外,由于设备原因,使用的光照不足图像是基于人类经验的判断,没能够对植物生长地的光量子数量做详细测定,从应用以及未来发展角度,有必要继续探讨光量子与苗木反射光图像的具体数量关系。
大角雅晴. 2007. デジタルスチルカメラを利用した直播水稲苗立ち数の目視計測[J]. 農業情報研究, 16(3): 107-112. |
戴之祥, 邵陆寿, 丁克坚, 等. 2006. 利用G/R分量比值图分割水稻植株图像[J]. 安徽农业大学学报, 33(2): 284-288. |
贾渊, 姬长英. 2004. 农产品自动检测中的常见颜色模型[J]. 农机化研究, (4): 205-208. |
吕朝辉, 陈晓光, 吴文福, 等. 2001. 机器视觉田间植物检测与识别技术[J]. 吉林工业大学学报:自然科学版, 31(3): 90-94. |
孙业明, 关山, 牛海波. 2005. 基于小波变换的针叶苗木彩色图像分割[J]. 东北电力学院学报, 25(6): 9-13. |
谭峰, 马晓丹. 2009. 基于叶片的植物病虫害识别方法[J]. 农机化研究, (6): 41-43. |
田有文, 李成华. 2003. 基于统计模式识别的植物病害彩色图像分割方法[J]. 沈阳农业大学学报, 34(4): 301-304. |
王培珍, 石磊, 许睿, 等. 2009. 基于改进SIFT算法的苗木图像特征点提取[J]. 安徽工业大学学报, 26(3): 288-290. |
王雪峰, 高义. 2006. 郁闭林分中立木树高的重建技术研究[J]. 林业科学, 42(6): 61-65. |
王月青, 毛文华, 王一鸣. 2004. 麦田杂草的实时识别系统研究[J]. 农机化研究, (6): 63-66. |
Ahmad I S, Reid J F. 1996. Evalution of color representations for maize image[J]. J of Agricultural Engineering Research, 63: 185-196. DOI:10.1006/jaer.1996.0020 |
Hirafuji M Y, Hu H M, Yoichi H D, et al. 2008. Trial to develop extreme environmental field server[J]. SICE Annual Conference, 2008: 2574-2577. |
Hirafuji M Y, Hu H M, Yoichi H D, et al. 2008.Developing extreme environment field server. http://www.apan.net/meetings/hawaii2008/proposals/agriculture.html.
|
Jafari A, Eghali H. 2006. Color segmentation scheme for classifying weeds from sugar beet using machine vision[J]. Iranian Journal of Information Science and Technology, 4(1): 1-12. |
Jo-ao C N, George E, David D, et al. 2006. Plant species identification using Elliptic Fourier leaf shape analysis[J]. Computers and Electronics in Agriculture, 50(2): 121-124. DOI:10.1016/j.compag.2005.09.004 |
Mayer G E, Davison D A. 1997. An electronic image plant growth measurement system[J]. Transactions of the ASAE, 30(1): 242-248. |
Philipp I, Rath T. 2002. Improving plant discrimination in image processing by use of different colour space transformations[J]. Computers and Electronics in Agriculture, 35(1): 1-15. DOI:10.1016/S0168-1699(02)00050-9 |
Shimizu H, Heins R D. 1995. Computer-vision-based system fo rplant growth analysis[J]. Transactions of the ASAE, 38(3): 959-964. DOI:10.13031/2013.27913 |
Tian L F, Slaughter D C. 1998. Environmentally odaptive segmentation algorithm for outdoor images segmentation[J]. Computer and Electionics in Agriculture, 21(3): 153-168. DOI:10.1016/S0168-1699(98)00037-4 |
Tkalcic M, Tasic J. 2003. Colour spaces-perceptual, historical and applicational background[J]. 10th IS&T/SID Color Imaging Conference, (1): 304-308. |