郑州大学学报(理学版)  2019, Vol. 51 Issue (1): 18-23  DOI: 10.13705/j.issn.1671-6841.2018006

引用本文  

刘国奇, 邓铭, 李晨静. 融合RGB颜色空间的植物图像分割模型[J]. 郑州大学学报(理学版), 2019, 51(1): 18-23.
LIU Guoqi, DENG Ming, LI Chenjing. Plant Image Segmentation Model Based on RGB Color Space[J]. Journal of Zhengzhou University(Natural Science Edition), 2019, 51(1): 18-23.

基金项目

国家自然科学基金项目(U1404603);河南省教育厅科学技术重点研究项目(13A520522)

通信作者

邓铭(1993—), 女,河南民权人,硕士研究生,主要从事计算机视觉、图像处理研究,E-mail: 15517301610@163.com

作者简介

刘国奇(1984—),男, 河南封丘人,副教授,主要从事计算机视觉、图像分割研究,E-mail: liuguoqi080408@163.com

文章历史

收稿日期:2018-01-03
融合RGB颜色空间的植物图像分割模型
刘国奇 , 邓铭 , 李晨静     
河南师范大学 计算机与信息工程学院 河南 新乡 453007
摘要:针对植物图像分割中常见的受复杂背景影响、弱边界及连通性问题, 提出一种改进的双凸模糊变分图像分割模型.该模型首先通过RGB颜色空间模型将彩色植物图像划分为两个部分, 令植物图像中的目标对象保持原来的颜色, 其他部分则设置为与目标对象差异较大的颜色背景, 并以提取出的目标对象轮廓作为初始轮廓; 其次, 使用log边缘检测算子提高对噪声的稳健性,并对植物图像进行图像增强处理; 最后在双凸模糊变分模型的基础上提出了一种新的变分分割模型.实验结果表明, 该方法把平均JS值提高到95.68%, 实现对莲座植物图像中目标对象边缘轮廓的准确提取, 有效解决了受复杂背景影响和像素间的连通性问题.
关键词图像分割    莲座植物    双凸模糊变分模型    RGB颜色空间    图像增强    
Plant Image Segmentation Model Based on RGB Color Space
LIU Guoqi , DENG Ming , LI Chenjing     
Department of Computer and Information Engineering, Henan Normal University, Xinxiang 453007, China
Abstract: To solve the problem of complex background, weak boundary, and connectivity in plant image segmentation, an improved bi-convex fuzzy variational image segmentation model was proposed. Firstly, the color image was divided into two parts by RGB color space model. The target part of the plant image was kept in the original color. The other part was set to the color background with large difference from the target object. The extracted object contour was used as an initial contour. Secondly, the log edge detection operator was used to improve the robustness of noise, and performed the image enhancement on the plant image. Finally, a new segmentation model was proposed based on the blurring fuzzy variational model. The experimental results showed that the average JS value of the method was improved to 95.68%. The accurate extraction of edge contour of the target object in the rosette plant image was realized. It also effectively solved the problem of the complex background and the connectivity between pixels.
Key words: image segmentation    rosette plant    bi-convex fuzzy variational model    RGB color space    image enhancement    
0 引言

图像分割是将“目标”区域与“背景”分开的技术,是图像处理和分析的基本组成部分[1-2].近几年,图像分割技术不断得到发展,应用到了许多不同的研究领域, 其中对植物进行精确分割的研究也成为人们日渐关注的焦点.

本文主要研究对象是莲座植物.为了实现对莲座植物图像的分割,文献[3]提出了经典分割方法,即CV模型,但CV模型存在如下缺点:计算量较大;对初始化敏感;必须周期性重新初始化为符号距离函数[4].针对CV模型的缺点,许多学者对此进行了改进.文献[5]提出了基于高斯分布改进CV模型的图像分割方法.文献[6]在自然场景下植物叶片图像分割方法研究中提出了基于阈值分割的双峰法,该方法虽然简单,计算量小,但它只适合背景简单、目标与灰度值差异大的图像.文献[7]提出了一种高效双凸模糊变分的图像分割方法,是在CV模型的基础上加入了模糊逻辑的思想,较好地解决了CV模型的缺点,并提高了计算效率.实验结果证明该模型仍存在一些问题:如该模型对噪声仍不够稳健,受弱边界和复杂背景的影响,导致分割后的植物叶片缺乏连通性.本文在该模型的基础上进行改进,使莲座植物图像分割结果更加精准.

通过对同一莲座植物不同时期的图像进行分割,可以看出莲座植物生长部位的具体变化,对植物的识别、生长状况和疾病检测等方面有重要的研究意义,也为以后研究其他植物的生长状况打下坚实的基础.

1 引入的分割方法

目前,图像分割在许多应用中都是一项基本的任务[8].为解决莲座植物图像的分割,我们引入了双凸模糊变分模型.该模型是在CV模型的基础上加入了模糊逻辑的概念,其有两个方面的独特之处:1)构造了一个双凸对象函数,以简化求全局最优解的过程;2)使参数设置具有鲁棒性,并大大降低计算成本[7].模型给出的能量泛函为

$ E = {\lambda _1}\int_\mathit{\Omega } {{u^m}{{(I - {C_1})}^2}{\rm{d}}\mathit{x}} + {\lambda _2}\int_\mathit{\Omega } {{{\left( {1 - u} \right)}^m}{{(I - {C_2})}^2}{\rm{d}}\mathit{x}} , $

其中:u是隶属函数;m是正整数常量;λ1λ2>0是拟合项的权重,式子右边保证了与原图像的相似程度;C1C2∈[0, 1],则能量泛函式中当C1C2固定时,相对于u严格为凸.最小化该能量泛函就可以得到目标对象的轮廓曲线.让隶属函数u作为水平集函数.传统的模型都是使用零水平集,为了更好地进行图像分割,所引入的模型采用了0.5水平集,如:u>0.5, inside Lu=0.5,on Lu<0.5, outside L.

我们由梯度下降法[9-10]可得到引入方法的能量泛函水平集演化方程为$\frac{{\partial u}}{{\partial t}}$=m(-λ1um-1(I-C1)2+λ2(1-u)m-1(I-C2)2),对其求解即为能量泛函的极小值,也就是我们所要提取的目标轮廓.但对于植物图像来说,该模型提取的目标轮廓都受背景的影响,以致不能准确地得到轮廓边界.如图 1所示.

图 1 引入模型分割结果 Fig. 1 Segmentation results of the introduced model
2 提出的模型

针对上述引入模型存在的问题,本文提出了一种融合RGB颜色空间的植物图像分割模型.因为植物图像分割过程中常受到颜色分布不均匀和周围土壤环境的影响,所以首先通过RGB颜色空间模型将彩色植物图像划分为两个部分,即要提取目标部分和背景部分.要提取植物的颜色一般是绿色的,我们对每个像素点的RGB值进行判断,令植物图像中的目标对象部分保持原来的颜色,其他部分则设置为与目标对象颜色差异较大的颜色背景,并以提取出的目标对象轮廓作为初始轮廓.如图 2所示,左边图像是本文利用RGB颜色空间提取出的植物目标对象;右边是以提取的目标对象为基础设置的初始轮廓.虽然该方法设置的初始轮廓接近目标对象,可以避免背景噪声的影响,但是仍然存在内部噪声和连通性的问题.

图 2 提取目标对象并设置初始轮廓 Fig. 2 Extracting the target object and setting the initial contour

为了降低弱边界的影响,本文对图像进行增强处理,使用文献[11]中直方图均衡化的处理方法,在提出的模型中使用了log边缘检测算子以减少增强处理后噪声的影响.首先对图像做高斯滤波,然后再求其拉普拉斯二阶导数,就可以提高算子对噪声和离散点的鲁棒性,设置标准差σ=0.5.原图像与高斯卷积的表达式为Δ|Gσ(x, yI(x, y)|=|ΔGσ(x, y)|·I(x, y)=LoG·I(x, y).最后,为了使轮廓线更加接近目标对象,提取结果更加准确,提高运行效率,考虑同时计算活动轮廓线内部均值和外部均值与待分割图像的密度方差[12],本文提出了一种基于双凸模糊变分模型的图像分割方法,定义了新的能量泛函为

$ E = \frac{\lambda }{2}\int_\mathit{\Omega } {{{[I-{u^m}{C_1}-{C_2}{{\left( {1-u} \right)}^m}]}^2}{\rm{d}}\mathit{x}{\rm{d}}\mathit{y}}, $

固定C1C2,通过梯度下降法可以得到该能量泛函的演化方程为$\frac{{\partial u}}{{\partial t}}$=λ(C1-C2)[I-C1um-C2(1-u)m].

另外,考虑到图像均值C1C2与图像是否接近是因图像自身而异的,所以用λ1C1λ2C2代替C1C2分割结果更理想,则演化方程更改为$\frac{{\partial u}}{{\partial t}}$=(λ1C1-λ2C2)[I-λ1C1um-λ2C2(1-u)m].

因为数学形态学在图像处理中主要用于滤波、边缘处理、区域填充等[13],所以本文采用数学形态的思想对演化方程进行约束.即s.t u=binary(u), s=label(u), u=delete(s),首先对u进行二值化处理,采用8邻域法标记连通域,标记每一连通域的物体为不同值,如标记目标物体连通域的值为1,其他依次为2, 3, 4,…;然后计算得到的每个物体连通域面积,删除二值图像中面积较小的对象.进行此约束后,使得到的函数u更光滑且具有连通性.本文提出的模型实现了对莲座植物弱边界图像的分割,并降低了噪声的影响,增加连通性,使分割效果更加符合图像分割的要求.

3 实验结果与分析

通过实验对比了几种模型的分割效果.实验是在Matlab R2016b的环境下完成的,处理器为Intel Core 2.5 GHz, 内存为4 GB.仿真实验中,将提出的方法与经典的CV模型、可变区域拟合(RSF)模型[14]以及最近的双凸模糊变分模型进行比较.

3.1 植物图像分割

本文采用了两种莲座植物的图像数据集进行分割,即拟南芥和烟草数据集.两者都是在相同的环境条件下经过不同时期进行采集的,也就是莲座植物的一个生长过程.这两种数据集是在文献[15]中公布出来的.

3.1.1 烟草植物图像

图 3是烟草植物的分割结果.这些莲座植物图片含有噪声,且图像中部分背景灰度和目标灰度没有太大的差异.双凸模糊变分模型实现了对莲座植物图像的分割,其结果如图 3的前3张, 对莲座植物烟草来说,该模型基本实现了对莲座植物叶片的提取.但由于噪声影响,提取的结果仍有待提高.所提模型的分割效果如图 3后3张所示,提出的方法明显地降低了噪声影响,得到了更好的分割结果.

图 3 烟草图像的分割结果 Fig. 3 Segmentation results of tobacco images
3.1.2 拟南芥植物图像

图 4是莲座植物拟南芥图像的分割结果.第1行为CV模型的分割效果,可以看出,对莲座植物拟南芥图像选用CV模型是不合适的,它并没有提取出所需要的轮廓,分割效果不理想.第2行是本文在CV模型的基础上加入了RGB颜色空间模型的分割结果,虽然可以提取植物叶片,但提取的叶片与真实叶片差距较大,因为它没有精准地停在目标边界,而是受背景的影响过早收敛.第3行是RSF模型的分割结果,该模型提取了图像的局部灰度信息,构建了新的能量泛函,其在不经过任何处理的情况下受噪声的影响较大[16],且因为图像中光照不均匀的缘故,第1列中出现了断裂现象,第4、5列出现错分的现象.第4行是双凸模糊变分模型的分割效果,由图可以看出,这种模型对于莲座植物的分割效果明显好于其他模型,但它本身也存在一些缺点,如第2~5列,莲座植物拟南芥图像的分割中存在弱边界泄露和噪声的问题,影响了分割结果,使分割结果不准确.我们在此基础上对引入的模型进行了改进.第5行就是所提模型的分割结果,所提模型极大地减弱了噪声的影响,可以防止弱边界泄露,增加连通性,实现了对莲座植物较精确的分割.

图 4 拟南芥图像的分割结果 Fig. 4 Segmentation results of arabidopsis images

为了更清晰地显示出本文提出模型和各对比模型在莲座植物拟南芥图像分割时的区别,分别对这几种模型的提取结果进行了二值化处理.如图 5所示,可以明显地看出各模型存在的问题.比如,由于弱边界和复杂背景的影响,CV模型融合RGB颜色空间后,虽然能提取植物叶片,但精确度太低,会出现过早收敛的现象.第2行的RSF模型则出现提取噪声、轮廓断裂和错分割现象.双凸模糊变分模型的分割结果如第3行所示,每幅图片中均出现了提取的叶片不连通和受噪声影响的情况.这是因为弱边界处图像灰度对比度不明显,双凸模糊变分模型不能提取到这些弱边界,从而造成边界泄露,进而影响了分割的精确性.第4行是所提模型的分割结果,解决了弱边界的问题,并降低噪声影响,增加连通性,提高了分割结果的精准度.图 6为另一组植物图像的实验结果,因为本文主要是与双凸模糊变分模型进行对比,所以这里只展示了它与所提模型的二值化处理图.再次体现了本文提出模型对连通性和复杂背景问题处理的优越性.

图 5 分割结果的二值图 Fig. 5 The binary images of the segmentation results

图 6 另一组拟南芥图像分割结果的二值图 Fig. 6 Another set of binary images of segmentation results of arabidopsis images
3.2 量化评估

为了客观地体现本文所提方法对植物图像分割的优越性,对分割结果进行了量化评价.即对图 4中提到的模型的分割结果进行了量化评估.即对带标签图像和分割后的图像进行二值化处理,然后求其Jaccard相似度[17],公式为JS(AB)=|AB|/|AB|,其中:B是真实数据;A是分割结果.JS值越大,相似度越高,趋向于获得更好的结果,而JS值不断减小时,相似度越低.结果如表 1所示,本文所提出的方法对莲座植物图像具有较好的分割效果.

表 1 各模型分割结果的JS Tab. 1 JS values of segmentation results of each model
4 结论

针对植物图像的分割,本文首先介绍了双凸模糊变分模型,该模型能够较好地实现对莲座植物图像的分割,但在植物图像分割方面存在弱边界泄露和背景噪声不够稳健的问题.为了减少弱边界和复杂背景噪声对图像分割的影响,本文对双凸模糊变分模型进行了改进,提出一种新的能量泛函,并利用RGB颜色空间设置初始轮廓,最后对该模型的演化方程进行约束改进.本文的实验结果体现了改进后的方法明显地减少了背景噪声的影响,并且在弱边界提取方面有显著的改进, 增加了轮廓的连通性.

参考文献
[1]
WANG X H, WAN Y, LI R, et al. A multi-object image segmentation CV model based on region division and gradient guide[J]. Journal of visual communication and image representation, 2016, 39: 100-106. DOI:10.1016/j.jvcir.2016.05.011 (0)
[2]
刘洪普, 杨乐, 侯向丹, 等. 一种改进的模糊C均值图像分割算法[J]. 郑州大学学报(理学版), 2017, 49(2): 66-71. (0)
[3]
CHAN T, VESE L. An active contour model without edges[C]//Proceedings of the 2nd International Conference on Scale-space Theories in Computer Vision. London: Springer-Verlag, 1999: 141-151. https://link.springer.com/chapter/10.1007%2F3-540-48236-9_13 (0)
[4]
ZHANG K H, ZHANG L, SONG H H, et al. Reinitialization-free level set evolution via reaction diffusion[J]. IEEE transactions on image processing, 2013, 22(1): 258-271. DOI:10.1109/TIP.2012.2214046 (0)
[5]
田杰, 胡秋霞, 马孝义. 基于高斯分布改进C-V模型的植物病斑彩色图像分割[J]. 农业工程学报, 2013, 29(16): 166-173. DOI:10.3969/j.issn.1002-6819.2013.16.021 (0)
[6]
王萍, 王立地. 自然场景下植物叶片图像分割方法研究[J]. 农业科技与装备, 2011(2): 48-51. (0)
[7]
GONG M G, TIAN D Y, SU L Z, et al. An efficient bi-convex fuzzy variational image segmentation method[J]. Information sciences, 2015(293): 351-369. (0)
[8]
ZHOU X W, HUANG X J, DUNCAN J S, et al. Active contours with group similarity[C]//IEEE Conference on Computer Vision and Pattern Recognition. Oregon, 2013: 2969-2976. https://www.mendeley.com/catalogue/active-contours-group-similarity/ (0)
[9]
XIE X H. Active contouring based on gradient vector interaction and constrained level set diffusion[J]. IEEE transactions on image processing, 2010, 19(1): 154-164. (0)
[10]
ORDEVIĆS S. A note on a multiplicative parameters gradient method[J]. Applied mathematics and computation, 2016, 283(20): 90-107. (0)
[11]
王大凯, 侯榆青, 彭进业. 图像处理的偏微分方程方法[M]. 北京: 科学出版社, 2008. (0)
[12]
罗志宏, 冯国灿. 一种新变分方法在图像分割中的应用[J]. 计算机科学, 2011, 38(12): 263-265. DOI:10.3969/j.issn.1002-137X.2011.12.060 (0)
[13]
蒋东升.基于数学形态学的边缘检测算法研究[D].成都: 电子科技大学, 2012. http://cdmd.cnki.com.cn/Article/CDMD-10614-1012472680.htm (0)
[14]
LI C M, KAO C Y, GORE J C, et al. Minimization of region-scalable fitting energy for image segmentation[J]. IEEE transactions on image processing, 2008, 17(10): 1940-1949. DOI:10.1109/TIP.2008.2002304 (0)
[15]
SCHARR H, MINERVINI M, FISCHBACH A, et al. Annotated image datasets of rosette plants[R]. Forschungszentrum julich, (2014-07-08)[2017-09-16].http://hdl.handle.net/2128/5848. (0)
[16]
元昌安, 郑彦, 覃晓, 等. 改进RSF主动轮廓模型的医学图像分割方法[J]. 郑州大学学报(理学版), 2017, 49(1): 34-38. (0)
[17]
EVERINGHAM M, GOOL L V, WILLIAMS C K I, et al. The pascal visual object classes (VOC) challenge[J]. International journal of computer vision, 2010, 88(2): 303-338. DOI:10.1007/s11263-009-0275-4 (0)