文章信息
- 王雪峰, 李晓冬, 平藤雅之
- Wang Xuefeng, Li Xiaodong, Hirafuji Masayuki
- 基于彩色图像的柑橘糖度无损分析
- Orange Brix's Nondestructive Analysis Based on Color Image
- 林业科学, 2013, 49(10): 88-92
- Scientia Silvae Sinicae, 2013, 49(10): 88-92.
- DOI: 10.11707/j.1001-7488.20131014
-
文章历史
- 收稿日期:2012-12-27
- 修回日期:2013-03-18
-
作者相关文章
2. 日本北海道农业研究中心芽室 082-0071
2. Hokkaido Agricultural Research Center, Memuro-cho Kasai-gun, Japan 082-0071
水果品质的好坏往往会以外在的图像形态表现出来,随着数字图像采集工作的简单化、廉价化以及人们对自动化需求的日益增加,基于图像的水果品质研究逐渐增多。 Rajkumara等(2012)用高光谱成像技术在400~1 000 nm区域分析20,25和30 ℃ 3个不同温度下香蕉(Musa paradisiaca)品质和成熟阶段的关系时发现,水分含量在不同成熟阶段遵循线性关系,并且溶性固形物含量和坚硬度在成熟过程中也满足一定的关系; Lleó等(2009)发现桃(Prunus persica)的800,675,450 nm 图像与硬度和采收成熟度有关; Yankun等(2008)从不同波段图像角度来评估苹果(Malus pumila)的硬度和可溶性固形物含量。在水果的此类研究中,柑橘(Citrus reticulata)由于分布范围较广、产量大成为研究热点。
对柑橘图像的深层研究主要集中在2个方面: 一方面是对果形、着色度、果皮褶皱、生理缺陷、病虫害等外部品质特征的研究; 另一方面是对糖度、酸度、硬度、果肉品质、果汁量等内部品质特征的研究。外部品质特征由于是外在的、可视的,从事此方面的研究人员较多并且机器识别率通常也较高。如Omid等(2010)使用图像处理技术估计柑橘类水果的体积和质量,结果表明各种柑橘类水果的体积和质量是高度相关的; Fernando等(2010)使用多变量图像分析方法对来自4个不同品种的橘子进行果皮缺损自动检测,缺陷检测成功率达91.5 %,破损分类率达到94.2 % 。而内部品质特征由于被包裹在果皮内部,基于外在图像的内部品质判断,是在假设柑橘外在形态结构特征与内部品质参数具有某种关系这一前提下进行判断,存在一定的难度。但是,由于它的无损判断特性,在不破坏水果的情况下即可探知内部信息,因此受到人们的普遍重视。
在柑橘的诸多内部品质参数中,糖度是非常重要的指标参数,也是成熟度的重要标志之一,一个糖度小于9的柑橘,其口感一定不会让大多数人满意。由于较高的糖度能更加赢得消费者的口碑和购买欲,因此在柑橘经营培育中产生了确保日照时数、树下栽培鼠茅生草、不翻耕保护树根等旨在提高柑橘糖度的措施,由此可见人们对柑橘糖度的关切程度。本文从无损检测角度来探讨柑橘糖度大小与其图像参数的内在联系,也是基于人们对该品质参数关注程度较高的一种考虑。
不同糖度含量的柑橘,对不同波段电磁波的吸收、反射存在差异,因此,与检测其他水果一样,基于不同波长光谱图像检测柑橘糖度的方法也是惯常的做法,如刘木华等(2007)研究了不同波长光谱图像灰度值与脐橙(Citrus sinensis)糖度的关系。但是,这种检测方法往往需要额外的光源,通用性不强。很显然,如果仅仅通过可见光就可探知柑橘糖度含量将具有更广泛的应用空间,这也正是本文的主要目的。
基于图像的柑橘糖度无损分析通常包含2方面内容: 一是从背景中分割出前景柑橘图像,二是寻找前景图像中与糖度的敏感指标。前者属于图像处理或模式识别内容,虽然它是基本工作,但是其分割结果好坏直接关系后续研究内容精度。由于这一过程不涉及具体参数测定等过程,所以研究者较多,如周志宇等(2008)利用 Canny 算子检测柑橘边缘,徐惠荣等(2005)、蔡健荣等(2007)、王建黑等(2009)从背景中识别柑橘图像等。由于背景的复杂性,这类问题很难有通用高效的算法,从发表的文献看,分割算法基本是针对具体问题。得到前景图像后就可进一步探索图像参数与柑橘糖度的关系,究竟哪个或哪些图像参数与糖度敏感,需要大量的研究测试,比如曹乐平等(2009)研究了使用柑橘纹理特征来估计柑橘糖度与有效酸度的方法。
本文首先探讨柑橘图像的分割算法与精度,然后从图像参数中筛选出与糖度紧密的图像参数并建立关系模型,进而实现从图像到糖度的预测。
1 数据来源试验用柑橘来自日本三重县。三重县位于日本中部的近畿地方,纪伊半岛东部位置,东邻爱知县,北与岐阜县、滋贺县接壤,西北、西南分别与京度府和奈良县相连,东西南北县界的经纬度分别为 E(136.988°,34.548°)、W(135.853°,33.859°)、S(135.975 °,33.723 °)、N(136.528 °,35.258 °),南北长180 km、东西宽108 km,呈细长形状,地形以伊势平原为主,包括山脉、高原、低地等地形,县内有木曽河、铃鹿河、云出河、熊野河等多条河流。三重县气候温暖湿润,年降水量2 000~2 500 mm,9月平均降水量717.6 mm,为降水最多月,12月降水最少,平均为34.4 mm; 最暖月8月平均气温27.3 ℃,最冷月1月平均气温3.0 ℃。县内盛产绿茶、大米,同时是日本优良的柑橘产地。
日本柑橘企业采用当日采摘、当日分装、当日上市的原则,柑橘采摘后马上送往柑橘分装厂,按柑橘品质等级迅速分装并运往日本各地。三重县建有日本最大的柑橘分装厂,笔者在分装厂内选取不同外形、大小、颜色的柑橘31个,分别放在固定三脚架的下面连续摄影5张图像,然后称重,测量糖度。摄影使用的相机类型为 Canon EOS Kiss Digital X,图像分辨率3 888 × 2 592 、ISO 速度为800 、宽门速度1 /50 s、透镜孔径 F /8 。糖度计是 Atago 袖珍数字糖度计,糖度测量范围(Brix%)在0~53 、糖度测量精度(Brix%)0.2 、最小刻度0.1 。本次样品测得的糖度分布范围在9~18之间,其中糖度在[9,10),[10,11),[11,12),[12,13),[13,14),[14,15),[15,16),[16,17),[17,18]之间的柑橘数量分别为5,5,4,2,4,7,2,1,1个,[a,b)表示糖度 x 的分布范围是: a≤x < b。
2 研究方法每个柑橘都有5张连续拍摄的图像,由于所有拍摄参数都相同,因此,用取5张图像平均值的方法进行图像去噪,并以此平均图像作为后续研究用图像。
直接根据图像总体进行分析,很难得到有宜的结果,甚至无法发现隐含在现象背后的规律性内容,因此,有必要从背景中抽出前景柑橘图像。本研究中的图像分割,作者基于统计学中相关分析原理,提出了图像的确定指数分割法; 完成分割提取后,以前景图像为基础,并从中提取多个图像参数,研究其与糖度的关系。
2.1 柑橘图像分割 2.1.1 分割算法理论上,如果前景与背景图像存在差异,可以通过分析2部分的相关性来判断二者关系,进而实现图像分割。
若X=(x1,x2,…,xn)',Y =(y1,y2,…,yn)' 为随机变量,它们的方差分别为 Var(X),Var(Y),协方差为 Cov(X,Y),显然
$ \rho = \frac{{Co{v^2}(X,Y)}}{{Var(X)\cdot Var(Y)}} $ | (1) |
于是,根据式(1)本文提出基于确定指数的分割算法,并以此来分割柑橘前景和背景图像。过程如图 1所示,算法如下:
1)鼠标左键点击柑橘图像区域 A(图 1),给出目标点。目标点位置要求并不严格,只要不是边缘,在前景图像区域内任何点均可。
2)以鼠标点为中心,取 n =(2 i + 1)2掩膜内的所有像素,i = 1,2,3,…。
3)指针移动到图像的起始位置(0,0),按着给定的掩膜大小遍历图像。
4)根据式(1)计算当前点像素区域与目标点区域的确定指数,并把此值与某确定指数阈值比较。如果该值大于阈值,则把当前像素判断为前景; 否则,把该像素置成背景。
5)指针移动到下一像素,判断是否是最后像素,如果不是转移到4,否则进入下一步。
6)结束分割,提取前景部分用于进一步研究。
2.1.2 前景提取与误差分析按照前面的算法就可以分割并提取前景,但是,其中还涉及几个技术层面的问题是取多大的掩膜 n和确定指数R2,以及如何评价分割误差。
遗憾的是,到目前为止还不存在良好且通用的分割及评价算法。为便于分析说明起见,本文使用Photoshop 软件的磁性套索工具通过人为办法获取前景图像,并以此作为真值来分析确定指数分割算法的不同掩膜大小和确定指数不同阈值对分割精度的影响。
1)误差计算 分割效果的好坏,采用下式进行评价:
$ {E_{\rm{r}}} = 100(\frac{{{N_{\rm{f}}}}}{{{N_{\rm{t}}}}} - 1)。 $ | (2) |
如果Er> 0,表明取出的前景像素数比实际前景像素多,此时是把背景误分割为前景; 相反,如果Er< 0,则表明前景被分割到背景中。
2)掩膜大小与精度 首先看掩膜大小对分割精度的影响,图 2是在确定指数为0.225情况下采用不同掩膜分割出的前景图像。
从图 2可以看出,掩膜对分割结果的影响主要表现在边缘上的不同,掩膜越小,把背景分割到前景中的边缘越窄; 随着掩膜增大,背景划分到前景中的宽度在加大,即误差在增大,当掩膜大于某数值后甚至对边缘产生切割,使前景图像损失增大(如图 2 d 的右下边缘)。实际上,图 2 a,b,c,d 中的分割误差分别为1.75 %,4.19 %,7.51 %和13.66 % 。掩膜增大带来的另一个问题是使图像分割的计算量急剧增大,比如采用31 × 31的掩膜,其计算量至少是3 × 3掩膜的961倍。因此,基于确定指数图像分割的掩膜大小不宜太大,本文选择的掩膜大小为3 × 3 。
3)确定指数阈值与精度 确定指数阈值大小是关系到分割精度高低的重要指标,不同的确定指数阈值将会产生不同的分割结果。图 3是几个不同确定指数阈值的实际分割结果。
可以看到,R2= 0.21时还有很多背景被判为前景保留下来(图 3 b); 但是当R2=0.25时,前景几乎被保留的同时背景被剔除(图 3 c); 继续增大确定指数到0.50,直观上看,分割出的前景图 3 d 与图 3 c 好像没有太大的变化,但是此时已经有6 % 以上的前景被剔除。实际上,图 3中确定指数阈值取0.21,0.25,0.50时的分割误差分别为205.11 %,0.15 %和-6.03 % 。
那么,究竟多大的确定指数阈值是合适的? 显然,没有针对所有图像的普适性答案,因为它与图像和目标点选择位置均有关系。但是,对于具体图像却不难从中寻找合适的结果; 并且,这对其他图像分割问题也有一定的参考意义。
图 4是其中一个柑橘不同确定指数阈值对应分割误差的一个折线图。由图可知,在R2 < 0.22区间范围内,R2的很小增加都会给分割结果带来非常明显的改善;R2 = 0.22~0.44,分割效果良好,且不同取值的R2,分割结果直观变化不明显,在该区间上的分割精度大于95 %,我们把这一区间称为阈值迟钝区间;R2 > 0.44后,随着R2增加,分割出的前景图像逐渐变小; 当R2 > 0.95后再增加,损失的前景急剧增加。更换不同的目标点和图像,都表现出这种的规律,差异仅仅是R2区间会发生一些变化,但是这种阈值迟钝区间从图像中非常容易找到。
前景图像分割提取后,分别统计每张图像中前景B,G,R的均值以及变为灰度图后的亮度平均值,以B,G,R及灰度均值为横轴,对应的糖度为纵轴绘制散点图(图 5)。
从图 5 a,b 可以看到,图像的平均 R 值和平均 B 值的散点杂乱地分布在某一区间,与糖度关系不明显; 而平均 G 值和平均灰度值与糖度有明显关系。
灰度图像各像素的亮度值由下式计算得到:
$ {\rm{Gra}}{{\rm{y}}_{{\rm{ij}}}}{\rm{ = 0}}{\rm{.114}}{B_{{\rm{ij}}}}{\rm{ + 0}}{\rm{.587}}{G_{{\rm{ij}}}}{\rm{ + 0}}{\rm{.299 }}{R_{{\rm{ij}}}}{\rm{ }}。 $ | (3) |
根据图 5 c,G 值增加则糖度减小,呈现一种“倒 J”形状。为了定量表述这种关系,本文选用线性、幂函数、单指数、双指数4个模型:
$ y = ax + b; $ | (4) |
$ y = a{x^b}; $ | (5) |
$ y = a{{\rm{e}}^{bx}}; $ | (6) |
$ y = {{\rm{e}}^{a{\rm{e}} - bx}}。 $ | (7) |
以平均 G 值为自变量(x)、柑橘糖度为因变量(y),拟合以上4个模型,结果见表 1 。
从表 1可以看到,在这几个模型中,双指数模型(7)的拟合精度最高。实际上,笔者还试了一些其他模型,相同参数的模型拟合精度也没有超过模型(7)。因此,本文用式(7)来描述图像与柑橘糖度的关系。由于 G 是绿色亮度值分量,随着 G 值增加,柑橘糖度减低,可以这样粗略理解: 越亮绿的柑橘越不甜,这种思维方法和人们的生活经验比较相似。
3 结论与讨论图像分割是图像处理中非常重要的一个研究方向,由于图像内容的复杂性,因此产生了众多的分割算法。本文提出的确定指数分割法分割前景和背景图像效果良好。不仅本研究图像,笔者测试了很多其他图像,均取得了较好的分割结果,即该算法在分割图像中不同性质的区域具有优势。实际上,本研究是只有一个分量的典型相关分析问题,该算法可以扩充到多分量的图像分割中。
确定指数分割法有掩膜大小和确定指数阈值2个参数需要人为给定,掩膜大小对待分割前景的边缘影响较大,其合适的大小值根据具体图像会有一定差异,但是一般不宜太大。确定指数阈值的选择是影响本算法分割成败的关键,一般情况下,确定指数阈值有一个阈值迟钝区间,在该区间的前缘通常有一个能使分割结果产生急剧变化的点,选择比该点稍大的确定指数阈值是合适的。还有一个问题是比较基准的灰度值选定,原则上选择以平均灰度值位置的像素点为中心的掩膜范围,可以通过程序计算或鼠标点击测试的方法给定。
柑橘糖度与其外图像间存在必然的联系,本文研究了构成彩色图像的 B,G,R3个分量值以及灰度图像分量值与糖度的关系,发现 G 分量值与糖度关系最为明显,呈现“倒 J”形状,用双指数方程进行模拟较好地反映了这种变化趋势。
有必要探讨糖度与其他图像参数以及在其他颜色空间或频域内的变化规律,寻找对糖度变化更敏感的图像参数,甚至建立糖度和多图像变量间的关系,实现柑橘的机器人自主采摘或机器自动分级等,逐渐把人从繁重的手工操作中解脱出来。
[1] | 蔡健荣, 李玉良, 范 军,等.2007. 成熟柑橘的图像识别及空间定位研究. 微计算机信息, 23(12-1): 224-225,314.(1) |
[2] | 曹乐平, 温芝元, 陈理渊.2009. 基于统计纹理的柑橘糖度与有效酸度检测. 测试技术学报, 23(1): 63-67.(1) |
[3] | 刘木华, 程仁发, 林怀蔚,等. 2007. 脐橙糖度光谱图像检测技术研究. 江西农业大学学报, 29(3): 443-448.(1) |
[4] | 王建黑, 欧阳琴, 陈全胜,等. 2009. 自然场景下不同成度熟柑橘的自适应识别. 光学与光电技术, 7(5): 56-58.(1) |
[5] | 徐惠荣, 叶尊忠, 应义斌. 2005. 基于彩色信息的树上柑橘识别研究. 农业工程学报, 21(5): 98-101.(1) |
[6] | 周志宇, 刘迎春, 张建新. 2008. 基于自适应Canny 算子的柑橘边缘检测.农业工程学报, 24(3): 21-24.(1) |
[7] | Fernando L, Gabriela A, José B, et al. 2010. Automatic detection of skin defects in citrus fruits using a multivariate image analysis approach. Computers and Electronics in Agriculture, 71(2): 189-197.(1) |
[8] | Lleó L, Barreiro P, Ruiz-Altisent M, et al.2009. Multispectral images of peach related to firmness and maturity at harvest. Journal of Food Engineering, 93(2): 229-235.(1) |
[9] | Omid M, Khojastehnazhand M, Tabatabaeefar A. 2010. Estimating volume and mass of citrus fruits by image processing technique. Journal of Food Engineering, 100(2): 315-321.(1) |
[10] | Rajkumara P, Wangb N, EImasryb G, et al. 2012. Studies on banana fruit quality and maturity stages using hyperspectral imaging. Journal of Food Engineering, 108(1): 194-200.(1) |
[11] | Yankun P, Renfu L. 2008. Analysis of spatially resolved hyperspectral scattering images for assessing apple fruit firmness and soluble solids content. Postharvest Biology and Technology, 48(1): 52-62.(1) |