文章信息
- 朱佳, 汪杭军
- Zhu Jia, Wang Hangjun
- 基于Graph Cuts的木材扫描电镜图像特征提取方法
- Feature Extraction Method of Wood SEM Micrographs Based on Graph Cuts
- 林业科学, 2014, 50(4): 108-114
- Scientia Silvae Sinicae, 2014, 50(4): 108-114.
- DOI: 10.11707/j.1001-7488.20140416
-
文章历史
- 收稿日期:2013-06-13
- 修回日期:2013-11-23
-
作者相关文章
2. 浙江农林大学天目学院诸暨 311800
2. Tianmu College of Zhejiang A & F University Zhuji 311800
木材固有的宏观和微观特性是其如何在各工业应用中起作用的决定性因素。除了木材本身的特性外,另一个决定木材工业应用方向的重要因素是价格。一些木材商人为了增加利润,将不同类型的木材混合,或将一些廉价木材(外观上不易与昂贵木材进行区分)直接作为高档木材销售,严重损害了消费者的利益。因此,木材材种的准确分类和识别对充分合理使用木材资源、木材流通中的按质论价、木材进出口管理中防止非法木材交易和交易欺诈行为、考古和历史研究等都具有重要意义(汪杭军等,2009)。近些年来,很多学者结合木材学领域的特点,利用计算机辅助技术对木材宏、微观图像进行了特征测量、提取和分析,为进一步研究木材图像分类和材种识别提供了依据。于海鹏等(2004;2005)分别运用空间灰度共生矩阵和小波分析了木材纹理,获得了纹理的特征参数和分频分尺度特性;Tou等(2009)基于灰度共生矩阵特征提出一种旋转不变方法,通过测试样本和模型间的相似性能量值对测试样本材种进行判定。以上是基于木材宏观图像的研究,但木材宏观纹理图像对木材树种的识别提供的信息相对较少,不能有效地提高木材材种识别精度(Pan et al.,2010)。要想进一步提高木材的识别精度,必须更深入地对木材微观构造及其特征参数进行研究(马岩,2002;Xu,2008)。因此,一些学者针对语义特征的测量、提取和分析对木材切片进行了微观研究。例如,Kino等(2004)对木材细胞结构图像进行了定量分析,测定了木材细胞壁的厚度;刘镇波(2004)采用10倍光学显微图像对木材细胞形态、几何量参数、胞壁率、细胞分布以及组织比量等特征进行了研究;黄慧(2006)采用二值形态学研究了阔叶树材的管孔、弦切面上木射线特征;任洪娥等(2007)利用链码技术提取了细胞边界轮廓信息,并论述了计算细胞个数、周长和重心等特征参数的方法;Wang等(2009)利用遗传算法研究了阔叶材导管的自动分割问题。
以上方法大多是基于木材宏观图像和低倍光学显微图像进行的研究,而基于木材扫描电镜(SEM)显微图像的特征提取方法却鲜有报道。SEM图像样本制备过程简单,不用制作切片,且其图像具有景深大、分辨率高、放大范围广等优点,这不仅有效地提高了试验数据准备的效率,同时也提高了试验数据的精度。本文采用木材SEM显微图像,通过将Graph Cuts算法与SEM图像相结合提出了一种新颖的木材显微图像特征提取方法。经过图像增强、图像分割、边缘检测和数学形态学等处理后,论述了计算平均边界最长轴、平均边界偏心率、细胞腔平均面积、最大细胞腔面积、壁腔比率、胞腔组织比、细胞腔平均周长、平均圆度和平均外接矩形比等细胞特征参数的方法。结果表明通过本方法提取的木材显微构造特征参数,可为进一步研究木材显微图像分类和材种识别提供可靠的新依据。根据从木材显微图像中提取的各项细胞特征参数对木材的微观构造特性进行研究,在微观层次上反映木材宏观上的特性,为木材材种识别提供了重要的依据(刘镇波,2004;任洪娥等,2007)。
1 材料与方法选取日本云杉(Picea polita)、金松(Sciadopitysverticillata)、日本榧树(Torreya nucifera)、鱼鳞云杉(Picea jezoensis var. microsperma)、日本五针松(Pinus parviflora)、日本香柏(Thuja st and ishii)、日本铁杉(Tsuga sieboldii)7种针叶材,以及异色山黄麻(Trema orientalis)、红淡比(Cleyera japonica)、日本七叶树(Aesculus turbinata)、水曲柳(Fraxinusm and schurica)、黄檗(Phellodendron amurense)5种阔叶材,共12种木材的扫描电镜显微图像作为本文的试验样本(数据来自日本森林综合研究所)。为便于分析所提取图像的统计构造特征参数,本文所取图像均使用放大50倍的扫描电镜显微图像。对显微图像按照早材(截取区域落在早材部分)、晚材(截取区域落在晚材部分)和随机(截取区域相比没有特殊要求)3种分割方式截取200×200的子区域。所截取的区域尽量不要靠近轮界线,可以含少量木射线,但不含断裂、树脂道等其他组织或较大的杂质。按照这3种分割方式分别对每一树种在不同位置截取6~12个样本。将上一步获得的200×200像素子区域图像转换为256级。图 1显示了日本五针松按照3种分割方式最终得到的灰度图效果。
为了获得更精确的试验结果,需要先对准备好的木材显微图像样本进行增强处理。在具有较高分辨率的显微镜下,显微图像有时会带有较多的噪声,并且图像的颜色和亮度噪声是随机变化的。由于这些错误的噪声像素在图像中与它们的邻接像素具有明显的视觉上的差异,故可以使用一个中值滤波器来减少灰度图像噪声,它通过一个大小为3×3的邻域来计算中值。中值滤波是一种非线性数字滤波技术(Tukey,1979)。在一维形式中,中值滤波由一个包含奇数像素的滑动窗体组成,该窗体的中心像素由该窗体中像素的中值替换(Huang et al.,1979)。强度值修正后,1%的像素在高、低强度处达到饱和。通过这个方法,图像的对比度得到增强。图 2显示了对日本榧树显微图像增强后的效果。
Graph Cuts作为一种流行的能量函数优化算法,在计算机视觉领域被普遍应用,本文采用GraphCuts算法对木材SEM显微图像进行分割。GraphCuts是一种基于图论的组合优化方法(Boykov et al.,2001a;2001b;2004),它先将图像映射为一幅网络图,构造关于标号的能量函数后,再运用最大流/最小分割算法对网络图进行分割,得到的网络图的最小割即为目标函数的最小值。组合优化中将一个割的容量(cost)定义为非负边容量的总和,表示为:
$ \left| C \right| = \sum\limits_{e \in c} {{W_e}}。 $ | (1) |
最小分割可根据Ford等(1962)提出的网络流理论通过求最大流来获得,而这个最小分割即为需要求解的能量函数的全局最优值。在图像分割中,能量函数可表示为:
$ E\left( A \right) = \lambda \cdot R\left( A \right) + R\left( B \right); $ | (2) |
$ R\left( A \right) = \sum\limits_{p \in P} {R\left( A \right)} 。 $ | (3) |
$ B\left( A \right) = \sum\limits_{\left\{ {p,q} \right\} \in N} {{B_{\left\{ {p,q} \right\}}}} \cdot \delta \left( {{A_p},{A_q}} \right); $ | (4) |
$ {B_{\left\{ {p,q} \right\}}}~\exp \left( { - \frac{{{{\left( {{I_p} - {I_q}} \right)}^2}}}{{2{\sigma ^2}}}} \right) \cdot \frac{1}{{{\rm{dist}}\left( {p,q} \right)}}。 $ | (5) |
式中: {p,q}为邻域像素对;R(A)用来衡量p所分配的标号Ap与观察到数据的不一致性;B(A)用来衡量A非分片光滑的程度;λ是R(A)与B(A)的相对重要性系数(且λ≥0);系数B{p,q}用来衡量p和q间的不一致性,B{p,q}越大,表示像素对{p,q}越相似。
完成图像分割处理后,通过边缘检测技术提取木材组织轮廓,再使用数学形态学平滑对象轮廓,最后将图像进行二值化处理。经过以上图像处理操作,可以开始提取试验所需的9种特征参数。
3 特征参数提取 3.1 边界最长轴和边界偏心率计算边界最长轴定义为细胞腔边界上2个最远点间的欧几里得距离,记为D。边界上的最远点并不总是唯一的,例如圆或方形上的点。因此,本文在进行试验时做如下假设:若边界最长轴是一个有用的描绘子,则最好应用到具有单个最远点对的边界(当存在一个以上最远点对时,它们应该相互靠近,并且是决定边界形状的主要参数)。连接这些点的线段称为细胞腔的边界最长轴。而边界短轴则定义为与边界最长轴相垂直的线段,记为d。细胞腔的边界最长轴与其短轴的比率称为边界偏心率,记为: e=d/D。图 3所示为木材细胞边界最长轴与其短轴间的关系。
在图 4第二列的二值图像中,封闭区域是由相互连接在一起的多个白色像素的集合构成的一个白色区域,在这个封闭区域内的像素点的个数即构成了该封闭区域的面积,这里可以把细胞腔看作为封闭区域,以此计算细胞腔的平均面积Aa。其计算公式为:
$ {A_{\rm{a}}} = \frac{A}{n}; $ | (6) |
$ A = \sum\limits_{i = 0}^n {{A_i}} ; $ | (7) |
$ {A_i} = {n_i}。 $ | (8) |
式中: A为细胞腔总面积;Ai为单个细胞腔面积;ni为细胞腔内像素点的个数;n为细胞个数。记细胞腔最大面积为Am,则Am=max(Ai)。
壁腔比率是指在木材显微图像中细胞壁与细胞腔的面积百分比。记壁腔比率为B,其计算公式为:
$ B = \frac{a}{A}。 $ | (9) |
式中: a为细胞壁组织面积。
3.4 胞腔组织比计算胞腔组织比是指在木材显微图像中细胞腔组织在该图像中所占的百分数。记胞腔组织比为Q,其计算公式为:
$ Q = \frac{A}{E}。 $ | (10) |
式中: E为扫面电镜图像样本面积。
3.5 细胞腔平均周长计算准确的细胞腔边缘检测是计算细胞腔周长的前提。通过逐点遍历细胞腔轮廓,统计计算所得轮廓长度即为细胞腔周长。记细胞腔平均周长为L,其计算公式为:
$L = \frac{P}{n};$ | (11) |
$P = \sum\limits_{i = 0}^n {{P_i}}。 $ | (12) |
式中: P为细胞腔的轮廓总长度;Pi为单个细胞腔的轮廓长度。
3.6 平均圆度计算圆度指细胞腔形状与圆的近似程度,其比值越接近1,细胞腔形状就越接近圆形。细胞腔面积Ai和细胞腔周长Pi在前面已求出,平均圆度Ca的计算公式为:
${C_{\rm{a}}} = \frac{C}{n};$ | (13) |
$C = \sum\limits_{i = 0}^n {\frac{{P_i^2}}{{4\pi {A_i}}}}。$ | (14) |
式中: C为细胞腔圆度的累加和。
3.7 平均外接矩形比计算外接矩形比是指细胞腔与其外接矩形的面积比率,其比值越接近1,细胞腔形状就越接近矩形。平均外接矩形比Ra的计算公式为:
${R_{\rm{a}}} = \frac{1}{n}\sum\limits_{i = 0}^n {\frac{{{A_i}}}{{{A_{ri}}}}} 。$ | (15) |
式中: Ari为单个细胞腔的外接矩形面积。
4 结果与分析 4.1 图像处理结果与分析如前面所述,要从SEM显微图像中提取试验需要的特征参数,需要经过图像增强、图像分割、边缘检测和数学形态学处理等操作。图 4显示了试验所需的5个树种放大50倍SEM显微图像随机样本的图像处理结果,其中鱼鳞云杉、日本榧树和金松为针叶材,异色山黄麻和日本七叶树为阔叶材(图 4中每行对应于一个树种显微图像及其图像处理结果)。通过对图 4中5个树种的显微图像及其处理结果的观察,可以发现: 3种针叶材的细胞形态具有一定规律,且其细胞大小和分布较为均匀;而2种阔叶材的细胞形态较为复杂、不规律,其细胞大小和分布也不均匀。这从微观图像上表明,与针叶树材相比,阔叶树材的微观构造较为复杂,由于其细胞形态不规律、细胞大小与分布不均匀等微观因素,在木材显微图像分类研究中,也使得本文方法对其的应用性受到较大程度的限制。
4.2 特征提取结果与分析经图像处理后,可以开始从SEM显微图像的处理结果中提取平均边界最长轴、平均边界偏心率、细胞腔平均面积、最大细胞腔面积、壁腔比率、胞腔组织比、细胞腔平均周长、平均圆度和平均外接矩形比9种木材细胞特征参数。为了对这些特征参数进行更具体的分析,本文分别对7种针叶材早、晚材以及5种阔叶材早、晚材进行特征提取和比较分析,特征提取结果如表 1~4所示。
表 1和2显示了日本云杉、金松、日本榧树、鱼鳞云杉、日本五针松、日本香柏以及日本铁杉7种针叶材早、晚材样本的特征提取结果。通过对每种针叶材的早、晚材样本的特征提取结果进行比较,可以发现:从同一种针叶材的早材样本中所提取的特征参数与其晚材样本存在明显的差异。例如,早材样本的平均边界最长轴为晚材样本的1.6~2.6倍,平均为2.1倍;晚材样本的细胞个数为早材样本的1.4~2.7倍,平均为2.1倍;早材样本的细胞腔平均面积为晚材样本的2.2~4.8倍,平均为3.4倍;早材样本的细胞腔平均周长为晚材样本的1.7 ~2.6倍,平均为2.1倍;早材样本的壁腔比率在0.604~0.951之间(小于1),而晚材样本的壁腔比率在1.133~3.399之间(大于1);早材样本的胞腔组织比在0.512~0.624之间(大于0.5),而晚材样本的胞腔组织比在0.227~0.469之间(小于0.5)。这些特征参数在同一种针叶材早、晚材间的明显差异为针叶材的早、晚材分类提供了可靠依据。
对于从不同种针叶材中所提取的各项特征,经过比较可发现,不同种针叶材的各项特征参数间也存在明显的差异,如细胞腔平均面积、壁腔比率、细胞个数、胞腔组织比和细胞腔平均周长等。同时,结合4.1节内容进行分析可知,在SEM显微图像处理结果中,同一种针叶材的细胞形态、大小和分布均具有一定的规律,而基于本文方法,具有形态、大小和排列相似的细胞所形成的特征在进一步的木材显微图像分类和材种识别中会归为同一类别。由此说明,基于本文方法所提取的特征参数不仅在不同种针叶材间具有明显的差异性,在同一种针叶材中也具有较大的相似性。从而证明,基于SEM显微图像和GraphCuts算法所提取的木材显微构造特征参数可以为针叶材的显微图像分类及材种识别提供重要的新依据。
表 3和4显示了异色山黄麻、红淡比、日本七叶树、水曲柳和黄檗5种阔叶材早、晚材样本的特征提取结果。分别对每种阔叶材早、晚材样本的特征提取结果进行比较,可以发现:与针叶材样本相比,同一种阔叶材早、晚材样本的特征参数差异相对不够明显。例如,早材样本的平均边界最长轴为晚材样本的0.9~1.6倍,平均为1.2倍;晚材样本的细胞个数为早材样本的0.9~2.5倍,平均为1.6倍;早材样本的细胞腔平均面积为晚材样本的1.2~4.0倍,平均为2.3倍;早材样本的细胞腔平均周长为晚材样本的0.9~1.5倍,平均为1.2倍。并且,从同一种阔叶材早、晚材样本中提取的壁腔比率和胞腔组织比等特征参数,也不存在如所取针叶材的早、晚材样本那样较为明显的分界值(例如1和0.5这样的分界值)。因此,本文所提取的特征参数虽也可为阔叶材的早、晚材分类提供可靠的依据,但与针叶材相比,作用效果会略差一些。
值得注意的是,与针叶材一样,从不同种阔叶材中所提取的各项特征参数间依然存在较为明显的差异,如平均圆度、细胞腔平均面积、细胞个数、壁腔比率和细胞腔平均周长等,由此进一步证明了本文方法的可行性和有效性。然而,结合4.1节中内容进行更深入的分析可知,即使是同一种阔叶材,在SEM显微图像处理结果中,其细胞形态、大小和分布也存在着较大的差异,而基于本文方法,通过形态、大小和排列差异性较大的细胞所形成的特征在进一步的木材显微图像分类和材种识别中不易被归为同一类别。由此说明,虽然基于SEM显微图像和Graph Cuts算法所提取的木材显微构造特征参数在不同种阔叶材间具有明显的差异,可以为进一步研究阔叶材的显微图像分类和材种识别提供一定的新依据,但由于这些特征参数在同一种阔叶材中的相似性较差,从而使得本文方法对阔叶材的应用性与针叶材相比受到了较大的限制。
5 结论与讨论本文提出了一种基于SEM显微图像和GraphCuts算法的木材显微构造特征提取方法,论述了计算平均边界最长轴、平均边界偏心率、细胞腔平均面积、最大细胞腔面积、壁腔比率、胞腔组织比、细胞腔平均周长、平均圆度和平均外接矩形比9种木材细胞特征参数的方法,同时提出了运用早材、晚材和随机3种分割方式截取SEM显微图像。在对图像样本进行图像增强、图像分割、木材组织轮廓提取以及对象轮廓平滑等图像处理后,对上述9种木材细胞特征参数进行了一些试验,得到如下结论:
1)扫描电镜图像样本制备过程简单,避免了烦琐的木材切片制作工序,且SEM显微图像具有景深大、分辨率高、放大范围广等优点,有效地提高了试验数据的准备效率和精度,对于木材学的研究必将产生深远的影响,而应用SEM显微图像作为木材显微图像分类和材种识别的辅助手段将是一个重要的补充。
2)利用Graph Cuts算法对木材SEM显微图像进行分割,可以获得满意的木材细胞组织效果,且该算法具有计算速度快、精确、节省存储空间等优点。通过对分割后的图像进行观察可发现:各针叶树材的细胞形态具有一定规律,且其细胞大小和分布较为均匀;而各阔叶树材的微观构造较针叶树材更为复杂,其细胞形态不规律,细胞分布和大小也不均匀。
3)本文提出的9个特征对于木材SEM显微图像具有较好的区分能力。在给定的树种中,同一种针叶材的早、晚材以及不同种针叶材的特征参数间均存在明显的差异;而与针叶材相比,各项特征参数在同一种阔叶材的早、晚材间的差异相对不够明显,且部分特征参数间很难找到较为明显的分界值,但不同种阔叶材的各项特征参数间依然存在明显的差异。
综上所述,基于SEM显微图像和Graph Cuts算法所提取的木材显微构造特征参数可以为针叶材的显微图像分类及材种识别研究提供重要的新依据,也可为阔叶材的相关研究提供一定的新参考;但与针叶材相比,本文方法对阔叶材的应用性受到较大的限制。
对于木材微观图像的特征提取,目前相关的研究主要集中在统计构造、纹理、几何以及分形等特征的提取上,如何能够从众多的特征中选取对木材显微图像分类和木材材种识别最具有实际价值的特征?或者如何对已获取的特征参数进行更有效的数据降维,以提高数据分析效率?这些都需要通过进一步的研究去寻找答案。
[1] | 黄慧. 2006. 基于木材组织构造的数字图像处理系统研究. 南京: 南京林业大学硕士学位论文.(1) |
[2] | 刘镇波. 2004. 木材显微图像特征参数提取与树种判别方法研究. 哈尔滨: 东北林业大学硕士学位论文.(2) |
[3] | 马岩. 2002. 木材横断面细胞结构的数学模拟理论研究. 生物数学学报, 17(1): 64-68.(1) |
[4] | 任洪娥, 徐海涛. 2007. 细胞特征参数计算机的提取理论. 林业科学, 43(9): 68-73.(2) |
[5] | 汪杭军, 张广群, 祁亨年, 等. 2009. 木材识别方法研究综述. 浙江林学院学报, 26(6): 896-902.(1) |
[6] | 于海鹏, 刘一星, 张斌, 等. 2004. 应用空间灰度共生矩阵定量分析木材表面纹理特征. 林业科学, 40(6): 121-129.(1) |
[7] | 于海鹏, 刘一星, 孙建平. 2005. 基于小波的木材纹理分频信息提取与分析. 林业科学, 41(2): 100-105.(1) |
[8] | Boykov Y, Jolly M P. 2001a. Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images//Proceedings of the 8th International Conference on Computer Vision. Vancouver, Canada: IEEE Press, 1: 105-112.(1) |
[9] | Boykov Y, Kolmogorov V. 2004. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision. IEEE Transactions on Pattern Analysis and Machine Intelligence, 26(9): 1124-1137.(1) |
[10] | Boykov Y, Veksler O, Zabih R. 2001b. Fast approximate energy minimization via graph cuts. IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(11): 1222-1239.(1) |
[11] | Ford L, Fulkerson D. 1962. Flow s in networks. New Jersey: Princeton University Press.(1) |
[12] | Huang T S, Yang G J, Tang G Y. 1979. A fast two-dimensional median filtering algorithm. IEEE Trans on Acoustics, Speech and Signal Process, 27(1): 13-18.(1) |
[13] | Kino M, Ishida Y J, Doi M, et al. 2004. Experimental conditions for quantitative image analysis of wood cell structure, 3: Precise measurements of wall thickness. Journal of the Japan Research Society, 50(1): 1-9.(1) |
[14] | Pan S, Kudo M. 2010. Segmentation of pores in wood microscopic images based on mathematical morphology with a variable structuring element. Computer and Electronic in Agriculture, 75(2): 250-260.(1) |
[15] | Tou J Y, Tay Y H, Lau P Y. 2009. Rotational invariant wood species recognition through wood species verification//Nguyen N T, Nguyen H P, Grzech A. Proceedings of the 2009 First Asian Conference on Intelligent Information and Database Systems(ACⅡDS), The Institute of Electrical and Electronics Engineers, Inc, Dong Hoi, 115-120.(1) |
[16] | Tukey J W. 1971. Exploratory data analysis. Addison-Wesley, Reading, MA. |
[17] | Wang H, Qi H, Li W, et al.2009. A GA-based automatic pore segmentation algorithm//Proceedings of the First ACM/SIGEVO Summit on Genetic and Evolutionary Computation(Shanghai, China, June 12-14, 2009). GEC' 09, ACM, NY, 985-988.(1) |
[18] | Xu F. 2008. Anatomical Figures for Wood Identification. Beijing: Chemical Industry Press.(1) |