2. 西华大学制造与自动化省高校重点实验室, 成都 610039 ;
3. 深圳大学 深圳市城市轨道交通重点实验室, 广东 深圳 518060 ;
4. 南京财经大学江苏省粮油品质控制及深加工技术重点实验室, 南京 210046
2. Provincial Key Laboratory of Manufacturing and Automation, Chengdu 610039, China ;
3. Shenzhen Key Laboratory of Urban Rail Traffic, Shenzhen 518060, Guangdong, China ;
4. Jiangsu Key Laboratory of Quality Control and Further Processing of Cereals and Oils, Nanjing University of Finance Economics, Nanjing 210046, China
边缘是图像的重要特征之一,对目标进行边缘检测是准确地进行特征提取和识别等后续处理的前提.在轮对踏面缺陷、储粮害虫和刀具磨损等自动检测中,目标边缘提取的结果将直接影响着检测的精度.因此,目标边缘检测方法的研究具有重要的意义.
目前常用的图像边缘检测方法主要是对整幅图像的所有边缘进行检测,包括:Prewitt算子、Log算子、Canny算子[1]等微分算子方法;基于小波变换[2-3]、基于Contourlet变换[4-5]和基于非下采样Contourlet变换(nonsubsampled contourlet transform,NSCT)[6-7]等多尺度几何分析方法;基于蚁群、蜂群[8]等群智能优化方法.微分算子方法用微分检测图像边缘点灰度的变化.不同的算子对同一方向上灰度变化的敏感性有差异;同样的算子选取不同的阈值,其边缘检测的效果也可能有很大变化.相比其他的边缘检测算子,Canny算子检测的边缘较细、定位较准确,但是存在不能有效保留边缘细节的缺点.多尺度几何分析方法具有多尺度、多方向性的特性,能够检测到Canny算子等微分算子方法在空域中难以检测的细节信息.小波变换有较强的奇异点检测能力,能够检测细节信息.文献[9]提出用小波模极大值法检测图像高频分量的边缘,用数学形态学方法检测图像低频分量的边缘,通过高低频边缘子图像融合得到原始图像的边缘.小波变换各向同性、方向性非常有限的缺点,限制了其提取边缘细节的能力.Contourlet变换具有各向异性,但其存在频谱混叠现象[10].NSCT拓展了Contourlet变换,具有平移不变性,但边缘细节信息的提取能力和轮廓连续性依然会受限于分解尺度.近年来,群智能优化方法成为图像边缘检测的研究热点之一.文献[8]首先将与边缘点信息强相关的效益度函数作为目标函数,用蜂群优化算法随机搜寻目标函数的局部最优解,即图像边缘点;然后以局部最优点为准,依据效益度相似标准搜寻其他边缘点.该方法对整幅图像边缘有良好的提取能力,相较Canny算子等基于空域的边缘检测方法,保留细节的水平较高.其存在的问题是局部最优解的随机性导致蜂群规模、效益度门限等参数难以确定,自适应能力不强.
上述提到的检测方法在搜索图像的边缘时,都有其局限性.通过参数的调整,将这些方法应用到图像目标边缘的检测时,其局限性依然存在,在消除背景的同时难以完整地检测出目标的边缘.如何在复杂的背景中,对目标边缘进行精确定位和提取,抑制噪声的干扰,是需要解决的关键问题.角点是两条或多条边缘的交点,是边缘上有别于噪声点的重要特征,提取角点是对目标边缘进行精确定位和提取的一条有效途径[11].分析轮对踏面缺陷、储粮害虫和刀具磨损这一类图像中点的结构特征发现:位于背景区域的角点稀疏,目标区域的角点分布较密集.如果滤除背景角点,只保留目标角点,再依据目标角点搜寻目标边缘点,可望在消除背景的同时,准确地检测出目标边缘.角点检测算法最典型的有Harris算子[12]和SUSAN算子[13-14]等.Harris算子需要进行微分运算和高斯滤波,计算复杂性高.SUSAN算子直接通过对比图像的灰度值检测角点,无需微分运算,算法简单,角点定位准确,并且具有较强的抗噪性[15].因此,针对目标区域角点分布密集、背景区域角点相对稀疏这一类图像,本文提出了一种基于SUSAN算子和角点判别因子的目标边缘检测方法.该方法首先利用SUSAN算子提取出图像角点;然后定义一种目标角点判别因子,计算角点邻域块内的角点个数,大于该判别因子的角点视为目标区域的角点(简称目标角点),将其保留,否则判别为背景区域的角点(简称背景角点),将其滤除;接着依据效益度相近标准,以目标角点为基准检测其他边缘点,得到目标的边缘;最后将所提出方法的实验结果与Canny方法、改进的NSCT模极大值方法、改进的蜂群方法等其他边缘检测方法进行比较.
1 目标边缘检测 1.1 基于SUSAN算子的角点检测设大小为M×N的图像I中像素点(m,n)的灰度级为I(m,n),m=0,1,2,…,M-1,n=0,1,2,…,N-1,SUSAN算子采用近似圆形模板在图像I上移动,计算模板内的像素灰度与模板中心像素灰度差值,如果差值在给定的门限范围内,则认为该像素灰度与中心像素灰度同值.同值像素组成的区域叫做吸收核同值区(univalue segment assimilating nucleus,USAN),判断模板内像素是否属于USAN区域的准则如式(1)所示.
$c(r,{{r}_{0}})=\left\{ \begin{align} & 1,|I\left( r \right)-I({{r}_{0}})|\le t; \\ & 0,|I\left( r \right)-I({{r}_{0}})|>t, \\ \end{align} \right.$ | (1) |
式中,r0表示模板中心像素点,r表示模板内非中心像素点;I(r)、I(r0)分别为r、r0的灰度值;c(r,r0)为r是否属于USAN的判别函数,若c(r,r0)=1,则r属于USAN,否则不属于;t为灰度差门限值.
USAN的大小n(r0)可用模板内c(r,r0)的累加值衡量,即
$n({{r}_{0}})=\sum\limits_{r}{c(r,{{r}_{0}})}$ | (2) |
n(r0)反映图像中模板中心像素点r0的特征.当r0在图像平坦区域时,n(r0)最大;r0为边缘点时,n(r0)较小,其中r0为角点时,n(r0)更小,且角点越尖锐,n(r0)越小;r0为孤立噪声点时,n(r0)最小.图 1分别给出了r0为角点和孤立噪声点时,USAN的2种典型形状特征.
Download:
|
|
图 1 USAN的2种典型形状特征 Fig. 1 Two typical shape characteristics of USAN |
依据式(3)可直接度量r0的特征显著性:
$R({{r}_{0}})=\left\{ \begin{align} & g-n({{r}_{0}}),n({{r}_{0}})<g \\ & 0,otherwise, \\ \end{align} \right.$ | (3) |
式中,g为几何阈值,提取图像初始边缘点时,g设置为3nmax/4,nmax为n(r0)的最大值.如果提取的边缘点是角点,那么R(r0)较大,并且R(r0)越大,表明角点尖锐程度越显著.因此,满足式(4)要求的点r0即是图像的角点.
${{g}_{1}}<R\left( {{r}_{0}} \right)<{{g}_{2}},$ | (4) |
式中,g1、g2分别为R(r0)的下限和上限.R(r0)大于g1的点r0可能是角点,也可能是孤立噪声点.一般情况下孤立噪声点的R(r0)高于角点,所以上限g2能够过滤孤立噪声点,避免了其对角点检测的干扰.
利用式(3)和式(4)从原始图像I中提取出角点,将角点的灰度值置为255,其他点置为0,构成的图像称为角点图像S,如式(5)所示.
$S\left( m,n \right)=\left\{ \begin{align} & 255,I\left( m,n \right)为角点; \\ & 0,I\left( m,n \right)为非角点 \\ \end{align} \right.$ | (5) |
根据背景角点与目标角点密度悬殊的特点,考虑引入目标角点判别因子d用以区分目标角点和背景角点,其目的是消除全部背景角点,保留目标角点.现选取L×L正方形模板(L为奇数),设模板中心点r0为点(k,l).将该模板在角点图像中移动,若r0是角点,即S(k,l)=255,则按式(6)计算正方形模板中心邻域内的角点个数ηc,ηc的大小表征了L×L图像块内的角点密度.
${{\eta }_{c}}=\sum\limits_{p=k-\frac{L-1}{2},p\ne k}^{k+\frac{L-1}{2}}{\sum\limits_{q=t-\frac{L-1}{2},q\ne 1}^{l+\frac{L-1}{2}}{S\left( p,q \right)}}$ | (6) |
假设D表示大小为M×N的零矩阵图像,如果ηc大于目标角点判别因子d,那么模板中心点r0视为目标角点,将D(r0)的灰度值置为255,否则不变,即
$D\left( k,l \right)=\left\{ \begin{align} & 255,{{\eta }_{c}}>d; \\ & 0,{{\eta }_{c}}\le d, \\ \end{align} \right.$ | (7) |
式中,目标角点判别因子d表示图像中目标和背景角点的判别界限,d∈Z+.可见,D(k,l)反映了角点图像中(k,l)处的角点是位于目标区域还是背景区域.正方形模板遍历整幅角点图像后,图像D中灰度值为255的点是否完全来自目标区域,取决于L和d的选取是否合理.现针对如图 2(a)所示的几何图形图像,说明L和d取不同值时角点的滤除效果.图 2(b)表示几何图形图像的角点图像.图 2(c)—图 2(f)分别表示4组取值(L=47,d=2;L=47,d=5;L=27,d=2;L=27,d=5)下图像D的角点分布情况.从图 2中可以看出,L=47,d=5时,图像D中的背景角点完全被滤除,目标角点被很好地保留,如图 2(d)所示.保持L=47不变,将d=5缩小至d=2时,只滤除了少量背景角点,如图 2(c)所示.从图 2(e)和图 2(f)中可以看出,将L=47缩小至L=27时,部分目标角点会被滤除,调节d的大小能够完全滤除背景角点.需要注意的是,只要遗留下的角点数量足够,并且全部来自目标区域,即使少量的目标角点被滤除,也不会影响下一步基于效益度相近标准的目标边缘搜索.因此,L的取值更加宽泛,本文选取L=47,根据不同类型的图像,确定目标角点判别因子d的大小.
Download:
|
|
图 2 L和d取不同值时,图像D的角点分布 Fig. 2 Corner distributions of image D at different L and d values |
上述检测出的目标区域角点散布在边缘上,因此以目标区域角点为参考起点,可在其S×S窗口邻域内搜索目标区域效益度相近的点,即为边缘点.然后以新的边缘点为参考点,循环搜索,直至达到结束条件.标志出所有搜索到的边缘点,即构成了图像中目标区域的边缘.
设检测图像为I,Ii,j为点(i,j)的灰度值,则点(i,j)的效益度fi,j为
$\begin{array}{*{35}{l}} {{f}_{ij}}=\left| {{I}_{i-1,j-2}}-{{I}_{i+1,j+2}} \right|+\left| {{I}_{i-1,j-1}}-{{I}_{i+1,j+1}} \right|+ \\ \left| {{I}_{i-1,j}}-{{I}_{i+1,j}} \right|+\left| {{I}_{i-1,j+1}}-{{I}_{i+1,j-1}} \right|+ \\ \left| {{I}_{i-1,j+2}}-{{I}_{i+1,j-2}} \right|+\left| {{I}_{i,j-1}}-{{I}_{i,j+1}} \right| \\ \end{array}$ | (8) |
邻域点与参考点效益度相近,标准如式(9)所示.
$|f-{{f}_{r}}|\le {{T}_{1}}\And \left| f \right|\ge {{T}_{0}}$ | (9) |
式(9)中,f和fr分别为邻域点和参考点的效益度值,T0和T1为2个设定阈值,分别表示邻域点效益度门限及效益度差距门限.
基于效益度相近标准的目标边缘搜索算法的具体步骤如下.
Step 1: 将目标区域的角点作为初始参考点,标志初始参考点;
Step 2: 以初始参考点为起点,在原图像的S×S窗口邻域内搜索与其效益度相近的点,排除已标志的点;
Step 3: 标志步骤2搜索到的点,并将其作为新的参考点,在其S×S窗口邻域搜索效益度相近点,排除已标志的点;
Step 4: 重复步骤3,直至可作为参考点的个数总和为0,停止搜索.
1.4 图像目标边缘检测的具体步骤本文提出的基于SUSAN算子的图像目标边缘检测方法流程图如图 3所示,具体步骤如下.
Download:
|
|
图 3 基于SUSAN算子的图像目标 Fig. 3 Flow chart of the target edge detection method based on SUSAN operator |
Step 1: 用SUSAN算子检测图像的角点,由式(1)—式(4)得到图像的角点,同时滤除图像的噪声,将角点、非角点的灰度值分别赋为255和0,构成角点图像;
Step 2: 采用目标角点判别因子,以保留目标角点,消除背景角点,在角点图像中移动正方形模板,若正方形模板以角点为中心,并且模板中角点个数小于d,消除角点,否则保留;
Step 3: 依据效益度相近标准检测目标边缘,按照目标边缘点搜索算法的步骤,检测整幅图像的目标边缘点,用数学形态学方法细化边缘线得到目标边缘.
2 实验结果与分析利用本文提出的基于SUSAN算子的图像目标边缘检测方法,对大量不同类型、目标区域角点密集的图像进行了目标边缘检测实验.SUSAN算子的模板大小选择3×3,节约运算量,并且有益于抗噪[13].具体参数设置如下:
$d=\left\{ \begin{align} & 80,max\left( m \right)>100; \\ & \max \left( m \right)/2,\max \left( m \right)<100, \\ \end{align} \right.{{T}_{0}}=255$ |
T1=90.为了验证本文提出的目标边缘检测方法的有效性,将其与经典的Canny方法,以及近年来提出的改进的NSCT模极大值方法、改进的蜂群方法进行边缘检测性能比较.其中,Canny方法的阈值设为0.6,改进的NSCT模极大值方法中,Contourlet的变换尺度为3,采用'9-7’滤波器进行Laplacian pyramid分解,directional filter bank分解使用'pkva’滤波器,通过阈值为0.6的Canny算子检测低频分量中的边缘,用阈值为1.5的模极大值算法对高频分量进行边缘检测,高频层各尺度的方向子带个数均为8.改进的蜂群方法参数设置如下:蜂群规模为700,雇主蜂数量为350,雇佣蜂数量为280,侦察蜂规模70,邻域点效益度门限和效益度差距门限分别设定为73和250.图 4至图 6分别给出了针对轮对踏面擦伤、储粮害虫飞蛾和储粮害虫玉米象2类图像,采用上述4种方法进行目标边缘检测得到的结果.
Download:
|
|
图 4 轮对踏面擦伤原始图像及4种方法的目标边缘检测结果 Fig. 4 Wheel tread flat original image and its target edge detection results using four methods |
Download:
|
|
图 5 储粮害虫飞蛾原始图像及4种方法的目标边缘检测结果 Fig. 5 Stored-grain moth original image and its target edge detection results using four methods |
Download:
|
|
图 6 储粮害虫玉米象原始图像及4种方法的目标边缘检测结果 Fig. 6 Stored-grain corn weevil original image and its target edge detection results using four methods |
观察图 4至图 6可以看出,Canny方法检测的边缘较细,轮廓清晰,但不能保留细节信息,有些目标边缘断断续续,并且存在较多的背景边缘,如图 4(b)中轮对边缘也被检测出来,图 6(b)中检出了米粒间的阴影部分,图 5(b)中须和翅的部分边缘缺损,翅膀上斑纹等细节信息缺失.改进的NSCT模极大值方法检测出的轮廓分明,能够保留细节信息,但是尺度分解导致不必要的背景高频细节信息被保留,不能有效滤除背景边缘,目标边缘轮廓也不完整,如图 4(c)中轮对边缘是伪目标边缘,图 6(c)中夹杂米粒间的阴影点,图 5(c)中保留了部分斑纹细节,但边缘断缺.改进的蜂群方法具有较强的全局边缘提取能力,但是通过调整参数检测目标边缘的效果普遍较差,所检测的目标边缘不连通,受背景干扰较大.利用本文方法检测出的目标边缘,轮廓清晰完整,能够保留较丰富的细节,受背景区域干扰小,误检较少.如图 4(e)不仅完全滤除了背景边缘,而且轮对踏面目标擦伤边缘保留完整;图 5(e)中翅膀上的斑纹清晰,须部较完整;图 6(e)中夹杂米粒间的阴影点较少. 为了验证本文方法对噪声的抑制能力,以密度为0.02的椒盐噪声为例,将本文方法与上述3种边缘检测方法相比较,实验结果如图 7所示.
Download:
|
|
图 7 刀具磨损加噪图像及4种方法的目标边缘检测结果 Fig. 7 Tool wear image with noise and its target edge detection results using four methods |
图 7(a)为刀具磨损图像,在其中加入密度为0.02的椒盐噪声,如图 7(b)所示.Canny算子检测结果出现对噪声的过抑制现象,目标区域中部分磨损边缘也被滤除掉.改进的NSCT模极大值方法对噪声抑制的能力稍弱,磨损边缘不完整.改进的蜂群方法对噪声的抑制偏弱,磨损边缘存在间断现象,且不够清晰.本文方法能有效抵抗椒盐噪声的影响,保留了磨损区域的细节信息,边缘轮廓线较为完整,且能检测出磨损区域对比度较低的弱边缘.
考虑工程应用上实时性的要求,将各方法的运行时间列于表 1,进行比较分析.Canny方法用时最短;改进的NSCT模极大值方法耗时过长,这是由于其采用3层NSCT分解,数据量较大;改进的蜂群方法直接在空域中对原始图像进行边缘点搜索,没有在变换域进行,算法复杂性低,其运行时间与改进的NSCT模极大值方法相比大幅缩减;本文方法是在提取目标角点的基础上检测目标边缘,避免了伪目标边缘的搜寻,较大地节省了运行时间.
综合分析实验结果表明,本文方法具有更优的目标边缘检测性能和较高的运行效率,检测出的目标边缘完整清晰,细节丰富,误检点少.
3 结论本文提出一种基于SUSAN算子和角点判别因子的目标边缘检测方法,能够精确地提取出图像的目标边缘.首先利用SUSAN算子检测出图像的角点,用目标角点判别因子滤除背景区域的角点,然后在目标角点邻域搜索边缘点,标志所有的边缘点构成目标边缘.通过大量实验,与Canny方法、改进的NSCT模极大值方法、改进的蜂群方法进行比较发现:基于SUSAN算子和角点判别因子的目标边缘检测方法能有效避免背景区域的干扰,精确定位目标区域,检测出的目标轮廓连通完整、纹理细节丰富,具有较强的抗噪能力和更优的视觉效果.其所需运行时间较少,能够满足实时性的要求.对于目标区域角点密集、背景区域角点相对稀疏这一类图像,本文方法尤其适用.
[1] | Mcllhagga W. The Canny edge detector revisited[J]. International Journal of Computer Vision , 2011, 91 (3) :251–261. DOI:10.1007/s11263-010-0392-0 |
[2] | 姚宇峰, 夏开建, 钟珊, 等. 改进的形态学和小波变换边缘检测算法研究[J]. 计算机工程与应用 , 2011, 47 (21) :214–216. |
[3] | Tian X. A novel image edge detection algorithm based on prewitt operator and wavelet transform[J]. International Journal of Advancements in Computing Technology , 2012, 4 (19) :73–82. DOI:10.4156/ijact |
[4] | 张悦庭, 孟晓峰, 尹忠科, 等. 基于Contourlet模极大值的图像边缘检测[J]. 铁道学报 , 2008, 30 (5) :41–45. |
[5] | Li C, Li J, Huang M. Alumina ceramic surface defect detection: combining Canny edge detector and Contourlet transformation[J]. International Journal of Advancements in Computing Technology , 2012, 4 (5) :131–140. DOI:10.4156/ijact |
[6] | 肖易寒, 席志红, 海涛, 等. 基于非下采样Contourlet变换的图像边缘检测新方法[J]. 系统工程与电子技术 , 2011, 33 (7) :1668–1672. |
[7] | Li Q W, Huo G Y, Li H, et al. Special section on biologically-inspired radar and sonar systems-Bionic vision-based synthetic aperture radar image edge detection method in non-subsampled Contourlet transform domain[J]. IET Radar Sonar & Navigation , 2012, 6 (6) :526–535. |
[8] | 肖永豪, 余卫宇. 基于蜂群算法的图像边缘检测[J]. 计算机应用研究 , 2010, 27 (7) :2748–2750. |
[9] | 黄海龙, 王宏. 一种基于小波变换和数学形态学的边缘检测算法[J]. 东北大学学报 , 2011, 32 (9) :1315–1318. |
[10] | 刘卫, 殷明, 栾静, 等. 基于平移不变剪切波变换域图像融合算法[J]. 光子学报 , 2013, 42 (4) :496–503. |
[11] | 曹健, 高春晓, 刘琼昕, 等. 基于角点特征的目标识别方法[J]. 华中科技大学学报: 自然科学版 , 2010, 38 (6) :84–87. |
[12] | 万雪. 利用Harris算子进行广义点摄影测量特征提取及其矢量化[J]. 武汉大学学报:信息科学版 , 2012, 37 (2) :145–148. |
[13] | Ku D, Cheng J, Gao G. Translucent-static TV logo recognition by SUSAN corner extracting and matching[C]//Innovative Computing Technology (INTECH), 2013 Third International Conference on. IEEE, 2013: 44-48. |
[14] | 田伟刚, 郭雷, 李晖晖, 等. 基于区域互信息的特征级多光谱图像配准[J]. 光电子·激光 , 2008, 19 (6) :799–803. |
[15] | 杨幸芳, 黄玉美, 李艳, 等. 一种基于 USAN 的特征点检测算法[J]. 机械科学与技术 , 2011, 30 (7) :1120–1123. |