广东工业大学学报  2014, Vol. 31Issue (1): 74-78.  DOI: 10.3969/j.issn.1007-7162.2014.01.015.
0

引用本文 

杨建华, 杨雪荣, 成思源, 雷志盛, 骆少明, 张湘伟. 线结构光三维视觉测量中光条纹中心提取综述[J]. 广东工业大学学报, 2014, 31(1): 74-78. DOI: 10.3969/j.issn.1007-7162.2014.01.015.
Yang Jian-hua, Yang Xue-rong, Cheng Si-yuan, Lei Zhi-sheng, Luo Shao-ming, Zhang Xiang-wei. Review of Extracting the Centers of Linear Structured Light Stripes for 3D Visual Measurements[J]. Journal of Guangdong University of Technology, 2014, 31(1): 74-78. DOI: 10.3969/j.issn.1007-7162.2014.01.015.

基金项目:

国家自然科学基金资助项目(51105078);广东省教育部产学研结合项目(2012B091100190);东莞市高等院校科研机构科技计划项目(201010810205);广州市科技计划项目(2013J4300019)

作者简介:

杨建华(1985-),男,硕士研究生,主要研究方向为逆向设计与工程应用、机器视觉与三维测量。

文章历史

收稿日期:2013-03-01
线结构光三维视觉测量中光条纹中心提取综述
杨建华, 杨雪荣, 成思源, 雷志盛, 骆少明, 张湘伟     
广东工业大学 机电工程学院,广东 广州 510006
摘要: 光条纹中心提取是线结构光三维视觉测量中的关键技术.把影响光条纹中心提取精度的主要因素归纳为工作环境、激光平面、被测物体和图像采集系统,并对其进行了对比分析.根据提取算法的理论基础、对图像信息的利用及计算思路特点的差异,将其分为几何中心方法和能量中心方法两大类.针对每类方法的计算思路、优缺点、改进方法、适用工况等在细分类方法中进行了对比分析和归纳总结.最后结合两大类方法的发展特点,提出了光条纹中心提取方法的进一步发展方向.
关键词: 三维视觉测量    线结构光    光条纹    中心提取    
Review of Extracting the Centers of Linear Structured Light Stripes for 3D Visual Measurements
Yang Jian-hua, Yang Xue-rong, Cheng Si-yuan, Lei Zhi-sheng, Luo Shao-ming, Zhang Xiang-wei     
School of Electromechanical Engineering, Guangdong University of Technology, Guangzhou 510006, China
Abstract: Extracting the center of a light stripe is one of the key techniques of the linear structured light for three-dimensional (3D) visual measurement. According to the influence of the accuracy in extracting the light stripe centers, the four key factors, which are the work environment, laser planes, measured objects and image acquisition systems, are summed up and analyzed. On the basis of the differences between the use of the image information and the characteristics of the calculated algorithms in the extraction methods, a new idea is proposed that they are classified into two different methods, which are the geometrical center method and the energy center method. Based on the differences between the two methods in algorithm thoughts, merits and demerits, ways of improvement, applicable conditions, they are subclassified, compared, analyzed and summarized. At last, with the developing features of the two methods combined, it proposes the development trend of the light stripe extraction method.
Key words: 3D visual measurement    linear structured light    light stripe    extracting the center    

线结构光三维视觉测量是基于光学三角法测量原理的一种非接触式测量,具有测量速度快、精度高,结构简单、经济且易于实现等优点,在工业测量和检测、医学、工程设计、逆向工程等领域得到了越来越广泛的应用[1].其测量原理是首先将激光器发出的激光光束通过柱面镜展成为一个连续的激光平面,用它来照射被测物体,与被测物体表面相交形成一条变形结构光条纹;然后利用CCD摄像机拍摄到的变形结构光条纹的图像几何信息,结合测量时系统运动参数来提取被测物体表面的三维形貌几何信息.其中,对变形结构光条纹图像的处理和计算,是三维测量的关键环节之一.

由于变形结构光条纹一般具有3~12个像素宽度,而光条纹中心线上点的位置坐标才是测量所需的最准确的信息,所以必须对变形结构光条纹进行光条纹中心提取,因此,光条纹中心提取的精度直接决定了测量结果的精度.

1 光条纹中心提取精度的影响因素

国内外很多学者紧紧地围绕如何提高光条纹中心的提取精度和算法速度进行了大量的实验研究和工程实践,通过及应用不同的算法研究并取得了相应的成果,在指导实际工程应用方面发挥了不同的作用,其依据的结构光视觉的基本测量原理如图 1所示,实验中拍摄的实物模型的变形结构光条纹如图 2所示.

图 1 线结构光测量原理 Figure 1 Principle of linear structured light measurement
图 2 实物模型的变形结构光条纹 Figure 2 Structured light stripes of object model

噪声对光条纹提取的精度有较大影响,在对光条纹图像进行处理时首先要进行去噪处理,所以对影响光条纹中心提取精度的主要因素进行了总结分析和对比研究.结合杨雪荣等[2]和解则晓等[3]对光条纹中心提取影响因素的分析,可将其总结并概括为表 1.

表 1 主要影响提取精度的因素 Table 1 Main influence factors of the extraction

表 1中根据测量时的系统组成和测量原理将影响提取精度的因素分成4大类,针对每类的噪声来源、噪声类别及其是否可消除、避免噪声方法及措施进行了对比分析.针对这些噪声影响因素的研究以及结合数字图像处理和计算机视觉领域的新发展,很多学者提出了独特的光条纹中心提取算法.从实现方法上分析,可将现有的光条纹提取技术归结为两大类:以几何中心作为光条纹中心的提取方法和以能量中心作为光条纹中心的提取方法.

2 光条纹中心的几何中心提取法

此类方法又简称为几何中心方法.它是从数字图像处理的图像分割理论发展而来,其基本思路是首先对光条纹进行边缘检测,然后利用提取的光条纹两条边缘线的几何关系或阈值信息来求取光条纹的几何中心线,作为光条纹的中心线.从计算依据的信息和算法不同,几何中心法可分成以下3类.

2.1 利用边缘信息的提取方法

此方法主要利用特征检测分割出的两条光条纹区域边缘线,从计算几何角度提取光条纹中心线.这类方法是最早用来实现结构光条纹中心线提取的主要方法,最先实现的传统边缘法(又称轮廓法)只是简单地将两条边缘线中的某一条替代作为光条纹中心线,后来进行改进发展的中线法(又称中心法)是提取两条边缘线的中线作为光条纹中心线[4].表 2列出了两种方法的特点.

表 2 边缘法与中线法的特点 Table 2 Characteristics of edge-method and centerline-method

在运用两种方法的过程中,物体模型表面复杂并带有细微特征以及光条纹不规范,常常使提取的中线出现“分枝”;由于遮挡等原因造成光条纹出现缺失或断线,这些都会产生测量误差.据此,黎明等[5]提出一种利用光强信息进行修正的中线法,利用表面光强分布信息与表面法线方向关系采用逐次逼近的计算方法修正带有误差的中线轮廓,使得算法精度得到进一步提高.

2.2 利用阈值信息的提取方法

此方法假设在理想的结构光条纹特性和被测物体表面质量相同的条件下,提取阈值分割后光条纹横截面中一对阈值分割点的中点位置作为光条纹中心点.该方法称为灰度阈值法(又称门限阈值法),具有计算速度快,简单等特点.

由于受阈值分割和噪声影响大而使得提取精度差,它只适用于对光条纹中心位置的粗略估计.针对激光散斑效应噪声影响较为严重的问题,贾波等[6]采用了图像多帧平均法,虽然有效地去除了噪声,但是由于它将同时处理到几帧图像,造成计算数据量较大,处理速度缓慢,不适合也不利于工程应用.

2.3 利用细化技术的提取方法

此方法利用细化技术得到光条纹区域的细化曲线来替代光条纹中心线,称为形态学骨架法(又称骨架细化法).骨架是图像几何形态的重要拓扑结构描述,保持了原目标的拓扑性质,具有原目标相同的特征,可用来表征一个光条纹的中心线特征.细化过程就是重复地剥掉二值图像的边界像素,直到获得一条单像素宽的光条纹连通线(称为骨架)的过程.

将形态学处理引入光条纹中心提取是一个重要的算法推广,但是由于单纯提取的骨架没有考虑到光条纹的横截面光强特性,使得提取的光条纹中心线精度不高.同时在迭代腐蚀边界像素时必须保持目标的连通性而不能改变图像的拓扑性质,而需要进行多次细化操作,使得提取算法的运算速度降低.

3 光条纹中心的能量中心提取法

此类方法又简称为能量中心方法,它是在对激光光束的光学分析、结构光光条纹的形成原理和灰度特性分析的基础上发展形成的.其基本计算思路是求取光条纹横截面上理想的光强高斯分布曲线的灰度重心点或灰度极大值点作为光条纹的中心点,然后连接点集或拟合成高次曲线得到光条纹的能量中心线,作为光条纹的中心线.目前,对提取光条纹能量中心的方法研究一直是热门话题,现有方法可综合分成以下3类.

3.1 利用灰度重心的提取方法

此方法是直接依据光条纹在每一行横截面区间内灰度值的排列,沿行坐标方向求取光条纹区域的灰度重心点来代表该截面的光条纹中心点位置.该方法减小了由于光条纹灰度分布的不均匀性而引起的误差,提高了提取精度.但由于在光条纹截面中参与计算的像素点数不同及噪声干扰影响,导致了中心点位置计算结果出现沿行坐标方向的偏移误差.针对在处理得到灰度重心点之前的噪声干扰、图像预处理方法等方面,以及如何得到更加逼近实际的灰度重心点等方面,很多学者进行了有针对性的分析和研究,表 3列出了与此相关的改进方法[2, 7-10].在表中针对改进因素的不同方式或途径进行分别对比,从采用的理论基础和算法特点两个方面进行了分析.

表 3 灰度重心法的改进方法 Table 3 Improvement of the barycenter method
3.2 利用方向模板技术的提取方法

此方法又称为可变方向模板法(简称方向模板法),主要针对光条纹图像进行低通滤波除噪和平滑处理后而引起损失物体表面几何细节信息的缺点,提出采用“有效尺寸”为5×3的4种不同方向模板与光条纹图像进行卷积运算,直接提取光条纹中心.最初由胡斌等[11]提出,它是从利用灰度重心提取方法的思想发展而来的.

该方法具有与采用固定模板卷积一样的抗白噪声和一定断线修补能力,较好地保留了光条纹的细节信息;但是在更高精度的要求下仅仅选取4个方向的模板不再能够满足要求,但如果增加其他不同方向模板又会增加计算量和运算时间,影响处理效率.据此,雷海军等[12]在运用可变方向模板法之前结合光条纹像素的灰度邻域属性利用灰度阈值分割出光条纹,如此可快速检测和精确定位光条纹中心,同时数据存储量小有利于硬件并行实现.此外,吴庆阳等[13]将可变方向模板技术和细化技术相结合,在细化的骨架上利用可变方向模板判断光条纹的法线方向,再利用灰度重心方法可提取光条纹中心,这样充分地发挥了两种方法的优点.

3.3 利用极大值点的提取方法

此方法主要将光条纹中横截面光强极大值点作为光条纹中心点.该方法在光条纹横截面的灰度布成理想高斯分布的情况下具有很好的提取效果,而且提取速度极快.但由于受到噪声干扰,光条纹横截面的灰度分布曲线不能完全构成理想高斯曲线,因此该方法不适用于信噪比较小的图像.近年来以该方法为基础,许多研究者又提出了改进方法[14-15],如表 4所示.表中将改进方法分成对噪声影响和极值点寻找两个大方向,对改进方法的核心思想及特点进行了对比分析.

表 4 极大值点法的改进 Table 4 Improvement of the maximum point-value method
4 总结

如前所述,直接地利用光条纹区域的几何关系与阈值信息求取光条纹的几何中心线,就是以几何中心作为光条纹中心的提取方法.实现该类方法的关键点是在于如何得到更加合理的每个光条纹横截面的几何中心位置对应点.针对当前的工程应用领域来说,这种典型方法已经逐渐发展成熟并得到广泛的应用.在受工况环境和噪声影响少、结构光性能好、物体特征或曲面相对简单以及对测量结果精度要求不高的情况下均能满足;在工况环境恶劣并伴有多种噪声、结构光性能不很稳定、物体特征复杂以及对测量结果精度要求较高的情况下一般不能满足而均采用能量中心方法进行光条纹中心提取.

充分地利用光条纹区域的灰度信息特性并结合高斯分布原理求取光条纹的能量中心线,就是以能量中心作为光条纹中心的提取方法.从求取几何中心到求取能量中心的发展是从仅仅考虑光条纹的几何形态特性到综合分析光条纹自身灰度特性的发展,是从表象到本质的发展.因此,能量中心提取方一直是当前研究热点,很多学者结合数字图像处理和计算机视觉领域发展的新理论新算法以及一些先进的优化方法,来尝试应用于光条纹中心的提取.

由于在进行光条纹中心提取的过程中,对整幅光条纹图像的每一步处理操作都密切关系到光条纹中心的提取精度和运算速度,因此更加合理的图像去噪预处理、更加精确的光条纹分割方法、更贴合光条纹横截面光强实际分布特性的灰度信息处理等都是对提取算法发展的重要方向.

参考文献
[1]
Chang D Y, Chang Y M. A freeform surface modeling system based on laser scan data for reverse engineering[J]. The International Journal of Advanced Manufacturing Technology, 2002, 20(1): 9-19. DOI: 10.1007/s001700200118.
[2]
杨雪荣, 张湘伟, 成思源, 等. 基于可变形模型的光条纹中心提取方法研究[J]. 中国机械工程, 2009, 20(03): 334-337.
Yang X R, Zhang X W, Cheng S Y, et al. Research on the method for extracting the centre of light stripe based on deformable model[J]. CMES, 2009, 20(03): 334-337. DOI: 10.3321/j.issn:1004-132X.2009.03.019.
[3]
解则晓, 张成国, 张国雄. 基于B样条迭代法的激光光条噪声去除技术研究[J]. 光学技术, 2005, 31(3): 430-433.
Xie Z X, Zhang C G, Zhang G X. Research on removing the noise on the laser stripe based on the iterative fitting of B-spline[J]. Optical Technique, 2005, 31(3): 430-433.
[4]
Lyvers E P, Mitchell O R. Sub-pixel measurements using a moment based edge operator[J]. IEEE Trans on PAMI, 1989, 11(12): 1293-1309. DOI: 10.1109/34.41367.
[5]
黎明, 冯华君, 徐之海, 等. 利用光强信息的结构光图像轮廓提取修正方法[J]. 光电工程, 2005, 32(2): 30-32.
LI M, Feng H J, Xu Z H, et al. Profile extraction of structural light image and its correction based on light intensity[J]. Opto-Electronic Engineering, 2005, 32(2): 30-32.
[6]
贾波, 苏显渝, 郭履容. 采用激光光刀的叶片三维面形测量方法[J]. 中国激光, 1992, 19(4): 271-275.
Jia B, Su X Y, Guo L R. 3-D measurement of turbine blade profile by light knife[J]. Chinese Journal of lasers, 1992, 19(4): 271-275.
[7]
Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Trans Systems, Man and Cybemetics, 1979, 9(1): 62-66. DOI: 10.1109/TSMC.1979.4310076.
[8]
Seokbae Son, Hyunpung Park, Lee Kwan H. Automated laser scanning system for reverse engineering and inspection[J]. International Journal of Machine Tools and Manufacture, 2002, 42(8): 889-897. DOI: 10.1016/S0890-6955(02)00030-5.
[9]
Bazen A M, Gerez S H. Systematic methods for the computation of the directional fields and singular points of fingerprints[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 905-919. DOI: 10.1109/TPAMI.2002.1017618.
[10]
张万江, 许敏. 基于结构光视觉的激光拼焊焊缝质量检测方法研究[J]. 仪表技术与传感器, 2012(7): 156-158.
Zhang W J, Xu M. Seam quality inspection of laser welding based on structured light vision[J]. Instrument Technique and Sensor, 2012(7): 156-158.
[11]
胡斌, 李德华, 金刚, 等. 基于方向模板的结构光条纹中心检测方法[J]. 计算机工程与应用, 2002, 38(11): 59-60, 109.
Hu B, Li D H, Jin G. New method for obtaining the center of structured light stripe by direction template[J]. Computer Engineering and Applications, 2002, 38(11): 59-60, 109. DOI: 10.3321/j.issn:1002-8331.2002.11.021.
[12]
雷海军, 李德华, 王建永, 等. 一种结构光条纹中心快速检测方法[J]. 华中科技大学学报:自然科学版, 2003, 31(1): 74-76.
Lei H J, Li D H, Wang J Y. A method for detecting the center of structured light stripe[J]. J Huazhong Univ of Sci & Tech:Nature Science Edition, 2003, 31(1): 74-76.
[13]
吴庆阳, 苏显渝, 李景镇, 等. 一种新的线结构光光带中心提取算法[J]. 四川大学学报:工程科学版, 2007, 39(4): 151-155.
Wu Q Y, Su X Y, Li J Z, et al. A new method for extracting the centre-line of line structure light-stripe[J]. Journal of Sichuan University:Engineering Science Edition, 2007, 39(4): 151-155.
[14]
Steger C. An unbiased detector of curvilinear structures[J]. IEEE Transactions on PAMI, 1998, 20(2): 113-125. DOI: 10.1109/34.659930.
[15]
Izquierdo M A G, Sanchez M T. Sub-pixel measurement of 3D surfaces by laser scanning[J]. Sensors and Actuators A:Physical, 1999, 76(1-3): 1-8. DOI: 10.1016/S0924-4247(98)00283-0.