测绘地理信息   2016, Vol. 41 Issue (2): 36-39
0
一种基于黑白光栅条纹的曲面点云获取方法研究[PDF全文]
王鑫, 詹总谦, 索一凡    
武汉大学测绘学院,湖北 武汉,430079
摘要: 获取物体曲面点云信息是对物体三维信息的感知和测量的关键技术之一。改进一种基于黑白光栅条纹的立体匹配方法,设计带有特征的光栅条纹,并利用该条纹进行光栅解码得到黑白条纹的编号;计算影像所有核线与所有编码条纹的交点,得到同名立体匹配点。通过分析某曲面物体宽度量测的试验结果,所有量测结果都在误差限差之内,说明该方法具有一定的可靠性。
关键词: 点云     立体匹配     黑白光栅条纹     光栅解码     核线    
Acquiring Surface Point Cloud Based on Black and White Raster Stripe
WANG Xin, ZHAN Zongqian, SUO Yifan    
School of Geodesy and Geomatics, Wuhan University, Wuhan 430079, China
First author: WANG Xin, postgraduate, specializes in digital photogrammetry and close range photogrammetry.E-mail:543147143@qq.com
Foundation support:The National Key Technology Support Program of China (2012BAJ23B03); The National Natural Science Foundation of China (41101418, 41071292)
Abstract: Acquiring the point cloud of a surface is one of the key techniques of perceiving and measuring 3D information. In this paper, a stereo matching method based on black and white raster stripe was improved, a special raster stripe was designed, and a method of decoding raster stripe using the stripes'feature was also proposed. The corresponding points after stereo matching can be gained by intersecting all the epipolar lines and raster stripes. A curving object is used in experiments and its width is measured. The results show that this method is reliable for the error within tolerance.
Key words: point cloud     stereo matching     black and white raster stripe     raster decoding     epipolar line    

随着信息技术的发展,20世纪中期产生了数字图像,实现了以二维图像的方式感知视觉信息,对物体三维信息的感知、测量成为研究的热点,在机器视觉、文物数字化保护、逆向工程、空间遥感等领域具有重要的意义和广泛的应用前景[1]。使用非接触式三维测量技术对复杂物体进行重建时,通常会受到测量条件、物体表面纹理信息少、同名点匹配等技术的影响,使得最终生成的物体表面点云模型误差较大,效率低[2-6]

针对以上问题,本文改进一种基于黑白光栅条纹的物体曲面点云获取方法。

1 光栅条纹设计与解码 1.1 光栅条纹设计

光栅条纹图像实际就是将设计好的信号输入到光栅发生器中,光栅发射器将光栅条纹投影到被测物体上,然后相机拍摄物体的条纹图像。基于投影光栅的目标三维信息获取,难点在于光栅解码,不同类型的光栅对应不同的光栅解码方法。如彩色光栅条纹可以使用De Bruijn序列进行光栅条纹的位置确定;灰度成余弦变化的黑白光栅条纹图像,有很多种解码方法,如错位条纹法、中心震动法等[7]

本文试验的光栅发生器分辨率为1 024像素×768像素,光栅条纹宽度为32个像素,在第5条光栅处设计两条宽为16个像素的黑白相邻的光栅作为标识光栅。每幅光栅图像只能获得光栅边界处的点云数据,为了获得更多的立体匹配点数据来表达目标模型,现设计4幅光栅图像,每幅图像都有向右8个像素偏移量,如图 1所示。

图 1 光栅信号设计图 Figure 1 Raster Stripe Designed Graph

1.2 光栅条纹图像预处理

普通数码相机拍摄出来的图像为24位深彩色图像,信息过于丰富,不利于图像信息的提取。将彩色图像变换成灰度格式,可以有效地剔除影像的颜色信息。用灰度表示图像的亮度信息[8, 9],以便除去突变的像素点,从而达到滤除一定噪声的目的[8, 9]。对光栅图像进行阈值化处理,可以有效地将光栅图像的复杂背景剔除,同时,能使光栅条纹突兀地表现出来,有利于光栅解码。

1.3 同名核线生成

由摄影测量基本知识可知[10, 11],核面与两像片面的交线为同名核线,同名像点必定在同名核线上,如图 2所示。

图 2 同名核线共面图 Figure 2 Epipolar Line Theory

同一核线上的点均位于同一核面,设点b为过点a左核线l上的任一点,则满足三线共面条件:

$ \overrightarrow {SS} ' \to \bullet (\mathop {Sa}\limits^ \to \times \mathop {Sb}\limits^ \to ) = 0 $ (1)

左相片上取一点a,根据式(1)得:

$ {y_b} = \frac{{{v_a}{c_1}-{w_a}{b_1}}}{{{w_a}{b_2}-{v_a}{c_2}}}{x_b} + \frac{{{w_a}{b_3}-{v_a}{c_3}}}{{{w_a}{b_2} - {v_a}{c_2}}}f $ (2)

式中,vawa是点a像空间辅助坐标;b1b2、…、c3为左相片空间旋转矩阵因子;f为焦距值。

同样,对于右相片取一点a′得:

$ y{'_{a'}} = \frac{{{v_a}{c_1}' - {w_a}{b_1}'}}{{{w_a}{b_2}' - {v_a}{c_2}'}}x{'_{a'}} + \frac{{{w_a}{b_3}' - {v_a}{c_3}'}}{{{w_a}{b_2}' - {v_a}{c_2}'}}f $ (3)

式中,b1′、b2′、…、b3′为右相片相对于左相片旋转矩阵因子。

1.4 光栅解码与同名光栅生成

光栅解码即获取各光栅条纹所在位置。在经过图像预处理后所得到的二值图像数据中,黑白光栅条纹灰度值是0和255,所以可以容易地提取到光栅条纹的边界信息。

根据本文所设计的光栅条纹图像的特征,在光栅条纹图像中有两条相邻黑白条纹宽度是区别于其他光栅条纹的,所以基于该特征进行光栅条纹的解码。由上述过程已得到每条光栅边界处x坐标的值,所以只需做如下判断就可以进行光栅解码,以获得同名光栅:①利用得到的x坐标值可得mi=xi+1-xixi表示第i光栅的x方向坐标值;②如果mi+1>0且mi+1-mi>mi,则可以判断第i光栅即为标识光栅,并记下此时这条光栅的位置p;③对于右影像,重复上述步骤获得右影像标识线的位置p;④将左右影像的标识线位置进行对比来确定同名光栅。从光栅发生器投射出去的同一条光栅,在左右影像上一定是一对同名光栅。由于拍摄时环境、角度等因素的影响,拍摄出来的光栅影像并不能包含所有光栅发射器投影出的光栅条纹,而同时因为标识光栅位置不在边缘地区,一般情况下都能被拍摄到,所以只用比较左右标识光栅的位置就能匹配得到同名光栅。①如果p=p,左右影像光栅条纹从拍摄到的第一条光栅条纹开始依次是匹配的;②如果p>p或者p < p, 左影像的第p条光栅与右影像的第p条光栅匹配,依次往左、往右匹配,往左匹配即在p-1和p-1处条纹匹配,往右即p+1和p+1处条纹匹配,直到所有光栅都匹配完成,得到同名光栅。

1.5 同名立体匹配点提取

综上所述,可对左右影像进行核线计算,并得到一条核线上对应的所有点坐标,重采样出它们的灰度值。利用这些灰度信息首先进行光栅解码,可得沿着某条核线方向提取光栅条纹的边界信息,然后进行同名光栅提取,同名核线与同名光栅的交点即为同名立体匹配像点。

2 试验结果与分析

本次试验基于MFC平台OpenCV图像库进行。MFC提供了一个很好的界面操作平台;OpenCV是一个很好的图像处理的函数库,基于此开源库可以高效地进行图像预处理。

2.1 光栅图像预处理

光栅图像预处理流程为彩色图像到灰度图像变换、灰度图像平滑处理、灰度图像阈值处理。图像预处理结果如图 3所示。对比图 3(a)图 3(b),在图 3(a)中一些色彩丰富的灰度信息已经被去掉,如在图 3(a)白色条纹中一些淡绿色的像素值经过变换以后都变成试验所需要的灰度为白色或者黑色的信息。在图 3(a)左上角有两个像素突变的白点,经过高斯平滑处理后,其左上角的两个白点经过平滑处理后表现得没有那么明显了(图 3(b))。分析比较图 3(b)3(c),当阈值T=100时,经过图像二值化以后,目标上的黑白光栅条纹已经被明显地区分出来,而且边界信息比较明显,同时,在阈值处理后,影像中的背景信息也被去除。

图 3 图像预处理结果 Figure 3 Results of Image Preprocessing

2.2 立体匹配点结果与点云分析

在完成图像预处理过程后,根据本文使用的黑白光栅条纹图像,由本算法可以得同名点在各自影像上的像平面坐标。最后,在已知相片外方位元素的情况下,可以根据共线条件方程求解出其模型点的三维坐标[12],结果如图 4所示。

图 4 弯曲曲面物体表面点云图 Figure 4 Point Clouds of the Curving Surface

图 4可以明显地看出从单幅光栅图像数据源求解出来的点云数据比较稀疏,而从4幅在x方向分别偏移0、8、16和24个像素的光栅图像数据源处理得到的结果中可以看出,获得的点云数据比较密集,易于三维重建和物体曲面重构。

2.3 结果分析

图 4可以说明,基于本算法获取的曲面点云效果比较令人满意,光栅影像上同名光栅的点云信息基本都被探测出来。为了验证本文算法的可靠性,进行以下分析。

图 5所示,在原始的光栅条纹影像上用红色线条标识出14条光栅条纹的边界,从图中可分析得被测物体是一个白色拱形曲面,所以每条标识出的红色线长度应该是一样的,图中红色标志线从左往右编号依次为1、2、3、4、5、6、7、8、9、10、11、12、13、14。

图 5 标志线图 Figure 5 Mark Line Graph

从三维点云数据中获取这些直线上下端点的坐标数据。利用欧氏距离公式计算这14条直线的长度,并求出它们的平均值误差,如表 1所示。

表 1 标识直线的计算值和误差 Table 1 Calculated Values and Error Analysis of Mark Lines

本次试验的主要误差来源有以下几点:①相机内外方位元素标定误差,在相机标定中,像点坐标获取以及物方坐标量测不准确导致相机内外方位元素存在一定的误差;②在图像预处理中,不同的阈值会影响边界信息的提取,从而影响同名点提取精度;③在本次试验过程选取14条被测直线作为分析数据,在选取过程中并不一定能很精确地选取直线的两个端点进行距离量测,而在测量中,最大限差为Δ允许=2δ,所以本次试验距离量测最大限差为5.724 mm,以此为判断标准对每条直线进行分析,可以看出,测量值与平均值的差值都在限差之内,其中第13条被测直线的测量值与平均值的差值最大5.444 mm,仍然是在限差之内。由此可知,在本文中核线提取、同名光栅判断、同名像点提取等研究方法都有一定的可靠性,是可以实现物体表面点云获取的。

3 结束语

本文介绍了黑白光栅条纹的设计、光栅图像预处理、光栅解码、同名光栅提取,并利用核线与同名光栅相交得出同名立体匹配点。通过对某曲面物体进行试验,利用本文方法获得同名立体匹配点,分析结果表明,其点云的量测精度都在限差之内,说明本文算法具有一定的可靠性。

参考文献
[1] 何启付, 朱中尉, 郑顺义. 一种基于结构光测量系统的逆向工程方法[J]. 测绘地理信息,2014,39(5) : 32–35.
He Qifu, Zhu Zhongwei, Zheng Shunyi. A Reverse Engineering Method Based on Structured Light Measurement System[J]. Journal of Geomatics,2014,39(5) : 32–35.
[2] 胡少兴, 查红斌, 张爱武. 大型古文物真三维数字化方法[J]. 系统仿真学报,2006,18(4) : 951–963.
Hu Shaoxing, Zha Hongbin, Zhang Aiwu. Modeling Method for Large-Scale Cultural Heritage Sites and Objects Using Real Geometric Data and Real Texture Data[J]. Journal of System Simulation,2006,18(4) : 951–963.
[3] 江毅, 黄尚廉. 基于投影光栅的大型三维曲面轮廓量测技术[J]. 计量光学,1996,17(3) : 232–234.
Jiang Yi, Huang Shanglian. Large 3-D Shape Profilometry Based on Projecting Grating[J]. Acta Metrologica Sinica,1996,17(3) : 232–234.
[4] 李彩林.基于结构光的手持式摄影扫描系统关键技术[D].武汉:武汉大学, 2011
Li Cailin. Research on Key Technology of Hand Held Photography Scanning System Based on Structured Light[D].Wuhan: Wuhan University, 2011
[5] 詹总谦, 张祖勋, 郑顺义. 基于多极限立体匹配技术的三维重建[J]. 地理信息空间,2004,2(6) : 17–19.
Zhan Zongqian, Zhang Zuxun, Zheng Shunyi. 3D Model Reconstruction Based on Multi-Baseline Stereo Matching[J]. Geospatial Information,2004,2(6) : 17–19.
[6] Lens R K, Tsai R Y. Techniques for Calibration of the Scale Factor and Image Center for High Accuracy 3D Machine Vision Metrology[J]. Robotics and Automation,1987,10(11) : 68–75.
[7] 达飞鹏, 盖绍彦. 光栅投影三维精密测量[M]. 北京: 科学出版社, 2011 .
Da Feipeng, Gai Shaoyan. Raster Projection 3D Precision Measurement[M]. Beijing: Science Press, 2011 .
[8] 谢凤英, 赵丹培. Visual C++数字图像处理[M]. 北京: 电子工业出版社, 2008 .
Xie Fengying, Zhao Danpei. Visual C++ Digital Image Processing[M]. Beijing: Publishing House of Electronics Industry, 2008 .
[9] 冈萨雷斯. 数字图像处理[M]. 北京: 电子工业出版社, 2003 .
Gonzalez R C. Digital Image Processing[M]. Beijing: Publishing House of Electronics Industry, 2003 .
[10] 王之卓. 摄影测量原理[M]. 北京: 测绘出版社, 1992 .
Wang Zhizhuo. Principles of Photogrammetry[M]. Beijing: Surveying and Mapping Press, 1992 .
[11] 王宁, 刘源璋, 吴平, 等. 基于相对方位元素的核线影像生成方法[J]. 测绘与空间地理信息,2011,34(3) : 254–257.
Wang Ning, Liu Yuanzhang, Wu Ping, et al. A Method of Epipolar Images Generation Based on Elements of Relative Orientation[J]. Geomatics & Spatial Information Technology,2011,34(3) : 254–257.
[12] 郑莉.基于结构光的不规则钣金件三维测量[D].武汉:武汉大学, 2007
Zheng Li. 3-D Surface Reconstruction of Irregular Industrial Sheetmetal Parts Based on Structure Illumination[D].Wuhan: Wuhan University, 2007