测绘地理信息   2017, Vol. 42 Issue (2): 57-61
0
基于位置约束的核安全壳表面影像拼接[PDF全文]
黄晶晶1,2, 邢诚1,2    
1. 武汉大学测绘学院,湖北 武汉,430079;
2. 精密工程与工业测量国家测绘地理信息局重点实验室,湖北 武汉,430079
摘要: 针对核安全壳表面贫纹理影像,提出了一种基于位置约束的影像快速拼接方法。利用影像采集时固定的摄影距离、相机间距、航带间距等位置约束条件,对航带内相邻影像进行SURF特征匹配,按比例缩放和裁剪,对航带间相邻影像不进行特征匹配,直接等尺寸裁剪。实验结果表明,该方法快速、有效,能获得视觉效果较好的安全壳表面全景展开图。
关键词: 核安全壳     影像拼接     影像裁剪     位置约束     贫纹理影像    
Image Mosaic for Nuclear Containment Based on Position Constraint
HUANG Jingjing1,2, XING Cheng1,2    
1. School of Geodesy and Geomatics, Wuhan University, Wuhan 430079, China;
2. Key Laboratory of Precise Engineering and Industry Surveying, National Administration of Surveying, Mapping and Geoinformation, Wuhan 430079, China
Abstract: As to the poor texture images on the surface of nuclear containment, this paper puts forward a fast image mosaic algorithm on the basis of position constraint. The constraint conditions are based on the fixed requirements of image acquisition, such as photographic distance, camera spacing, strip spacing, etc. For the images within strips, SURF feature matching, scaling and clipping is carried out. For the images between neighboring strips, clipping directly without feature matching. Experimental results show that this method is fast and effective, and can obtain a good visual effect.
Key words: nuclear containment     image mosaic     image clipping     position constraint     poor texture image    

传统的核电站安全壳外观缺陷检测是通过搭建脚手架进行人工缺陷检查,这种方式耗费大量的人力、物力、财力。随着数字近景摄影测量技术的不断发展,安全壳外观缺陷检测方式逐渐由人工转向自动化。武汉大学研发的安全壳内外观检查设备[1]采用数字近景摄影测量方式,先对安全壳外壁进行影像采集,然后从影像中自动寻找缺陷,这种方式成本更低,且更加安全、快捷、有效。由于安全壳表面范围大,为了达到全范围覆盖,影像的采集需逐区域、逐航带进行,且影像在航向和旁向都必须保持一定的重叠度。但重叠的影像不利于后期全景浏览、缺陷定位及管理,因此需要对采集的影像进行拼接裁剪,最终生成完整的外观展开图。

传统的影像配准技术与全景影像拼接技术主要是针对航拍影像,处理流程[2]一般为:先在相邻影像上提取特征点,然后进行特征点匹配,利用匹配点集通过最小二乘法计算影像间变换矩阵的参数,最后对待匹配影像进行重采样,并将基准影像与重采样影像进行拼接。影像匹配算法可分为基于灰度的匹配和基于特征的匹配[2],前者匹配的错误率较高,尤其是在像对倾角过大或像片灰度差异过大时尤为明显,如最小二乘匹配[3]等;后者算法较为稳定,鲁棒性高,代表性的有基于SIFT算法和SURF算法的特征匹配。SIFT[4-6]是一种基于不变量的自动特征提取和匹配算法,对视角变化不敏感[7],但算法速度较慢。SURF[8-10]是一种更加稳健和快速的特征提取算法,它利用积分图和模板缩放来模拟尺度变化,抗噪能力强,可重复性高[7]

本文针对核安全壳表面贫纹理影像提出了一种基于位置约束的快速拼接方法。在SURF特征匹配的基础上,利用影像采集时的位置约束条件,不需进行拼接线的提取,直接对影像进行比例尺规划和拼接裁剪,生成完整的安全壳外壁展开图。

1 影像采集及拼接条件

利用两台高性能单反相机在离安全壳外壁固定距离处逐航带采集核安全壳表面影像,采集方式、影像特征、预期成果形式和精度等因素共同决定了拼接的方式和方法。

1.1 影像采集方式

安全壳筒身为混凝土圆柱形结构,外径约38.8 m,高约51.4 m,如大亚湾、岭澳核电站等。本文所用的采集设备利用架设在穹顶导轨上的移动平台带动采集平台在安全壳表面运动。为保证采集效率,采集平台上装有两台相机,通过接受指令对安全壳筒壁同时定点拍照。移动平台沿导轨逆时针等角度更换航带,绕穹顶一周;采集平台沿筒壁从上至下等间隔、逐航带采集图像。为保证采集的影像能完整覆盖安全壳表面,航向和旁向相邻影像间应具有一定的重叠度,如图 1所示。

图 1 影像采集展开图与影像重叠度 Figure 1 Picture of Acquisition Expansion and Overlap

1.2 影像特征

安全壳表面影像与传统航拍影像在采集方式、影像质量、重叠度等方面大不相同。

1) 待拼接影像数量多,分辨率高。采集整个筒壁表面需4 000余张影像,每张影像3 600万像素,拼接速度会受到较大的制约。

2) 低重叠度贫纹理影像较难匹配。传统航空摄影测量航向重叠至少为60%,由于兼顾采集效率,安全壳表面影像航向重叠度仅有30%左右,并且安全壳表面是混凝土结构,纹理特征不明显,特征匹配时常出现误匹配。

3) 影像采集时,相机姿态固定,严格位置约束。采集平台垂直于安全壳表面,相机镜头正摄于安全壳表面,左右相机间距、航向与旁向间距在理论上认为是固定的,这也是利用位置约束进行影像拼接的前提。

1.3 位置约束

位置约束是核安全壳表面影像快速拼接方法实现的重要前提。针对以上影像采集方式,影响相邻影像间相对位置关系的距离参数包括摄影距离T1、左右相机间距T2、航向间距T3、旁向间距T4

摄影距离T1是指相机摄影中心与安全壳表面的距离,其大小与所需影像的物方尺寸和相机镜头视场角有关。采集平台上的两台相机均为Nikon D800,有效像素为7 360×4 912,根据实际要求,需要在拍摄影像上检测出宽度大于0.2 mm的缺陷,也就是像方每一个像素至少等于物方0.2 mm。设每张影像对应的实际物方尺寸为a×b,计算ab分别为:

$ \left\{ \begin{align} &a=7\ 360\times 0.2=1\ 472\ \text{mm}\approx \text{1}\text{.4}\ \text{m} \\ &b=4\ 912\times 0.2=982.4\ \text{mm}\approx \text{0}\text{.9}\ \text{m} \\ \end{align} \right. $ (1)

相机镜头选取的是28 mm定焦镜头,视场角为α=75°,如图 2所示,根据物方尺寸和视场角计算出摄影距离T1为:

图 2 影像采集俯视图 Figure 2 Top View of Image Acquisition

$ {{T}_{1}}=\frac{a/2}{\tan \left( \alpha /2 \right)}=\frac{1.4/2}{\tan \left( 75{}^\circ /2 \right)}=0.91\ \text{m} $ (2)

左右相机间距T2和航向间距T3是根据航带内相邻影像间的重叠度而设定的。在兼顾采集效率的同时,为达到较好的拼接效果,影像间应存在不小于20%的重叠度。经过多次实验,同一航带内,左右和上下相邻影像间重叠度M1为35%时拼接效果较好。以35%为重叠度,根据图 2图 3计算T2T3的近似值分别为:

图 3 影像采集侧视图 Figure 3 Side View of Image Acquisition

$ \begin{gathered} {T_2} = a\left( {1 - {M_1}} \right) = 1.4 \times \left( {1 - 35\% } \right) = \hfill \\ \;\;\;\;\;\;\;\;\;\;0.91\;{\text{m}} \approx {\text{0}}{\text{.9}}\;{\text{m}} \hfill \\ \end{gathered} $ (3)
$ \begin{gathered} {T_3} = b\left( {1 - {M_1}} \right) = 0.9 \times \left( {1 - 35\% } \right) = \hfill \\ \;\;\;\;\;\;\;\;\;\;0.565\;{\text{m}} \approx {\text{0}}{\text{.6}}\;{\text{m}} \hfill \\ \end{gathered} $ (4)

旁向间距T4是航带与航带之间的间距。移动平台更换航带是沿着穹顶的圆周导轨进行的,其角度单位是Gon,1 Gon对应于0.9°,穹顶上每10 Gon有一个固定的标识,所以兼顾重叠度和航带移动的便利,将航带间距设定为β=5 Gon, 如图 4所示。根据安全壳半径和角度间隔计算出T4为:

图 4 角度、弦长、弧长示意图 Figure 4 Sketch Map of Angle, Length and Arc Length

$ \begin{gathered} \;\;\;\;\;\;\;{T_4} = \beta \cdot \frac{{2{\text{ }}{\text{π}}{\text{ }}}}{{400}} \cdot \frac{1}{2} \cdot R \cdot 2 = \hfill \\ 5 \times \frac{{2 \times 3.14}}{{400}} \times \frac{1}{2} \times 20 \times 2 = 1.5\;{\text{m}} \hfill \\ \end{gathered} $ (5)

T4=1.5 m时,根据图 2计算出旁向重叠度M2为:

$ \begin{gathered} {M_2} = \frac{{a - \left( {{T_4} - {T_2}} \right)}}{a} \times 100\% = \hfill \\ \frac{{1.4 - \left( {1.5 - 0.9} \right)}}{{1.4}}100\% = 57\% \hfill \\ \end{gathered} $ (6)

以上4个距离参数的设定构成了核安全壳表面影像拼接的4个位置约束条件。在影像采集过程中,利用多传感器技术和自动控制技术对相机的位置和姿态进行控制,以保证固定上述各距离参数。

1.4 近似条件

在通过位置约束简化拼接流程的过程中,用到了一些近似条件。

1) 平面代替曲面。安全壳是圆柱体,相机正对安全壳表面拍摄实际上是在曲面上拍摄。如图 4所示,弦长为D对应的弧长为C,由前述可知,每张影像对应的实际物方尺寸为1.4 m×0.9 m,即D=1.4 m,根据安全壳半径R=20 m,计算可得到C为:

$ \begin{align} &\ \ \ \ \ \ C=2\arcsin \left( \frac{D}{2R} \right)\cdot \frac{\text{ }\!\!\pi\!\!\text{ }}{180}\cdot R= \\ &2\arcsin \left( \frac{1.4}{2\times 20} \right)\times \frac{3.14}{180}\times 20=1.4\ \text{m} \\ \end{align} $ (7)

弦长和其对应弧长相等。因此,可以近似将弦长代替弧长,进一步用平面代替曲面对安全壳表面影像进行拼接。

2) 正摄影像的相机运动只有平移和缩放。由于采集平台在姿态控制器与超声波测距传感器的控制下始终平行于安全壳表面,并且相机的运动始终平行于像平面,没有旋转、扫动等,只有平移和缩放。所以在采集过程中,近似认为相机采集的均为正摄影像。

3) 距离参数固定。在位置约束的4个距离参数中,左右相机间距T2在采集工作开始前就按照要求固定好,航向间距T3通过移动编码器严格控制,它们在整个采集过程中始终不变;而摄影距离T1和旁向间距T4需要在每个航带开始前手动测量,会存在一定误差。但在拼接过程中,这4个参数近似被认为是固定的,以便于简化拼接流程。

2 拼接流程

针对影像采集方式、影像特征、位置约束和近似条件,本文提出了一种核安全壳表面影像的快速拼接方法,该方法充分利用了位置约束条件,简单而有效。影像拼接同影像采集一样,从上至下逐航带进行,分为匹配、缩放和裁剪3个步骤,具体拼接流程如图 5所示。

图 5 拼接流程图 Figure 5 Flow Chart of Mosaic

2.1 影像匹配

影像的匹配仅针对航带内的相邻影像,航带与航带间的相邻影像不进行匹配。影像匹配采用的是SURF算子,尽管其快速稳健,但由于影像表面纹理特征不明显,常出现误匹配。是否误匹配,可以通过计算匹配后的影像重叠度确定,因为航带内相邻影像间35%的重叠度是根据距离参数T2T3进行约束的,所以当待匹配影像因特征不明显始终出现误匹配时,则按照重叠度35%进行强制匹配。

2.2 影像缩放

利用距离参数T2T3将影像在物方上分别进行长度和宽度的缩放,使得待拼接的影像均具有相同的比例尺。

1) 确定长度和宽度比例关系。如图 6所示,首先计算匹配后第一行的左右影像中心点A1B1之间的像素距离l1。理论上说,像方上的l1在物方上即代表T2,忽略采集过程中的细小误差,将所有第一行的影像间的比例关系定为l1个像素代表0.9 m。同理,在宽度上,计算匹配后第1、2行左影像中心点A1和点A2之间的像素距离w1,如图 7所示,根据距离参数T3确定该航带的影像在宽度上的比例关系为w1个像素代表0.6 m。

图 6 长度比例关系 Figure 6 Length Scaling Relation

图 7 宽度比例关系 Figure 7 Width Scaling Relation

2) 长度和宽度缩放。根据长度和宽度比例关系,对该航带内的所有影像进行缩放。首先,计算第2行的左右影像中心点A2和点B2之间的像素距离l2,将l2l1进行比较,若l2l1,则将两张影像按照l2:l1的比例关系在长度上同时进行缩放,直至l2=l1;然后,计算第2、3行左影像中心点A2和点A3之间的像素距离w2,按照w2:w1的比例尺在宽度上同时进行缩放。同理,对航带内其他影像逐行进行长度和宽度的缩放,直至航带结束。

影像的匹配和缩放对于各航带是相对独立的过程,待拼接的各航带影像需全部匹配和缩放完成后再进行下一步操作。因此,各航带内的操作使用并行运算可以提高整体拼接效率。

2.3 影像裁剪

影像的裁剪是以位置约束为前提的,尤其是在航带与航带之间,根据距离参数T4直接进行裁剪。裁剪后影像尺寸可以不同,也可以相同,在实际工程中,拼接裁剪后的影像需要进行下一步缺陷检测、识别和量测等工作,所以等尺寸裁剪对于后续操作来说更为有利。因此,若能确定裁剪尺寸和其中一条裁剪线的位置,则根据距离约束,便可以确定其他所有的裁剪线。设裁剪后的影像在物方上长为L,宽为W

1) 纵向裁剪。由于各航带的影像都依照本航带第1行的长度比例关系进行了缩放,所以在纵向上,各航带第1行影像裁剪线所在的位置即为本航带的纵向裁剪线。如图 8所示,规定第1条裁剪线位于航带第1行左右影像重叠区域的正中间,第2条裁剪线位于航带间相邻影像重叠区域的正中间,根据旁向间距T4计算出影像裁剪的长L=T4/2=0.75 m。所以,其他的纵向裁剪线之间分别相隔0.75 m即可。

图 8 纵向裁剪 Figure 8 Longitudinal Clipping

2) 横向裁剪。对于横向裁剪,规定第1条裁剪线位于航带第1行和第2行上下影像重叠区域的正中间,第2条裁剪线位于第2行和第3行上下影像重叠区域的正中间,如图 9所示。根据航向间距T3计算出影像裁剪的宽W=T3=0.6 m。所以,其他的横向裁剪线之间分别相隔0.6 m即可。

图 9 横向裁剪 Figure 9 Lateral Clipping

经过匹配、缩放和裁剪后,原始影像被裁剪成了0.75 m×0.6 m的相同尺寸,将其按照顺序排列显示,便可以获得连续的安全壳表面影像展开图。这不仅有利于下一步的图像处理,也可使尺寸较大的全景影像在浏览时能逐区域加载和分级显示,提高了影像浏览速度。

3 实验与分析

根据本文所提出的基于位置约束的拼接方法对核安全壳表面影像进行拼接实验。实验基于Visual Studio 2012平台和OpenCV2.4.9计算机视觉库,利用C++语言编程,影像数据存储和处理采用的是Dell服务器,具有8核双处理器,64 G内存。实验选取了在安全壳表面连续采集的7个航带,每航带50张影像,共350张影像。影像由Nikon D800拍摄,影像分辨率为7 360像素×4 912像素,影像采集方式如前所示。为展示拼接效果,本文选取了其中连续的24张影像。具有重叠度的24张原始影像如图 10所示,经过匹配和裁剪后还保留裁剪线的影像如图 11所示,最终的拼接影像如图 12所示。

图 10 原始影像 Figure 10 Original Images

图 11 经匹配和裁剪后的结果 Figure 11 Results After Matching and Clipping

图 12 最终拼接结果 Figure 12 Final Result of Mosaic

从拼接效率上看,350张影像的拼接共耗时20 min,由于所采用的方法在航带间是相互独立的,本实验用7个线程处理7个航带,相较于传统拼接方法,多线程的采用大大提高了拼接效率。

从拼接结果上看,航向和旁向相邻影像之间的衔接很好,尤其是航带间虽然没有经过特征匹配,但由于严格的距离控制和位置约束,直接裁剪后也能达到较好效果。纵观每一列,相邻影像的衔接处总体上过渡得较为平滑,但列与列之间亮度差异较明显,这是左右相机镜头参数差异造成的,通常需要进行影像融合,但由于在实际工程项目中,拼接目的主要是便于对壳壁上缺陷的位置和分布进行概略性地浏览,所以对拼接结果要求不高,为提高拼接效率,省略了这一步。若有必要,可以进一步研究影像融合算法,更好地改善影像视觉效果。

与传统航拍影像拼接相比,本方法除了拼接速度上有优势,还适用于重叠度较低的贫纹理影像。相对于本文35%的航向重叠度和57%的旁向重叠度,若距离约束较好,还适用于重叠度更低的影像。

4 结束语

本文提出了一种基于位置约束的拼接方法,利用独特的影像采集方式以及影像采集时相机姿态、摄影距离、航带间距等位置约束条件,实现了对核安全壳表面低重叠度贫纹理影像的有效拼接。实验结果表明,该方法简单、快速、有效,拼接效果较好,拼接后生成的安全壳表面全景图在安全壳外观缺陷检查中具有较好的实用价值。

参考文献
[1] 林跃. 基于图像处理的安全壳缺陷检测系统设计[D]. 武汉: 武汉大学, 2015
[2] 邢诚. 利用无人机影像快速生成准正射影像图的理论与方法研究[D]. 武汉: 武汉大学, 2011
[3] 张祖勋, 张剑清. 数字摄影测量学[M]. 武汉: 武汉大学出版社, 1997
[4] Lowe D G. Object Recognition from Local Scale-Invariant Features[C]. IEEE International Conference on Computer Vision, Corfu, Greece, 2001
[5] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91–110 DOI: 10.1023/B:VISI.0000029664.99615.94
[6] Brown M A. Multi-Image Matching Using Invariant Features[D]. British Columbia: University of Bath, 1961
[7] 邓非, 胡玉雷, 黄云. 一种基于SURF算法的柱面全景影像拼接方法[J]. 测绘地理信息, 2015, 40(4): 14–18
[8] Bay H, Ess A, Tuytelaars T, et al. SURF: Speeded-Up Robust Features[J]. Computer Vision and Image Understanding, 2008, 110(3): 346–359 DOI: 10.1016/j.cviu.2007.09.014
[9] Bay H, Tuytelaars T, Gool L. SURF: Speeded-Up Robust Features[C]. European Conference on Computer Vision, Graz, Austria, 2006
[10] 胡同喜, 牛雪峰, 谭洋, 等. 基于SURF算法的无人机遥感影像拼接技术[J]. 测绘通报, 2015, (1): 55–58