在机器视觉应用于机器人技术时，经常将摄像机固定在机器人手臂的末端执行器上构成手眼系统. 确定摄像机坐标系与机器人末端坐标系之间相对位置关系的过程称为机器人手眼标定^[1]. 目前，不需要标定参照物的手眼自标定方法获得了学者们的普遍重视和研究^{[2, 3, 4, 5]}.

为满足工业现场的需求，笔者提出了一种改进的单特征点机器人手眼自标定方法，该方法通过引入手眼关系矩阵的解耦运算，解决原有方法要求运动次数过多的问题，并给出了实验结果和分析.

机器人手眼关系坐标系如图 1所示.

Figure 1

		Figure Option ViewDownloadNew Window
		图1 基于单视点的机器人手眼关系坐标系

取摄像机视场内任意可测一点为特征点，在特征点处建立坐标系G，其坐标轴与机器人基坐标系W的坐标轴平行. 在机器人末端建立坐标系E，在摄像机的光轴中心建立坐标系C. E相对于W的变换用T_e表示，C相对于E的变换用T_m表示，G相对于C的变换用T_c表示，G相对于W的变换用T_g表示. 其中T_m即为机器人手眼关系矩阵，其旋转矩阵和平移向量分别记为R_m和P_m.

保持姿态不变，操作机器人末端带动摄像机相对于特征点沿基坐标系W 3个方向做正交平移运动. 设机器人在初始位置时的特征点为特征原点，根据相对运动原理，特征点相对于特征原点位置运动可形成多个虚拟特征点. 控制平移距离，使所得到的虚拟特征点均匀分布在以特征原点为中心的立方体的顶点或面心上，则相当于将一个立体靶标放置于摄像机之前进行标定，可利用Faugeras标定方法^[6]获得摄像机的投影矩阵M，分解后得出内参数K和相对于特征原点坐标系G的外参数T_c，根据M的可解性，平移运动的次数最少为5次.

将初始采集特征原点图像时的机器人末端位姿T_e记为T_e0，摄像机相对于特征原点的外参数T_c记为T_c0，由图 1的坐标系变换关系可得

将式(1)各齐次矩阵表示为姿态矩阵R和位置向量P的分解形式，并用下角标标示各矩阵的对应关系，则可得

由于T_e0可由机器人示教器读出，T_c0已由1.1节方法标定得出，因此R_c0、R_e0可由T_c0和T_e0提取得到，并由式(4)可求出R_m.

重新设定机器人的末端姿态，使之与初始姿态有较大变化. 采集图像并记录机器人的末端位姿，至少采集2次图像，第i次改变姿态后，采集特征原点图像时的机器人末端位姿和摄像机外参数矩阵分别表示为T_ei和T_ci，其对应的旋转矩阵和平移向量分别记为R_ei、P_ei和R_ci、P_ci.

由式(2)和式(3)的对应形式可得

根据摄像机的内参数模型^[7]可得

将式(6)带入式(5)得

将式(7)和式(3)联立，消去

采集n次图像构建多个形如式(8)的表达式，联立成矩阵形式为

式(9)中，未知量仅有z_ci(i=1,2,…,n)和P_m，当n≥2时，可利用最小二乘法求解，在得出P_m的同时也计算出深度值z_ci. 由于n最小值可取2，故P_m的标定最少需2次改变机器人末端姿态.

实验采用的机器人手眼系统主要包括ABB1410工业机器人、1/3 in SONY XC - ES50CE CCD工业摄像机和DH CG410图像采集卡，图像大小为768×576像素(pixel). 设定好场景特征原点及机器人初始位置，保持末端姿态不变做正交平移运动5次，共采集5幅图像；然后相对于初始位置做2次末端旋转运动，再采集2幅图像. 每次采集图像时均记录对应的机器人末端位姿. 提取各图像特征点坐标后，应用所提改进方法得到的标定结果为 \[\eqalign{ & K = \left[ {\matrix{ {971.001} & 0 & {381.645} \cr 0 & {944.874} & {294.428} \cr 0 & 0 & 1 \cr } } \right] \cr & {R_m} = \left[ {\matrix{ { - 0.0131} & {0.9997} & { - 0.0212} \cr { - 0.9995} & { - 0.0093} & { - 0.0297} \cr { - 0.0300} & { - 0.0209} & {0.9993} \cr } } \right] \cr & {P_m} = \left[ {\matrix{ { - 208.725} & {9.041} & {410.156} \cr } } \right] \cr} \]

下面将对改进方法的实验结果进行误差分析，对影响实验结果的因素进行讨论.

1) 图像噪声对标定误差的影响

为分析图像噪声的影响，在实测图像坐标加入0~2个像素、间隔0.05像素的噪声，进行模拟实验. 在每种噪声水平下随机实验100次，取其平均值的统计结果，得到K、R_m和P_m在不同噪声水平下的误差变化曲线如图 2所示. 其中，Δf_u、Δf_v、Δu₀和Δv₀分别表示摄像机在u、v两个方向上的归一化焦距和两个方向上主点图像坐标的误差;旋转矩阵R_m用 z- y- x欧拉角α、β、γ表示，Δα、Δβ和Δγ分别表示欧拉角3个分量的误差;Δx、Δy和Δz分别表示P_m在x、y和z 3个方向分量的误差.

由图 2可见，图像噪声对K的4个元素误差影响变化趋势基本相同，1个像素等级产生2.5~3.5个像素误差；图像噪声对R_m造成的影响较小，但α和γ的误差随噪声变化增加较快；图像噪声对P_m的x、y分量影响较小，而对z分量造成的误差较大，这说明图像噪声对特征点深度值的准确估计产生较大影响，进一步影响标定的稳定性.

Figure 2

		Figure Option ViewDownloadNew Window
		图2 图像噪声对标定结果产生的误差影响

2) 机器人末端运动偏差对标定误差的影响

为分析机器人末端运动偏差的影响，在实际实验的平移运动分量上加入0~1 mm、间隔0.05个长度单位的偏差，而在旋转运动分量上加入0~1^°、间隔0.05个角度单位的偏差，在每种偏差水平下随机实验100次，取其平均值的统计结果. 运动精度对K、R_m和P_m的误差影响变化曲线如图 3所示.

Figure 3

		Figure Option ViewDownloadNew Window
		图3 机器人末端运动偏差对标定结果产生的误差影响

由图 3可见，机器人末端运动偏差对K的4个元素造成的误差变化趋势也基本相同，且与图像噪声造成的误差相当；运动偏差对R_m的影响比图像噪声稍大；而运动偏差对P_m的影响较大，特别是对z分量造成的误差很大，远超过图像噪声的影响.

1)图像大小对实验结果的影响

在相同噪声和末端运动误差的情况下，将采集的图像大小变为640×480像素，与原图幅的实验结果比较，如表1所示.

由表1可见，2种不同图像大小所得到的误差实验结果相差不大，其误差主要来源于噪声的随机性. 上述结果说明，在摄像机分辨率一定的条件下，图像大小对误差像素数乃至实验结果的影响较小.

表1

表1 图像大小对实验结果的影响 图像大小 640×480/pixel 758×576/pixel 误差类别 图像噪声/pixel 运动偏差/mm 图像噪声/pixel 运动偏差/mm 误差等级 0.5 1 0.5 1 0.5 1 0.5 1 |Δfu| 1.452 2.739 2.631 6.875 1.158 3.084 2.342 6.336 内参数K |Δfv| 1.376 2.572 3.573 7.833 1.416 3.428 2.806 7.689 |Δu0| 1.294 3.302 2.808 5.587 1.084 2.509 2.879 5.066 |Δv0| 1.074 2.631 2.781 6.956 1.055 3.089 3.071 5.784 |Δα| 0.012 0.031 0.027 0.063 0.013 0.029 0.029 0.064 旋转阵Rm |Δβ| 0.077 0.179 0.124 0.348 0.077 0.177 0.197 0.366 |Δγ| 0.065 0.192 0.191 0.352 0.063 0.189 0.188 0.349 |Δx| 0.108 0.265 2.919 7.228 0.123 0.284 2.724 6.171 平移量Pm |Δy| 0.125 0.263 5.807 11.50 0.140 0.298 4.469 11.02 |Δz| 0.634 1.192 9.832 19.46 0.590 1.467 8.823 20.84

表1 图像大小对实验结果的影响

2) 特征点与摄像机间距对实验结果的影响

前述实验发现无论是图像噪声还是机器人末端运动偏差对P_m特别是其中z分量造成的误差都较大. 根据式(9)，P_m与特征点的深度值是同时求解的，而z分量的方向与图像深度方向一致，由此分析深度值可能对P_m的z分量结果产生影响. 影响深度值的主要因素是特征点与摄像机的距离. 因此，选取特征点与摄像机镜面中心的3个不同间距分别进行误差实验，结果如表2所示(间距d为近似值).

由表2可见，随着特征点与摄像机间距d减小，图像噪声及运动偏差所造成的P_m误差值都同时减小，表明通过减小间距d，可以减小P_m的误差. 但随着特征点靠近摄像机，摄像机的视场范围变小，易造成摄像机运动过程中特征点移出视场的情况，多次实验表明，间距取在35~45 mm之间较为适宜.

表2

表2 特征点与摄像机间距对实验结果的影响 间距d/cm 误差类型 误差等级 平移向量Pm/mm |Δx| |Δy| |Δz| 60 图像噪声/pixel 0.5 0.174 7 0.235 4 1.222 6 1 0.390 4 0.582 8 3.422 0 运动偏差/mm 0.5 4.193 3 6.359 2 11.020 4 1 7.792 8 14.604 1 24.927 7 50 图像噪声/pixel 0.5 0.132 4 0.181 3 0.956 9 1 0.331 2 0.387 5 1.873 5 运动偏差/mm 0.5 2.987 6 6.261 4 9.408 5 1 6.320 4 15.816 6 22.408 8 40 图像噪声/pixel 0.5 0.097 6 0.099 7 0.398 8 1 0.205 0 0.218 8 0.958 1 运动偏差/mm 0.5 2.620 2 4.287 9 8.560 5 1 5.943 0 10.608 2 20.140 6

表2 特征点与摄像机间距对实验结果的影响

3) 算法的精度与运算效率分析

为分析算法的精度与运算效率，将所提方法与文献^[4]和文献^[5]方法进行比较. 根据实测特征点图像坐标提取精度及ABB1410机器人的末端定位精度，取0.5像素、0.05 mm和0.05°，以及1.0像素、0.1 mm和0.1°分别作为图像和运动偏差的综合噪声水平等级1和2. 在上述2种噪声水平下各模拟实验100次，测试主机为Inter(R) Core(TM)i3- 3240、CPU 3.40 GHz，由统计平均值得到结果如表3所示.

表3

表3 算法的精度与实时性分析 计算方法 文献[4]方法 文献[5]方法 所提方法 K $\left[ {\matrix{ {971.347} & 0 & {384.206} \cr 0 & {952.273} & {292.741} \cr 0 & 0 & 1 \cr } } \right]$ $\left[ {\matrix{ {971.001} & 0 & {381.645} \cr 0 & {944.874} & {294.428} \cr 0 & 0 & 1 \cr } } \right]$ $\left[ {\matrix{ {971.001} & 0 & {381.645} \cr 0 & {944.874} & {294.428} \cr 0 & 0 & 1 \cr } } \right]$ 标定结果 Rm $\left[ {\matrix{ { - 0.0174} & {0.9987} & { - 0.0094} \cr { - 0.9992} & { - 0.0176} & { - 0.0371} \cr { - 0.0374} & { - 0.0539} & {0.9994} \cr } } \right]$ $\left[ {\matrix{ { - 0.0131} & {0.9997} & { - 0.0212} \cr { - 0.9995} & { - 0.0093} & { - 0.0297} \cr { - 0.0300} & { - 0.0209} & {0.9993} \cr } } \right]$ $\left[ {\matrix{ { - 0.0131} & {0.9997} & { - 0.0212} \cr { - 0.9995} & { - 0.0093} & { - 0.0297} \cr { - 0.0300} & { - 0.0209} & {0.9993} \cr } } \right]$ Pm $\left[ {\matrix{ { - 207.229} & {10.084} & {412.156} \cr } } \right]$ $\left[ {\matrix{ { - 208.725} & {9.041} & {410.156} \cr } } \right]$ $\left[ {\matrix{ { - 208.725} & {9.041} & {410.156} \cr } } \right]$ 运算时间/s 1.681 2.445 2.023 噪声水平 等级1 等级2 等级1 等级2 等级1 等级2 |Δfu| 1.703 7 3.376 7 1.475 2 2.988 9 1.491 0 3.057 9 内参数K |Δfv| 1.624 6 3.197 5 1.385 4 2.782 9 1.386 9 2.877 3 |Δu0| 1.609 0 3.272 8 1.386 4 2.918 7 1.396 2 2.749 6 |Δv0| 1.318 3 2.701 1 1.227 0 2.450 2 1.207 0 2.418 0 |Δα| 0.013 9 0.028 7 0.014 6 0.028 9 0.015 0 0.029 6 旋转阵Rm |Δβ| 0.095 2 0.190 7 0.082 1 0.171 5 0.082 6 0.164 0 |Δγ| 0.079 4 0.160 6 0.072 3 0.141 8 0.071 0 0.142 2 |Δx| 0.138 0 0.270 9 0.137 5 0.279 2 0.136 2 0.269 0 平移量Pm |Δy| 0.238 5 0.495 2 0.227 3 0.529 9 0.227 6 0.526 2 |Δz| 0.806 8 1.612 3 0.578 9 1.180 7 0.573 8 1.171 9

表3 算法的精度与实时性分析

由表3可见，从算法的精度上看，所提方法与文献^[5]方法基本相同，而优于文献^[4]方法，说明算法具有较高的准确性. 从算法的运算效率上看，所提方法优于文献^[5]方法，但不及文献^[4]的方法实时性高. 究其原因，所提方法在图像降噪等过程中计算量相对较大，需在后继研究中采用更高效的降噪算法，进一步提高算法效率. 从算法精度和运算效率综合性能上看，所提方法更为适用.

根据实验结果，为保证手眼标定的精度，图像噪声的极限应控制在1像素误差范围内，机器人末端运动误差极限应控制在平移分量0.1 mm和旋转分量0.1°偏差范围内. 此时，R_m分量的误差均在0.2°以内，P_m分量最大误差不超过1.2 mm，上述平均误差结果可以满足一般工业机器人手眼视觉测量的需求.

针对单特征点手眼标定问题，应用解耦运算思想分别标定出摄像机内参数、手眼旋转矩阵和平移向量，并通过实验进一步分析了图像噪声、机器人运动偏差、图像大小和特征点距离等因素对标定结果的影响. 与现有方法比较，改进方法操作过程简洁，算法精度较高，有利于工业现场环境下的实际应用.