据UCS(union of concerned scientists)数据库统计，截止2016年1月，已发射卫星中约36%的卫星为同步地球轨道卫星。同步地球轨道始终与地球保持相对静止，是一种珍贵的轨道资源，而其中仅有32%的卫星处于受控状态^[1]。在轨服务通过补充燃料、轨道调整、ORU更换能够实现对失控卫星的维修，挽回经济损失，同时避免潜在的碰撞危险。

视觉位姿测量是空间机器人执行在轨服务的一个重要环节。失重条件下，空间机器人及目标卫星均处于自由运动状态，视觉伺服控制技术是保证机械臂系统成功捕获目标的关键技术^[2]。双目立体视觉是指通过双目图像计算空间点在两幅图像中的视差，进而计算该点的三维坐标值。它无需合作靶标或对接传感器即可完成非合作目标的在轨服务任务，在机器人导航、三维测量及虚拟现实等领域具有较强的应用价值^[3]。

计算机视觉系统的各项阈值一般很难适应外界条件的变化，比如光照、距离等条件。环境变化可能对结果产生不利的影响，这大大增加了空间环境下视觉伺服系统的设计与研发难度。利用计算机对实验环境进行仿真模拟，一方面能够降低系统的前期设计投入，另一方面还能加深对系统的整体认知。同时，可排除实际环境下因镜头畸变、安装工艺、电磁噪声等无关因素的干扰，得到理想状态下的相机成像结果。

OpenGL是一种三维图形标准库，也是一个高性能的图形开发软件包。它集成了曲面造型、图形变换、光照、材质等复杂的计算机图形学算法，能够生成虚拟场景下三维物体的仿真图像^[4-7]。张祖勋等分析了OpenGL成像机制，并给出真实场景与模拟场景的成像对比^[8]。苏国中等实现了静态单幅影像、立体像对的模拟以及运动目标轨迹和姿态模拟^[9]。乔甜设计了两种成像实验方案, 对成像实验的结果进行精度分析，同时推导了基于相机基本运动的测量模型^[10]。Yao等分析了基于OpenGL的汇聚双目投影模型及平行双目投影模型^[11]。闫龙等讨论了虚拟成像过程中畸变的模拟^[2]。张瀚等搭建了基于OpenGL的视觉伺服半物理仿真平台^[12]。付国强等分析了双目视觉仿真系统的目标模拟器的实现方法，并针对三角帆板支架研究了捕获系统的视觉测量技术^[13]。

本文搭建了基于OpenGL的模拟双目建模平台，能够直接得到相机的内外参数矩阵及位姿参数等信息，重点研究了成像过程中的坐标变换，可用于双目视觉伺服算法的校核。

1 相机成像原理 1.1 坐标系定义

图 1描述了相机成像过程中常用的坐标系，物体坐标依次由模型系转换至世界系、摄像机系，并依据小孔成像原理转换至裁切系，经标准化后输出至屏幕系显示。

图 1中O_b为模型系，坐标轴定义与模型相关，右手系；O_w为世界系，惯性坐标系，右手系；O_c为摄像机系，原点位于投影中心，x正半轴水平向右，y轴垂直向上，右手系；O_s为裁切系，原点位于相机投影中心，x、y轴与O_c系同向，左手系；O_n为标准化系，由O_clip标准化所得，左手系；O_v为屏幕系，原点在图像窗口的左上角，x正半轴水平向右，y轴垂直向下，右手系。

假设空间点P在模型系及屏幕系下的坐标分别为p_b与p_v，两者之间的投影变换矩阵的定义为P=^cM_b^bM_v，其中，^cM_b称为内参数矩阵，^bM_v称为外参数矩阵，下面将分别对其进行推导。

1.2 外参数矩阵

空间点由模型系变换至摄像机系的变换矩阵称为外参数矩阵，由模型矩阵及视图矩阵构成。模型矩阵将空间点从模型系变换至世界系，之后通过视图矩阵将其由世界系进一步变换至摄像机系。坐标变换表示为

$\left[ {\begin{array}{*{20}{c}} {{x_c}}\\ {{y_c}}\\ {{z_c}}\\ 1 \end{array}} \right] = {}^c{\mathit{\boldsymbol{M}}_w}{}^w{\mathit{\boldsymbol{M}}_b}\left[ {\begin{array}{*{20}{c}} {{x_b}}\\ {{y_b}}\\ {{z_b}}\\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{}^c{\mathit{\boldsymbol{R}}_b}}&{{}^c{\mathit{\boldsymbol{T}}_b}}\\ 0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{x_b}}\\ {{y_b}}\\ {{z_b}}\\ 1 \end{array}} \right]$

(1)

式中：^cR_b为3×3的单位矩阵，分别表示O_b系x、y、z轴方向的单位向量在O_c系下的投影；^cT_b表示O_b系原点在O_c系下的投影。

1.3 内参数矩阵

内参数矩阵是指将空间点由摄像机系变换至屏幕系的变换矩阵，由裁切矩阵，透视矩阵及视口矩阵构成。裁切矩阵根据小孔成像原理将空间视锥体变换至一个等价的正方体；透视矩阵通过透视变换将该正方体标准化；视口矩阵进一步将空间点由标准正方体中映射至屏幕输出显示:

$\left[ {\begin{array}{*{20}{c}} {{x_v}}\\ {{y_v}}\\ {{z_v}} \end{array}} \right] = {}^v{\mathit{\boldsymbol{M}}_s}\left[ {\begin{array}{*{20}{c}} {{x_n}}\\ {{y_n}}\\ {{z_n}}\\ 1 \end{array}} \right] = {}^v{\mathit{\boldsymbol{M}}_s}{}^s{\mathit{\boldsymbol{M}}_p}{}^p{\mathit{\boldsymbol{M}}_c}\left[ {\begin{array}{*{20}{c}} {{x_c}}\\ {{y_c}}\\ {{z_c}}\\ 1 \end{array}} \right]$

(2)

首先介绍由标准化系映射至窗口坐标输出的视口矩阵：

${}^v{\mathit{\boldsymbol{M}}_s} = \left[ {\begin{array}{*{20}{c}} {\frac{W}{2}}&0&0&{\frac{W}{2} + X}\\ 0&{ - \frac{H}{2}}&0&{\frac{H}{2} + Y}\\ 0&0&{\frac{{{Z_{\max }} - {Z_{\min }}}}{2}}&{\frac{{{Z_{\max }} + {Z_{\min }}}}{2}} \end{array}} \right]$

(3)

式中：H、W分别代表图像的长宽，Z_max、Z_min分别代表设定的最大与最小深度值，X、Y分别代表绘图区域的左上角坐标。

由裁切矩阵及透视矩阵组成的齐次投影矩阵，其定义：

${}^s{\mathit{\boldsymbol{M}}_c} = {}^s{\mathit{\boldsymbol{M}}_p}{}^p{\mathit{\boldsymbol{M}}_c}$

(4)

肉眼或相机所能看到的最大视场空间称为视椎体。如图 2所示，齐次投影矩阵根据小孔成像原理将空间视椎体变换为一个标准化正方体，其中n、f分别代表近平面与远平面至投影中心的距离。

由投影定理及远近平面的投影关系可求得透视投影矩阵：

${}^p{\mathit{\boldsymbol{M}}_c} = \left[ {\begin{array}{*{20}{c}} {\frac{{2n}}{{r - l}}}&0&{\frac{{r + l}}{{r - l}}}&0\\ 0&{\frac{{2n}}{{t - b}}}&{\frac{{t + b}}{{t - b}}}&0\\ 0&0&{\frac{{ - f - n}}{{f - n}}}&{\frac{{ - 2fn}}{{f - n}}}\\ 0&0&{ - 1}&0 \end{array}} \right]$

(5)

进一步，p_n可通过透视矩阵^sM_p转换为p_s：

${}^s{\mathit{\boldsymbol{M}}_p} = {\rm{diag}}\left( { - 1/{z_c}, - 1/{z_c}, - 1/{z_c}, - 1/{z_c}} \right)$

(6)

2 模拟双目平台的搭建 2.1 模拟双目建模平台的系统组成

模拟双目建模的程序流程图如图 3所示，主要包含绘图、坐标转换及鼠标回调三大模块。

绘图模块在已知三维物体模型及其坐标的前提下，绘制输出该物体的模拟双目图像，其流程图如图 4所示。

如图 5所示，坐标转换模块为该模拟双目建模平台的核心模块，通过读取双目相机的成像与位姿参数，结合三维模型的当前位姿信息，计算得到相机成像的内外参数矩阵。

鼠标回调模块流程图如图 6所示，其主要功能为实现鼠标与全局相机之间的交互。全局相机的移动不影响双目相机的成像输出，只是通过移动全局相机使得双目成像模型观察起来更加方便。

2.2 基于OpenGL的模拟双目建模平台

模拟双目建模平台通过对三维物体在不同方向上进行投影来生成其不同位姿下的仿真图像，其成像原理与真实相机成像在本质上具有一致性。

模拟双目建模平台的程序界面如图 7所示。通过设定双目相机的参数来求解相应的投影矩阵，进而模拟双目成像并输出显示。鼠标交互实现了对空间视锥体的细节观察。此外，程序还实现了相机运动的仿真，对于视觉伺服有着重要的应用意义。

3 模型验证

以上建立了基于OpenGL的模拟双目建模平台，实现了对三维物体的模拟双目成像。下面将通过棋盘标定算法来验证该建模平台的准确性，将棋盘模型导入模拟双目建模平台，设定相机参数，并不断调整棋盘与相机之间的相对位姿得到姿态各异的棋盘图像。

为了得到较好的棋盘检测结果，棋盘平面与相机平面的夹角应小于45°，同时应尽可能多的拍摄不同方位的棋盘图像，需要注意的是平行拍摄并不增加有效信息。

对生成的模拟图像进行棋盘标定求解相机参数，将得到的参数与模拟双目平台设定的参数进行对比，进而验证模型的准确性。

相机标定程序得流程图如图 8所示，首先对输入的双目棋盘图进行角点检测，获取每幅图像中的所有角点的图像坐标。对角点坐标进行重投影，获取其重投影误差，排除不符合拍摄要求及检测失败的图像。最后，对双目相机进行立体重建，得到双目相机间的相对位姿转移矩阵。双目相机的立体重建结果如图 9所示，右侧为双目相机的空间位置，左侧为不同位置下的棋盘平面。

重投影误差是指投影的点(理论值)与图像上的测量点的误差，是评定相机标定结果的重要指标。标定板投影变换后得到的理论像素点与经过畸变矫正后的检测点之间的欧氏距离即表示重投影误差。如图 10所示，模拟棋盘图像的最大重投影误差不超过1像素。

棋盘标定后能够得到左右相机的焦距、主点等相机参数，同时也可获得双目相机间的相对位姿变换矩阵。将标定结果与模拟双目建模平台的设定数值对比以验证算法的正确性。

模拟双目建模平台下设定的虚拟双目相机参数为

$\left\{ \begin{array}{l} {\mathit{\boldsymbol{M}}_{pl}} = {\mathit{\boldsymbol{M}}_{pr}} = \left[ {\begin{array}{*{20}{c}} {478.345}&0&{276.5}\\ 0&{478.345}&{276.5}\\ 0&0&{1.0} \end{array}} \right]\\ \mathit{\boldsymbol{R}} = \left[ {\begin{array}{*{20}{c}} 1&0&0\\ 0&1&0\\ 0&0&1 \end{array}} \right]\\ \mathit{\boldsymbol{T}} = \left[ {\begin{array}{*{20}{c}} { - 300}\\ 0\\ 0 \end{array}} \right] \end{array} \right.$

(7)

棋盘标定算法给出的标定结果如下：

$\left\{ \begin{array}{l} {{\mathit{\boldsymbol{M'}}}_{pl}} = \left[ {\begin{array}{*{20}{c}} {482.25}&0&{284.25}\\ 0&{486.56}&{277.30}\\ 0&0&{1.0} \end{array}} \right]\\ {{\mathit{\boldsymbol{M'}}}_{pr}} = \left[ {\begin{array}{*{20}{c}} {483.80}&0&{277.49}\\ 0&{488.70}&{277.01}\\ 0&0&{1.0} \end{array}} \right]\\ \mathit{\boldsymbol{R' = }}\left[ {\begin{array}{*{20}{c}} {1.00}&0&{ - 0.02}\\ 0&1&0\\ {0.02}&0&1 \end{array}} \right]\\ T' = \left[ {\begin{array}{*{20}{c}} { - 302.85}\\ {0.46}\\ {7.77} \end{array}} \right] \end{array} \right.$

(8)

利用向量夹角法评判模拟双目建模平台的相对精度为S=99.97%，模拟双目建模平台的可靠性得到了验证。

需要注意的是，OpenGL并未提供相机畸变参数的设置，模拟双目建模平台得到的图像为理想情况下无畸变图像^[14-16]。

至此，完成了模拟双目建模平台的搭建与验证，该平台能够生成不同环境下的双目图像对，进而模拟太空环境下自旋非合作目标的运动。

4 模拟双目建模平台的应用

本文给出基于稀疏点(卫星基座边缘角点)匹配的立体重建算法，程序界面如图 11所示，通过读入左右图像序列，选取卫星基座轮廓的边缘点作为角点特征，进而得到相应视差，利用双目相机标定参数得到反投影矩阵，进一步计算得到四个角点在左相机系下的空间坐标，最终得到关于卫星基座的位姿参数。

模拟双目建模平台中，卫星基座的位姿参数为

$\left\{ \begin{array}{l} \mathit{\boldsymbol{T = }}{\left[ {\begin{array}{*{20}{c}} {207}&{ - 9}&{1602} \end{array}} \right]^{\rm{T}}}\\ \mathit{\boldsymbol{R = }}{\left[ {\begin{array}{*{20}{c}} {0.172}&{0.05}&{0.98} \end{array}} \right]^{\rm{T}}} \end{array} \right.$

模拟卫星基座双目图像计算得到的位姿数据如图 10右上方所示，为观察方便，图中的角度数据为其对应余角的角度制表示。

$\left\{ \begin{array}{l} \mathit{\boldsymbol{T' = }}{\left[ {\begin{array}{*{20}{c}} {210.4}&{ - 108.5}&{1556.6} \end{array}} \right]^{\rm{T}}}\\ \mathit{\boldsymbol{R' = }}{\left[ {\begin{array}{*{20}{c}} {0.172}&{0.05}&{0.98} \end{array}} \right]^{\rm{T}}} \end{array} \right.$

同样利用向量夹角法评判立体重建算法的相对精度为S=99.86%，进一步证明了模拟建模平台的正确性，同时，在此基础上能够继续开发各种视觉伺服控制算法，调试简单，易于编程。

5 结论

1) 本文搭建了基于OpenGL的模拟双目建模平台并通过棋盘标定验证了该平台的准确性，相对精度为S=99.97%。

2) 相比于OpenGL在三维仿真中的应用，本文侧重研究图像成像过程中的坐标变换，主要针对于双目视觉伺服算法精度的校核。

3) 该平台能够生成虚拟环境下的仿真图像，既能提高实验研究的效率，降低系统的设计投入，还可以排除实际环境中的干扰因素。

相比于真实相机成像，本文并未实现相机畸变的模拟，后续研究中可进一步对图像进行重映射来完善对真实图像的仿真。