1 引 言

借助360°无缝成像的优势，全景相机正逐渐受到计算机视觉、机器人、测绘等研究领域的青睐和广泛应用^{[1, 2, 3]}。主流数码全景相机的成像方式分为3大类：折射式(dioptric)多镜头组合、折反射(catadioptric)系统和旋转式扫描系统。多镜头组合型全景相机由一系列独立、固定的镜头组成，多个镜头独立成像，再拼接为全景影像，该类型相机如LADYBUG^{[4, 5]}。折反射系统由鱼眼镜头和抛物镜面组成。抛物镜反射实体的光，并通过透镜折射形成球面影像^{[6, 7]}。旋转式线阵扫描成像借助高速旋转的机械转轴和单镜头或单根CCD，直接形成无缝全景影像而无需拼接^{[8, 9]}。3种全景相机都有自身的缺点。多镜头组合相机由于存在拼接步骤，物体景深的不可知性导致拼接误差必然存在，即无法实现真无缝拼接；折反射系统由于抛物镜面只能反射部分现实的光线，难以实现全视角；扫描式相机受载于高速运动平台时会产生较大的几何形变，一般只用于静态或低速摄影；而多镜头组合相机和折反射相机可用于车载或机载。本文着重讨论多镜头组合式全景相机。

与传统平面相机类似，多镜头组合型全景相机的基本成像几何也基于针孔成像模型，表达像、物及投影中心三点之间的共线关系。在很多有关全景相机的文献中，成像几何往往被简化成图 1(a)所示的理想的模型：一个投影中心和一个理想投影球面。文献^[10]使用针孔球面成像模型进行实时SLAM(simultaneous localization and mapping)；文献^[11]研究了全景影像的全局几何特征描述；文献^[12]基于球面成像模型研究球面影像块的旋转缩放不变特性；文献^[13]利用球面成像基础矩阵作为立体像对间的几何约束；文献^[14]研究了基于全景单相机的视觉SLAM；文献^[15]研究了车载全景相机的影像匹配和光束法平差。这些文献都采用了图 1(a)所描述的理想全景球面成像模型。事实上，多镜头组合型全景照相机是由数个独立透镜组成，可能具有不同的投影中心和焦距(图 1(b))。如果使用理想的全景成像模型来描述其成像特性，必然会引入一定的系统误差。

图 1 全景相机成像模型 Fig. 1 The panoramic ideal sensor model and the rigorous sensor model

图选项

针对全景理想模型的缺陷，文献^[16]根据多镜头球面成像特性提出了一种严格成像模型；然而，并未对理想模型的系统误差及该误差对精确定位的影响进行详细分析，且未对两种模型进行实际数据的比较。本文的主要工作将解析地推导理想模型所引起的物方、像方定位误差和立体像对核线误差，通过室内外实际数据的比较试验，包括空间后方交会、核线约束、光束法平差，验证理想模型系统误差的变化规律，总结理想模型和严格模型的适用范围。

图 1(a)示意了全景相机的理想成像模型，表达了球心S、球面像点u及对应物方点P三点共线的几何关系。而事实上，多镜头组合式全景相机由多个独立鱼眼相机组成，每个相机具有各自的投影中心C，其与球心S难以实现完全重合，如图 1(b)所示。为将独立相机影像转换为全景影像，首先需要将独立相机的影像坐标转换为统一的全景球面坐标。式(1)描述了如何根据单相机像点u_c(其三维坐标用X表示)来计算全景球面像点u(其三维坐标用X′表示)。式中，K_r表示各个鱼眼相机的内部标定参数矩阵，主要包含镜头畸变差、CCD畸变差、焦距、主点位置等^[17]；R_r和T_r分别表示独立相机投影中心在全景坐标系统中的外方位元素角元素矩阵和偏移矢量；K_r、R_r、T_r通过严格的全景相机标定之后即为固定值；m为待求之比例系数。式(2)描述任一球面像点u的三维坐标X′=[x y z]^T必须位于半径为r的球面上，如何最优地选择该半径值可参考文献^{[18, 19]}。联立式(1)、式(2)，可解得m和X′

点击浏览公式

点击浏览公式

获得球面坐标X′后，根据图 1(a)的理想模型可列出3点共线的几何关系。在式(3)中，R、T来分别表示角元素矩阵和线元素矢量，X_A表达对应物方点P的三维坐标，λ为比例系数

点击浏览公式

式(3)所表达的全景相机理想成像模型为大部分文献广泛采用,然而，从图 1(b)可看出，用于表述理想共线条件方程的光束投影SuP与独立相机实际光束投影CuP′是有偏差的。原因即S和C无法严格重合。

文献^[16]提出了一种针对多镜头组合全景相机的严格成像模型，以描述实际光束CuP′，如下式

点击浏览公式

传统框幅式相机立体像对之间的共面条件描述了两个投影中心和同名像点之间的共面关系^{[20, 21]}。同样共面条件也存在于全景立体像对中。图 2中虚线描述了基于理想成像模型的共面关系，即理想球面中心点S和S′、全景像点u和u′及物点P满足共面条件。将基线SS′表示为B=[B_X B_Y B_Z]^T、光线Su表示为V₁=[X₁ Y₁ Z₁]^T=[x₁ y₁ z₁]^T、光线S′u′表示为V₂=[X₂ Y₂ Z₂]^T=R[x₂ y₂ z₂]^T，R为摄站间的相对旋转矩阵，则理想的共面条件方程

点击浏览公式

图 2 全景立体共面条件示意图(虚线:理想模型；实线:严格模型) Fig. 2 Co-planity of the two models (dotline: the ideal model; solid line: the rigorous model)

图选项

相应的，设t₁、t₂分别是立体像对全景球心S、S′与独立相机C、C′的偏移量，t′₂=Rt₂为旋转至左片坐标系下的独立镜头偏移量，则严格的共面条件方程

点击浏览公式

在相对定向元素已知时，可根据共面方程导出核线方程。式(7)是理想模型的核线方程，系数a、b、c完全由相对定向元素确定。传统平面影像的核线是一条直线，而三个维度确定的理想全景影像核线是一个过球心的大圆

点击浏览公式

点击浏览公式

虽然理想全景模型被广泛采用，但是严格全景模型理论上显然更加严密，以下将分别从单光线定位与后方交会，立体像对核线约束等方面分析理想模型的系统误差。

假设方位元素和物方投影面高程已知，可获得投影点的物方平面坐标。不失一般性，仅考虑x方向的系统偏差。如图 3(a)所示，真实物体P′过实际投影中心C，成像于u，物像距离为d，全景理想模型认为投影中心为S，使得P′被移动至P。设z方向为独立相机主光轴方向，侧视角为k，独立相机到球心距离为t，且由于t非常小，Cu≈Su=r，则根据相似三角可得

点击浏览公式

点击浏览公式

图 3 理想全景模型单光线投影误差示意图 Fig. 3 The single ray localization errors of the ideal panoramic models

图选项

类似可分析单光线像方投影误差。如图 3(b)，真实像点u被移动至u′。过C作SP垂线并交之于C′，则根据三角相似可得

点击浏览公式

与物方投影误差相仿，其误差也与侧视角k，物像间距d相关。最大误差近-0.1m，于k=36°，d=16m处取得。

相较于式(6)，式(5)忽视了独立相机到全景球心的偏移量而导致理想模型的核线误差。推导简便起见，相较于B，t₁、t₂是可略的微小量，可将式(6)写为

点击浏览公式

点击浏览公式

点击浏览公式

为验证本文所推导的全景理想模型误差分布的正确性，采用两组典型实际数据进行试验。试验所用的全景相机统一采用LadyBug3系统，其独立鱼眼镜头成像大小为1616像素×1232像素，全景影像球面半径为20m。第1组试验数据在室外环境中采集，采用车载全景相机拍摄了3张影像，间隔1m，并布设8个控制点，控制点由Trimble 5800 GPS接收机搭配全站仪测量获取，3D定位精度约2cm，如图 4(a)所示。第2组试验数据取自室内走廊，5张影像由安置于手推车上的全景相机获取。图 4(b)是采用高精度Rigel VZ1000 LIDAR获取的全景伪影像，其定位精度约3mm。白色三角代表实际控制点，黑色圆圈代表检查点。这两组数据具有明显的差异。室内影像的物距约3～8m，旋转角相对较大，约15°；而室外数据的物距约10～25m，旋角近于0。从式(11)、式(14)可知，投影球面(像距)固定时，物距和旋转角正是理想模型系统误差的关键参数。

图 4 室内外全景数据及控制点 Fig. 4 The indoor and outdoor panoramic images and GCPs

图选项

采用以上两组数据，共设计了3组对比试验。第1组比较两种模型的空间后方交会误差；第2组比较核线误差；第3组进行光束法平差以分析3D定位误差。

表 1显示了空间后方交会的结果。在室外试验中，两个模型的中误差(σ₀)，外方位元素(EO)精度几乎完全一致。从式(11)可知，像方的定位精度受视角大小和物像间距的综合影响；由于室外数据的物距在10～25m之间，即物像间距为-10～5m，使得部分控制点即使位于较大的视角上，也能保证很小的像方定位误差。

与此相反，室内试验显示了两种模型的明显区别。理想模型的σ₀比严格模型精度低2cm，EO的精度也相对较低。由于物距是3～8m，与室外相比，大视角的控制点产生更大的定位误差。括号内是新增了一个位于5号鱼眼相机的控制点的结果，可见理想模型的中误差大大增加，原因是5号相机指向天空，与其他的4个水平指向相机不在同一平面。对严格模型而言，是否引入5号相机控制点，其精度几乎不变。

为验证核线误差，首先从一组立体像对中通过影像匹配精确提取了足够的同名像点，并根据两种模型分别计算了相对定向元素，其中，水平旋转角k为6.88°，其他两个角度为0。然后根据式(7)、式(8)计算右影像核线。取右片同名像点到核线的最小距离代表核线误差。图 5显示了79个同名点的核线误差，严格模型的核线误差(菱形)平均为0.48像素，与匹配精度相当；随着Z坐标的增加，核线误差有微小的增加趋势，可能由相机检校的微小误差引起。而对于理想模型，核线误差(方形)明显更大，平均约1.88像素，并且随着Z坐标的增加而增加。对称实线表示根据式(14)绘制的理想模型核线的理论误差分布，可见理论分布与实际误差的一致性。

图 5 全景相机的核线误差示意图 Fig. 5 The epipolar errors of the two panoramic models

图选项

表 2显示了两种模型的光束法平差结果。在室外试验中，平差中误差(σ₀)与EO的精度几乎一致，严格模型略优。全景影像的σ₀约0.02m，看似与传统平面相机RMSE的微米级相差甚远，然而，20m处的等效像元大小约0.026m，这表示σ₀优于1像素，因此同样符合传统意义上的像点量测精度。全景相机平差的另外一个特点是，σ₀约等于3D前交的精度。这同样可由物距接近20m来解释，即物距约等于全景球面半径，即像距。图 6(a)显示了控制点残差。其中，点K7、K5和H2作为控制点，其余作为检查点；在理想模型中，检查点的平均3D定位误差是0.0568m，在严格模型中是0.0526m，两者基本一致。因此，根据表 2，可知室外试验中两个模型的差异可被忽略；该结论与式(7)的理论分析相符合：绝大多数特征点物像距离在-10～5m之间，使得最大误差不超过0.01m。因此所有连接点误差平差分配后，严格模型只有几个毫米的优势。

图 6 光束法平差3D定位误差示意图 Fig. 6 3D localization check errors of the two panoramic models

图选项

表 2也显示了室内数据两种模型的平差比较，σ₀、EO精度和3D交会误差都有明显的差异。理想模型的σ₀和3D交会误差约0.04m，是严格模型的两倍。图 6(b)显示了检查点残差，P6、P7和P9作为控制点，其余作为检查点。严格模型7个检查点的平均误差是0.0268m，而理想模型是0.0526m，表明室内试验中两种模型的定位结果非常明显。这主要是由于物距约3～8m，即物像距-17～12m，根据式(7)可知，当平均旋角为15°时，将产生约2cm的系统误差。这解释了理想模型的定位误差比严格模型低2cm。

与理想模型相比，严格模型在室内外的表现近乎一致，不受物距、旋角影响，反映了模型的精确性，唯一的区别是检查点的精度。室内检查点精度是0.0268m，与3D交会误差相符；而室外数据的检查点精度是0.05m，大于理论交会误差，这是由于室外GPS控制点的精度仅2cm，若采用高精度控制点，室外检查点精度将会得到提高。

本文分析了一种广泛采用的全景理想成像模型的系统误差，并与严格成像模型作了室内外试验对比。室外试验说明，两种模型的差异微小，都适用于室外的车辆精确定位和3D测量。而室内试验说明，严格模型能够取得更高的定位精度和核线精度。两组试验的差异同时也支持了本文对理想模型误差规律的理论分析：定位误差随着物像间距与视角的增加而增大；核线误差随Z坐标和旋转角的增加而增大。

笔者推荐采用严格模型，尽管其稍复杂于理想模型。因为除了文中的分析，理想模型还有两个较大的缺点：首先，如果立体像对间的旋角过大，例如同名像点出现在0号和5号相机，则可能出现比本文理论分析更大的系统误差；其次，许多组合式全景相机的独立镜头投影中心与全景中心的距离T_r远大于4cm，根据式(4)，这将导致比本文采用的Ladybug3相机更大的系统误差。

然而，全景理想模型在很多应用中也行之有效。首先，室外3D测量的结果与严格模型近乎相当。笔者也测试了长轨迹数千张车载全景影像的平差，两个模型的收敛性近乎一致。更重要的是，很多定位应用并不需要毫米、厘米级的摄影测量精度。如长距离车辆、机器人实时定位，其累计误差将达到数米甚至更高，几个厘米的系统误差完全可被忽略。这也是自动机器人、视觉SLAM等研究领域广泛采用理想模型的原因。