街景地图以球面全景序列的方式记录城市道路沿线的景观^[1]，除了具有漫游功能，还包含着丰富的商业、市政与交通等信息。将这些感兴趣的点(point of interest，POI)进行采集并用地理信息系统管理起来，可以产生巨大的经济效益与社会效益。

Fangi利用两幅球面全景影像在相对定向的基础上进行前方交会测量^[2]，又加入几何约束来改善测量方法^[3]；李德仁等使用移动测量车获取的带外方位元素的立体像对进行直接地理定位^[4]；Manandhar等利用车载激光点云进行城市目标自动提取^{[5, 6]}；Geng等将可见光影像与激光点云相结合来进行城市目标提取^[7]；Anguelov等利用点云生成的深度图辅助全景影像进行定位^[8]; 柯晓龙等通过街景影像与激光点云的高精度配准来实现广告牌的量测^[9]。

本文将相机到地面的垂距作为长度参考，利用街景中地平面、竖直线与竖直面三种几何结构作为约束条件，使其与全景球心到球面像点的投射光束相交，实现了基于单幅全景影像的POI快速定位方法。实验证明，该方法简单高效，能够集成到街景地图服务中供普通用户使用，且其定位精度满足应用需求。

1 街景中的坐标转换 1.1 经纬映射图到球面经纬度

计算机存储的是球面全景的经纬映射图，其图像坐标(x, y)与球面经纬度(θ, φ)的转换关系如图 1所示^[2]。

转换公式为：

$\left\{ \begin{align} & \theta =x/r \\ & \varphi =y/r \\ \end{align} \right.$

(1)

式中，r=h/π，h为经纬映射图高。

1.2 球面经纬度到全景相机坐标系

全景相机坐标系即球心直角坐标系，经纬度(θ, φ)到(X^*, Y^*, Z^*)的转换关系如图 1所示。将经纬度转换为与全景球共心的单位球的球面坐标(X_s, Y_s, Z_s)公式为：

$\left\{ \begin{align} & {{X}_{s}}=\sin \varphi \sin \theta \\ & {{Y}_{s}}=\sin \varphi \cos \theta \\ & {{Z}_{s}}=\cos \varphi \\ \end{align} \right.$

(2)

可以用该球面坐标来表示射线方程：

${{\left[ {{X}^{*}}\quad {{Y}^{*}}\quad {{Z}^{*}} \right]}^{\text{T}}}=\lambda {{\left[ {{X}_{s}}\quad {{Y}_{s}}\quad {{Z}_{s}} \right]}^{\text{T}}}$

(3)

式中，λ是正的比例系数，是球心O到目标点P的长度。因此，式(3) 就是投射光束在球心直角坐标系下的空间方程。

1.3 全景相机坐标系到世界坐标系

全景相机坐标系到世界坐标系的转换需要两步^[10]：① 相机坐标系到惯导坐标系，旋转矩阵R_cⁱ与平移矩阵T_cⁱ由标定参数计算；② 惯导坐标系到世界坐标系，旋转矩阵R_i^w与平移矩阵T_i^w由定位定姿系统(position and orientation system，POS)数据提供的外方位元素解算，如图 2所示。

转换公式如下：

$\mathit{\boldsymbol{R}}_{c}^{w}=\mathit{\boldsymbol{R}}_{i}^{w}\mathit{\boldsymbol{R}}_{c}^{i}$

(4)

$\mathit{\boldsymbol{R}}_{c}^{w}=\mathit{\boldsymbol{R}}_{i}^{w}\mathit{\boldsymbol{R}}_{c}^{i}$

(5)

$\mathit{\boldsymbol{T}}_{c}^{w}=\mathit{\boldsymbol{R}}_{i}^{w}\mathit{\boldsymbol{T}}_{c}^{i}+{{\mathit{\boldsymbol{T}}}_{i}}^{w}$

(6)

式中，X^T是世界坐标系坐标；X^*T是相机坐标系坐标。

2 街景中的几何约束

城市的人工目标包含近似结构化的几何元素：① 地面可以认为是一个平整且与全景相机的竖轴线垂直的水平面；② 灯杆、电线杆与广告牌支架等可以认为是与地面有交点的竖直线；③ 建筑立面可以认为是与地面有交线的竖直面。如图 3所示，标记为“A”的目标位于水平面，标记为“B”的目标位于竖直线，标记为“C”的目标位于竖直面。根据全景相机到地面的已知高度值，可以推导水平面、竖直线与竖直面的空间方程。

在图 4、图 5与图 6中，水平面π是地面，点O是全景球的球心，点P是目标点，P′是P在全景球面上对应的像点。全景相机与地面距离H，即线段OO′的长度是已知的。全景球心O、像点P′、地物点P三点满足共线条件。

2.1 水平面约束

如图 4所示，目标点P位于地平面π上。利用光束OP′与平面π相交，便可以得到目标点P的地理坐标。

在相机坐标系中，地平面π的方程为：

${{Z}^{*}}=-H$

(7)

联立式(3)、式(7) 解算比例系数λ：

$\lambda =-H/{{Z}_{s}}$

(8)

将式(8) 代入式(3) 得到P点在相机坐标系中的位置，再利用式(6) 可以得到其世界坐标。

2.2 竖直线约束

如图 5所示，竖直线l与地平面π有交点M，目标点P位于l上。利用光束OP′与直线l相交，便可以得到目标点P的地理坐标。

点M是地平面π上的点，可以用水平面约束的方法计算其坐标(x_r, y_r)，进而可以得到竖直线l在相机坐标系中的空间方程：

$\left\{ \begin{align} & {{X}^{*}}={{x}_{r}} \\ & {{Y}^{*}}={{y}_{r}} \\ \end{align} \right.$

(9)

联立式(3)、式(9) 解算比例系数λ：

$\lambda =\frac{1}{2}({{x}_{r}}/{{X}_{s}}+{{y}_{r}}/{{Y}_{s}})$

(10)

将式(10) 代入式(3) 得到P点在相机坐标系中的位置，再利用式(6) 可以得到其世界坐标。

2.3 竖直面约束

如图 6所示，竖直面η与地平面π有交线l，上面可以找到不重合的两点M₁和M₂。目标点P位于η上，利用光束OP′与竖直面η相交，便可以得到目标点P的地理坐标。

点M₁与M₂是地平面π上的点，可以用水平面约束的方法计算其坐标，分别是(x_r1, y_r1)与(x_r2, y_r2)，进而可以得到竖直面η在相机坐标系中的空间方程：

$\frac{{{X}^{*}}-{{x}_{{{r}_{1}}}}}{{{x}_{{{r}_{2}}}}-{{x}_{{{r}_{1}}}}}=\frac{{{Y}^{*}}-{{y}_{{{r}_{1}}}}}{{{y}_{{{r}_{2}}}}-{{y}_{{{r}_{1}}}}}$

(11)

联立式(3)、式(11) 解算比例系数λ：

$\lambda =\frac{{{x}_{{{r}_{1}}}}{{y}_{{{r}_{2}}}}-{{x}_{{{r}_{2}}}}{{y}_{{{r}_{1}}}}}{{{X}_{s}}({{y}_{{{r}_{2}}}}-{{y}_{{{r}_{1}}}})-{{Y}_{s}}({{x}_{{{r}_{2}}}}-{{x}_{{{r}_{1}}}})}$

(12)

将式(12) 代入式(3) 得到P点在相机坐标系中的位置，再利用式(6) 可以得到其世界坐标。

3 方法流程

利用本文提出的基于几何约束与单幅全景影像的兴趣点快速定位方法，可以在三维渲染的全景球上量测，直接获得球面经纬度；也可以在经纬映射图上量测，获得平面像素坐标。从经纬映射图的像素坐标计算目标的世界坐标的具体流程图如图 7所示。

1) 确定点的几何属性。点的几何属性分为地平面上的点、竖直线上的点与竖直面上的点。如果地面起伏大，或者竖直线、竖直面与地面相交处被遮挡，则无法使用该方法进行定位。

2) 将经纬映射图上的像素坐标先转换为球面经纬度坐标，再转换为球心直角坐标系下的投射光束方程。

3) 确定几何约束的空间方程：地平面由全景相机高确定方程；竖直线先确定与地面的交点坐标，进而确定线方程；竖直面先确定与地面交线上的任意两个点坐标，进而确定面方程。

4) 利用步骤2) 获得的投射光束与步骤3) 获得的水平面、竖直线与竖直面相交，便可以计算出兴趣点在球心直角坐标系下的位置。

5) 利用全景相机与惯导之间的标定参数，可以将球心直角坐标系转换到惯导坐标系；利用GPS与惯性测量单元(inertial measurement unit，IMU)获得的全景外方位元素，可以将惯导坐标系转换到世界坐标系。

4 实验与分析

本文使用分辨率为12 000像素×6 000像素的全景影像，其使用各镜头间的标定参数来确定拼接模板，确保拼接过程没有严重的拉伸与扭曲。测量范围限制在距全景相机中心45 m的范围内，这个距离已经足够覆盖街道两侧的兴趣点。对于远处的目标，则可以使用摄影中心与其最接近的全景图像测量。

使用9个地面上的检查点、5个竖直线地物上的检查点以及5个竖直面地物上的检查点进行测量精度分析，分析结果如图 8所示。

测量的误差分析结果为：点位RMS为1.891 m; 平面RMS为1.720 m; 高程RMS为0.785 m。

分析图 8及误差分析结果，可以得到如下结论：

1) 平面坐标存在一定的系统偏差，这是由曝光延迟、标定误差与拼接误差等综合因素造成的，在可控范围内。

2) 高程精度优于平面精度，因为地面点高程是直接用GPS测得的相机高与相机到地面垂距的差值直接估算的，误差较小。

3) 利用本文的方法对兴趣点进行快速地理定位, 点位精度能达到1.891m, 满足兴趣点采集的应用需求。