0 引言

对景图是陆地和海上物标与船舶相对位置的缩影, 它可有效帮助航海人员辨别复杂海区目标相对位置、识别航门水道和转向目标, 从而保证船舶的航行安全。当前使用的对景图主要通过 2 种手段获取海上素描和现场拍照。海上素描便于组织实施, 使用的器材较简单, 是制作对景图的重要手段, 但素描对景图对制图人员绘画功底和舰艇的运动状态要求较高, 绘制时间长, 绘制的对景图精度和清晰度不高。现场拍照对景图对拍摄人员和舰艇运动状态要求低, 制作速度快, 目标相对位置准确, 图像清晰直观, 精确度高, 真实感强, 可见, 现场拍照对景图是对景图发展的趋势。但目前现场拍照对景图也存在一些问题, 如图幅不够广, 不能反映整个海区全貌, 数量有限, 不方便查看和调阅等, 而全景技术正好可以解决这些问题。

全景技术是近年来发展起来的一种基于图像的绘制技术, 它具有绘制速度快, 场景显示逼真度高, 导览性和交互性强、可展示 3D 效果, 用户“沉浸”感强, 对计算机硬件要求不高等优点。全景技术可为用户提供超大视野的实景图片和 360° 视角的虚拟漫游, 可让用户在浏览全景时体验到身临其境的真实感和交互感。

本文将全景技术运用到对景图的制作和使用中, 建立了柱面全景图模型, 描述了电子对景图制作技术的基本原理和步骤, 设计并实现了海区场景的浏览, 真实再现了海区陆标的基本情况。

1 柱面全景图模型

全景图像依据其投影平面的形式不同可分为球面全景图、立方体全景图和柱面全景图, 柱面全景图虽不能达到球面和立方体全景图完整地反映整个视点空间的显示效果, 但它也具备以下显著优势：

1) 数据采集相对容易, 所需设备相对简单, 一般普通的相机和三角架即可满足拍摄要求;

2) 图像合成算法和投影算法难度较小, 处理时间较短;

3) 柱面全景图可展开为矩形图像, 能以图像格式进行存储, 方便调用和访问。

虽然柱面全景图只能展现垂直方向上小于 180°, 水平方向上 360° 的局部环视场景, 但航海上使用的对景图只关注海面附近岛屿、助航标志、危险物等物标信息, 并不需要天空和海面信息, 因此, 柱面全景图即可较好地表达出海区环视环境, 能够满足对景图制作的基本要求。本文主要探讨用圆柱面作为映射表面的海区场景图像的拼接与展示。

所谓的柱面全景图是指将采用定点旋转拍摄方式获取的一组具有重叠区域的连续环视图像序列拼合在一起所形成的全景图。拍摄得到的图像序列是海区场景在不同视角方向所对应的视平面上的二维投影, 如图 1(a)所示, 它们具有一部分重叠区域, 但并不在同一投影平面上, 投影存在一定的夹角, 若直接对这些图像进行拼接无法满足全景视觉一致性要求, 且增加了图像匹配的难度, 不能达到较好的拼接效果, 甚至拼合图像在重叠区域会发生局部扭曲现象, 无法满足实际场景中各对象间的几何关系。因此, 在拼接前需进行柱面投影变换, 即将待拼接的图像分别投影到一个以固定视点为中心的假想圆柱面上, 使现实世界中相同的景物在不同的局部图像中相同, 对投影后的柱面图像进行拼接才能得到没有畸变的柱面全景图像。

1.1 柱面投影模型

平面图和柱面投影图的关系如图 1 所示, 图中虚线部分为原始平面图像在圆柱面上的投影图像, 以圆柱中心 O 为坐标原点建立三维空间坐标系, 该点也是投影中心和观测者的视点, 圆柱的半径为相机的焦距 R, 原始图像的宽度和高度均为 W、H, 水平视角为α, 平面图上的任一点 Q₀(x₀, y₀)在柱面上投影点 Q 的二维图像坐标为 (x, y), 二者之间的转换关系为^{[1, 2]}：

$\left\{ {\begin{array}{*{20}{c}} {x = R \times \arctan (\frac{{{x_0} - W2}}{R}) + R \times \arctan \frac{W}{{2R}}{\rm{,}}}\\ {y = \frac{{R \times ({y_0} - H2)}}{{\sqrt {{{({x_0} - W2)}^2} + {R^2}} }} + \frac{H}{2}} \end{array}} \right.$

(1)

1.2 柱面反投影模型

在进行场景漫游时, 为使场景具备较强的真实感和交互感, 需按照用户的输入改变观察方向和焦距, 将柱面全景图实时地映射到与用户观察方向相同的视平面上, 并在屏幕上显示出来, 这一过程通过柱面反投影来实现。柱面反投影是全景图浏览技术的核心, 是柱面投影的逆过程, 用户在全景视点浏览时, 系统需要不断地对全景图某个局部进行反投影运算。根据柱面投影变换公式可推导出柱面反投影变换公式如下^[2]：

$\left\{ {\begin{array}{*{20}{c}} {{x_1} = - R \times \tan \left[ {\frac{{x - R \times \arctan (W/2R)}}{R} - \alpha } \right] + \frac{W}{2}{\rm{, }}}\\ {{y_1} = - \frac{{(y - H2)}}{{\cos \left[ {\frac{{x - R/R\arctan (W2R)}}{R} - \alpha } \right]}} + \frac{H}{2}} \end{array}} \right.$

(2)

2 全景图制作流程

全景图的制作一般包括图像获取、图像投影和图像拼接 3 个步骤。图像拼接是最为关键的一个环节, 拼接效果将直接影响到全景图的质量。图像拼接一般可分为：图像预处理、图像匹配和图像融合 3 个步骤。图像预处理是指对待拼接的 2 幅图像进行几何畸变的消除和图像噪声的抑制。在采集海区柱面全景图的图像序列时, 由于拍摄环境较为标准, 不易产生较大的几何畸变和严重的噪声, 因此可根据具体情况省去这一步骤。

2.1 图像匹配

图像匹配是指提取出 2 幅待匹配图像中的匹配信息, 利用获得的匹配信息找到适合待匹配图像的最佳匹配, 使 2 幅图像能够准确对齐。图像匹配是图像拼接最为重要的一个环节, 图像匹配成功与否直接影响着图像拼接的效果好坏。

图像配准方法大致可以分为两类：基于区域的配准方法和基于特征的配准方法^{[3, 4]}。基于特征的配准方法应用较为广泛, 它具有计算量小、匹配精度高、受光照变化影响较小、抗干扰能力较强等优点。根据提取图像特征的不同, 基于特征的配准方法又可分为基于点特征的配准方法、基于线特征的配准方法和基于面特征的配准方法, 其中基于点特征的配准方法应用最为广泛。

基于点特征的配准方法一般要经过 4 个步骤^{[5, 6]}：

1) 在相邻 2 幅图像上提取特征点

目前, 特征点提取方法有很多, 如：Harris 算法、SUSAN 算法和 SIFT 算法等。其中, David G. Lowe 提出的 SIFT 算法对尺度变化、视角变化、光照变化、噪声等都有很强的鲁棒性, 非常适宜复杂多变海区环境条件下所采集的场景图像特征点的提取, 因此, 本文采用 SIFT 算法进行图像序列特征点的提取。

SIFT 算法在进行特征点提取时首先构建尺度空间, 在图像二维平面空间和高斯差分(DOG)尺度空间中同时检测局部极值, 以确定候选特征点, 再对候选特征点进行精确定位, 通过对尺度空间 DOG 函数的曲线拟合去除不稳定的极值点, 通过设置阀值确定关键点, 利用 Hessian 矩阵剔除边缘响应点。

2) 利用一组参数对特征点进行描述, 生成图像特征点描述符

为了增强匹配的稳健性, 降低噪声干扰, 对每个关键点使用 16 个种子点来描述, 最终形成 128 维的 SIFT 描述符。这种描述符具有尺度和旋转不变性的优点, 能够准确地提取尺度和视角差异较大的相邻图像间的特征点。

3) 对特征点的参数进行匹配, 找出 2 幅图像中相同特征点的对应关系

特征点的匹配通过计算特征点描述符间的欧式距离来实现, 生成特征点描述符后, 通过计算 2 幅图像之间特征点描述符的欧式距离, 可得 2 幅图像的匹配程度, 通过设定匹配度阀值, 即可得到相同特征点的对应关系。

4) 进行图像配准

首先通过匹配点对求解图像间的初始变换矩阵, 为了提高图像配准的精度, 再采用 RANSAC 算法对图像初始变换矩阵进行求解与精炼, 最终得出精确的变换矩阵。

2.2 图像融合

由于受到拍摄时光照差异和相机微小抖动等因素的影响, 相邻 2 幅图像在拍摄过程中必然存在着一定的差异。若直接将存在差异的 2 幅图像进行拼接, 拼接的边界就会产生一条分界线, 导致图像过渡不平滑自然。要解决这一问题就需对图像序列进行图像融合处理, 减小或消除相邻图像所存在的差异, 去掉图像间的拼接缝隙, 以使边界平滑过渡, 让整幅柱面全景图看起来像是在同一时刻、同一光照条件下拍摄的场景。

目前, 图像融合技术发展的比较成熟, 主要方法有直接平均法、加权平均法、中值滤波法、基于塔形分解的图像融合方法和多分辨率样条技术融合法等^{[7, 8]}, 本文采用加权平均法进行图像融合。

该算法将重叠区域相邻 2 张图像像素点的灰度值按一定的权值相加, 结果即为全景图像对应像素点的灰度值, 其公式为^[3-9]：

$Panorama = \frac{{{d_2}}}{{{d_1} + {d_2}}} \times I{ mage}\_L + \frac{{{d_1}}}{{{d_1} + {d_2}}} \times I{ mage}\_R$

(3)

其中：Image_L 和 Image_R 为重叠区域中的某一点在左右 2 幅图像中的灰度值 d₁, d₂ 为重叠区域中的某一点到重叠区域左、右边界的距离

3 电子对景图展示系统的具体实现 3.1 全景图制作

通过手持相机定焦旋转采集同一海区场景的图像序列进行实验, 相邻图像间保持 20% ~ 30%的重叠区域, 图 2 为采集的某海区的图像序列, 图 3 为拼接后该海区的电子对景图, 可以看出利用本文方法可以实现相邻图像的平滑无缝拼接, 拼接后的图像视野范围得到了很大的扩展。相较图 4 的素描对景图, 电子对景图展现的场景更加精细准确, 真实感更强。

3.2 全景浏览与交互的实现

海区全景图拼接完毕后, 还必须要有全景浏览器才能实现交互式的全景浏览。在浏览柱面全景图时, 根据人体视觉特性, 视场中显示的应是一幅幅随着观察角度连续变化的平面图像。本文采用 VS2010 开发出一个全景浏览器, 可实现实时交互式海区场景浏览。如图 5 所示, 浏览器导入 JPG 格式的电子对景图后, 根据用户视线方向和焦距在全景图中截取相应的区域图像, 调用反投影算法将这部分图像呈现到浏览器的显示窗口上。当用户用鼠标进行左移、右移、仰视、俯视操作时, 可从多视角展现航经海区的情况, 当用户用鼠标进行放大、缩小操作时, 可在不同距离上显示海区情况。缩小时展现海区概况, 视域较广, 放大时展现岛屿、助航标志的细节信息, 相对图 4 的素描对景图来说, 展现的细节更加细腻。

4 结语

基于柱状全景图的电子对景图展示系统为航海人员浏览虚拟海区环境提供了一种全新的方式, 可有效解决目前航海上对景图制作和使用过程中存在的诸多问题。该系统具备视角多样、视域广阔、真实逼真、交互性强的优点, 可让航海人员身临其境的处于虚拟海区环境中, 在观看逼真的海区实景图像同时, 完成交互功能, 从而使航海人员可以更加快速、准确地了解海区情况和辨认海区陆标。