人类在日常生活中可以不间断地处理大量获取来自外界的信息，如在高速公路上驾驶汽车，或在拥挤的街道上行走。在认知科学中，人们一致认为，人类可以高效地处理面临的大量数据是由于我们能够优先考虑视觉场景的某些方面，而忽视其他方面。这是人类的一种视觉注意力机制，是一种认知过程，通过选择相关信息，过滤掉不相关的刺激，使人类能够解析大量的视觉数据，从而在有限的资源下实现性能的最大化^[1]。机器人虽然做不到人类这样，但这种视觉注意力机制是值得机器人自主定位导航借鉴的。

国内外学者开展了很多通过主动特征选择提高视觉SLAM和视觉里程计性能的研究。Ouerhani等^[2]利用注意的路标点构建拓扑地图，在导航过程中，利用相同的视觉注意模型检测最突出的视觉特征，与注意的路标点相匹配获取特征点。Newman等^[3]考虑一个装备了相机和激光测距仪的机器人，并利用基于外观的视觉显著性概念进行特征选择，提高SLAM回环检测的稳定性，在室内环境中可以很好地检测到回环(大约100 m)。Sola等^[4]指出尽管许多特征可能在机器人环境的给定视图中可见，只有少数这样的特征是估计机器人的位置和方向所必需的。它们利用共视性作为标准，自动选择特征最优集。Frintrop等^[5]使用注意力框架进行特征选择和主动视角控制，能够克服使用相对较小视野的单目视觉SLAM系统的一些限制，提高姿态估计的准确性。该特征选择系统是基于VOCUS模型的^[5]，其包含一个自底向上的注意力系统(根据特征外观计算显著性)，还包含一个自顶向下的机制(考虑任务性能)。Hochdorfer等^[6]提出了一种基于区域覆盖的特征点评级和选择机制，解决了随着特征数量不断增加，运算资源占用率越来越高的问题，为SLAM算法在服务机器人整个生命周期中的应用，甚至在不同的环境中的应用做出了贡献。Strasdat等^[7]提出了一种基于强化学习方法的特征选择，减轻了机器人在SLAM建图中的计算负担。Shi等^[8]提出了一种特征选择方法来提高SLAM中数据关联的鲁棒性，防止了不好的特征被初始化，更好地保证了SLAM估计的一致性。Cvisic等^[9]通过稳定的特征选择加速了立体视觉里程计的计算，减少了SLAM轨迹漂移，该特征选择是基于统分的(将特征均匀地分布在整个图像中)和基于外观的排名。最近在计算机视觉领域的研究表明利用注意力机制可以减少神经网络的计算负担。Mnih等^[10]通过引入瞥见的概念，减少了使用递归神经网络进行目标检测和跟踪的步骤，可以在图像感兴趣的区域提供更高的分辨率。文献[11]是最早使用信息理论结构来推理视觉特征的论文之一，提出了一个基于模型的跟踪问题，在该问题中，运动相机的状态必须通过对已知特征的观察来估计。

视觉SLAM在面对快速变动场景时，由于缺乏可跟踪特征，基于视觉的感知技术往往会失败。这是一个众所周知的问题，在文献中经常被讨论(例如，见文献[12-13])。本文基于环境和相机运动状态的相互关联性而产生的特征效用，引入预测机制，利用注意力和预测选择特征来减少跟踪特征的丢失，通过滤去那些将丢失在视野中的特征点，增加SLAM系统的稳定性，特征选择器知道机器人的意图(未来的运动)，并相应地选择更有可能出现在未来视野中的特征，可以用更少的含信息多的特征点来提高优化效率。

1 注意力和预测机制

本文提出的注意力和预测机制是从当前帧检测到的特征 ${\boldsymbol{F}}$ 中选择子集 ${\boldsymbol{S}}$ 传递给SLAM后端进行非线性优化，整体流程如图1所示。

为了最大限度地提高运动估计的性能，特征子集应该最多具有 $\kappa $ 个特征，这些特征对于减少基于视觉状态估计的不确定性是最有效的。可以把这个问题先简单地表述为

$ \mathop {\max }\limits_{{\boldsymbol{S}} \subset {\boldsymbol{F}}} \;f({\boldsymbol{S}}), \;\left| {\boldsymbol{S}} \right| \leqslant \kappa $

(1)

这个问题的解决依赖于度量方程 $f$ 的选择，它将量化特征子集的可行性。特征选择与控制理论中的传感器布置问题有着密切的联系，尽管由于二元选择变量的引入，传感器选择问题已被证明是NP-hard问题^[14]，如著名的旅行商问题，但最近的研究结果表明利用子模块代价函数、贪婪算法能够近似地找到式(1)的解，同时保证其次优性^[15]。本文确定了度量方程，该度量可以表示子模块性，可以量化状态估计的不确定性。更重要的是，通过它应该能得到最相关的特征点。1)该度量必须鼓励选择最显著的特征，因为这些特征更有可能在连续帧中被重新观察到。2)度量必须奖励那些在视场中停留较长时间的特征。因此，预测是一个关键的方面:利用度量必须知道，在一定的运动下，哪些特征更有可能留在相机的视场中。3)度量必须奖励提供更多信息的特征，以减少不确定性。

本文的方法受Carlone等^[16]的启发，文中提出了两种量化特征子集可行性的度量，最小特征值 ${\lambda _{\min }}$ 度量和行列式logdet度量，并且通过严谨的数学证明，证明了logdet度量的可行性。在式(1)之后，使用logdet度量^[16]来计算状态估计不确定性。设 $k + 1$ 为获得一个新选择特征集的时刻，则 ${x_k}$ 中包含前一帧的优化位姿，这是优化后端的最新位姿估计(见图2)，注意到在前一帧k和当前帧k + 1之间将进行特征选择。用 ${\widehat {\boldsymbol{x}}_{k:k + H}} { \buildrel \Delta \over = } \left[ {{{\boldsymbol{x}}_k}{{\widehat {\boldsymbol{x}}}_{k + 1}} \cdots {{\widehat {\boldsymbol{x}}}_{k + H}}} \right]$ 表示在H时间段上的状态向量，其中 ${\widehat {\boldsymbol{x}}_{k + 1:k + H}}$ 是待优化的预测的状态向量。此外，设 ${{\boldsymbol{P}}_{k:k + H}}$ 为与 ${\widehat {\boldsymbol{x}}_{k:k + H}}$ 关联的估计误差的协方差矩阵，它的逆矩阵称为信息矩阵，表示为 ${{\boldsymbol{\varOmega}} _{k:k + H}} { \buildrel \Delta \over = }{\boldsymbol{P}}_{k:k + H}^{ - 1}$ 。有了这些定义后，logdet度量可以写成

$ \begin{array}{l} {f_{\det }}(S) = \log \det ({{\boldsymbol{\varOmega}} _{k:k + H}}({\boldsymbol{S}})) = \log \det \left(\displaystyle\sum\limits_{l \in S} {{p_l}} {{\boldsymbol{\varDelta}} _l}\right) \end{array} $

(2)

式中： ${{\boldsymbol{\varDelta }}_l}$ 是第 $l$ 个特征的信息矩阵； ${p_l}$ 是第 $l$ 个特征被跟踪到的概率，其可以通过对特征检测得分进行归一化得到^[8]，保证信息较多的特征更容易保留，这是一种期望的行为。

1.1 贪婪算法

本文使用带有延迟求值^[17]的贪婪算法^[18]选择 $\kappa $ 个特征(近似的)最大化logdet度量。作为输入，需要一定数量的特征 $F$ 供系统选择，每个新特征点的预测信息矩阵 ${\left\{ {{{\boldsymbol{\varDelta}}_l}} \right\}_{l \in F}}$ ，以及未来H时间段的信息矩阵 ${\bar {\boldsymbol{\varOmega}} _{k:k + H}}$ 。为了保持对特征跟踪的一致性，需要对之前确定的有用的特征进行跟踪。当在未来帧中检测到这些特征时，它们将自动传递给优化后端。

算法1　带有延迟求值的贪婪算法

1)输入 ${\bar {\boldsymbol{\varOmega}} _{k:k + H}}$ ， ${{\boldsymbol{\varDelta}} _l}$ ， $l = 1,2, \cdots ,N$ 和 $\kappa $ ，令 ${S^\# }{\text{ = }}\phi $ ；

2) for循环 $i = 1,2, \cdots ,\kappa $ ；

3)计算 $f({S^\# } \cup \left\{ l \right\})$ 上界， $\left[ {{U_1},{U_2}, \cdots ,{U_N}} \right]=\left( {{\bar \varOmega }_{k:k + H}},\right. $ $ \left.{{\boldsymbol{\varDelta}} _1},{{\boldsymbol{\varDelta}} _2}, \cdots ,{{\boldsymbol{\varDelta}}_N} \right)$ ；

4)根据上界值对特征点进行降序排序， ${F^ \downarrow } = $ $ {\text{ sort}}\left( {{U_1},{U_2}, \cdots ,{U_N}} \right)$ ；

5)初始化， ${f_{\max }} = -1$ ， ${l_{\max }}{\text{ = }} - 1$ ；

6) for循环 $l \in {F^ \downarrow }$ ；

7)如果 $ {U}_{l}<{f}_{\mathrm{max}} $ ，则跳出循环；

8)如果 $ f({S}^{\#}\cup l)>{f}_{\mathrm{max}} $ ，则 ${f_{\max }}{\text{ = }}f({S^\# } \cup l)$ ， ${l_{\max }} = l$ ；

9) ${S^\# } = {S^\# } \cup {l_{\max }}$ 。

1.2 视觉特征信息矩阵

本文使用线性测量模型，它简化了非线性透视投影模型，并且可以进行有效的计算。为此，必须将像素测量表示为想要估计的未知状态的线性函数。假设 ${{\boldsymbol{u}}_{hl}}$ 是 $h$ 时刻第 $l$ 特征在相机坐标系下的像素观测，它满足：

$ {{\boldsymbol{u}}_{hl}} \times ({\left( {{\boldsymbol{R}}_{{\text{cam}},h}^W} \right)^{\text{T}}}(p_l^W - {\boldsymbol{t}}_{{\text{cam}},h}^W)) = {{\bf{0}}_3} $

(3)

式中： $p_l^W$ 是特征点 $l$ 在世界坐标系下的位置；( ${\boldsymbol{R}}_{{\text{cam}},h}^W$ , ${\boldsymbol{t}}_{{\text{cam}},h}^W$ )是相机在 $h$ 时刻的位姿。该模型的物理意义是在相机坐标系下的像素观测方向和测量方向共线，如图3所示，其中叉乘度量了其共线性的偏差。在以 ${\hat {\boldsymbol{x}}_{k:k + H}}$ 状态函数的状态空间形式下形成一个线性系统，把这个问题当作一个最大似然估计问题^[19]来解决，这样就能从特征点提供的 ${\hat {\boldsymbol{x}}_{k:k + H}}$ 中提取出H时间段的信息矩阵^[20]。

将时间段内每个时刻的状态定义为 ${{\boldsymbol{x}}_h} = $ $ [\varphi {{\boldsymbol{t}}_{{\text{cam}},h}^W} ]$ (机器人的预测姿态)，其中 ${\boldsymbol{\varDelta}} {\boldsymbol{R}} = \exp \left( {{\varphi ^ \wedge }} \right)$ ， $\widehat {\boldsymbol{R}}{\text{ = }} \exp \left( {{\phi ^ \wedge }} \right)$ ， ${\boldsymbol{R}}_{{\text{cam}},h}^W{\text{ = }}\exp \left( {{\varphi ^ \wedge }} \right)\exp \left( {{\phi ^ \wedge }} \right)$ ，为了之后公式的表达方便，将 ${\boldsymbol{R}}_{{\text{cam}},h}^W$ 、 ${\boldsymbol{t}}_{{\text{cam}},h}^W$ 表示为 ${\boldsymbol{R}}$ 和 ${\boldsymbol{t}}$ ，然后用这些量参数化线性系统。将式(3)的左边表示为 $f(\varphi ,{\boldsymbol{t}})$ ，并用全微分公式^[21]将其线性化：

$ f(\varphi ,{\boldsymbol{t}}) = f(\hat \varphi ,\hat {\boldsymbol{t}}) + \frac{{\partial f}}{{\partial \varphi }}{|_{(\hat \varphi ,\hat {\boldsymbol{t}})}}(\varphi - \hat \varphi ) + \frac{{\partial f}}{{\partial t}}{|_{(\hat \varphi ,\hat {\boldsymbol{t}})}}({\boldsymbol{t}} - \hat {\boldsymbol{t}}) $

(4)

式中： $\dfrac{{\partial f}}{{\partial t}}{|_{(\hat \varphi ,\hat {\boldsymbol{t}})}} \;=\; \dfrac{{\partial f}}{{\partial t}}{|_{(0,\hat {\boldsymbol{t}})}}\;=\; - {{\boldsymbol{U}}_{kl}}$ ， $\dfrac{{\partial f}}{{\partial \varphi }}{|_{(\hat \varphi ,\hat {\boldsymbol{t}})}}\;= \;\dfrac{{\partial f}}{{\partial \varphi }}{|_{(0,\hat {\boldsymbol{t}})}}\; = \; $ $ {{\boldsymbol{U}}_{kl}}{(\hat {\boldsymbol{R}}{\boldsymbol{p}})^ \wedge }$ 。

第 $l$ 特征在时间段 $H$ 内的贡献为 ${{\boldsymbol{\varDelta}} _l}$ 可以表示为

$ {{\boldsymbol{\varDelta}} _l} = {{\boldsymbol{A}}^{\rm T}}{\boldsymbol{A}} $

(5)

$ {\boldsymbol{A}} = \left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{U}}_{kl}}{{({{\hat {\boldsymbol{R}}}_k}{{\boldsymbol{p}}_l})}^ \wedge }}& \cdots &{ - {{\boldsymbol{U}}_{kl}}} \\ \vdots &{}& \vdots \\ {{{\boldsymbol{U}}_{(k + H)l}}{{({{\hat {\boldsymbol{R}}}_{k + H}}{{\boldsymbol{p}}_l})}^ \wedge }}& \cdots &{ - {{\boldsymbol{U}}_{(k + H)l}}} \end{array}} \right] $

(6)

最后将其用在贪婪算法中。

2 实验分析

为了测试本文的方法，使用EuRoC数据集^[22]，该数据集是使用一个配备了视觉惯性^[23]传感器的AscTech Firefly六旋翼飞行器采集的，其包含简单场景和复杂场景。在本文中，使用收集自一个工厂大厅环境的数据集MH01-easy、MH02-easy、MH03-medium、MH04-difficult、MH05-difficult，随着场景复杂度提高，飞行器速度依次递增且有更多的急转弯。为了更好地说明算法的效果，对比了ORB-SLAM2^[24]和Random两种情况，ORB-SLAM2是不添加本文算法的SLAM系统，Random是一种在ORB-SLAM2选择好特征点的帧上随机地选择跟本文算法同样数量特征点的情况。使用ATE(绝对轨迹误差)中的RMSE(均方根误差)，即 ${\rm{RMSE}}({{{F}}_{1:n}}): = {\left( {\dfrac{1}{n}\displaystyle\sum\limits_{i = 1}^n {\left\| {{\rm{trans}}{{({{{F}}_i})}^2}} \right\|} } \right)^{1/2}}$ ( ${\rm{trans}}({{{F}}_i})$ 为位姿误差)作为比较标准^[25]，结果如图4所示。虽然本文算法的绝对轨迹误差平均比ORB-SLAM2大0.025 m，但相对这5个工厂数据集真值轨迹长度来说是很小的，值得关注的是我们只传递了20个特征点去SLAM后端优化。而随机选择的Random随着场景复杂度的不断提高误差也在不断增大，在MH05-hard中更是达到了0.259 m的误差。

为了更好地理解所提出方法所带来的性能提升，在图5按时间顺序给出了生成的一些快照。每个子图显示了关键帧中待选择特征(绿色方块)和选择的特征(加粗黑色方块)。这些关键帧是MH03-medium数据集向左急转弯时获取的。注意到两幅图选择的特征大部分都集中在画面左侧，也就是相机急转弯的方向，随着相机的运动这些特征更有可能保持在视野中。这是因为，本文所提出的注意力和预测机制充分利用了平台的即时运动信息。在图6中给出了ORB-SLAM2、Random和本文算法运行在MH05-difficult的轨迹图。从图6中都可以看出，本文的算法虽然没有ORB-SLAM2跟地面真值贴合度那么高，但却明显优于Random。

3 结束语

本文提出的注意力和预测机制保留了前端检测到的含信息最丰富的视觉特征，并将其反馈给估计后端。该机制的特点：1)本质上具有预测性，能够感知机器人未来的运动，并据此选择特征。正如我们在实验中看到的，在急转弯和快速变动的情况下能确保定位的准确性。2)它具有贪婪性，利用带有延迟求值的贪婪算法保证了logdet度量的次优性。本文在EuRoC工厂大厅环境数据集中进行了大量特征选择实验，实验结果表明本文加入的注意力和预测的特征选择算法对SLAM系统性能影响很大，使用很少的特征点也能达到定位的精度要求。

以后的研究中，将进一步研究如何联合优化视觉和IMU，以提高注意力和预测机制的稳定性和适应性。