自动化学报  2017, Vol. 43 Issue (4): 493-508   PDF    
机器人室内语义建图中的场所感知方法综述
朱博1, 高翔1, 赵燕喃1     
1. 南京邮电大学自动化学院 南京 210023
摘要: 场所感知问题是机器人语义地图研究的关键问题之一,本文对室内语义地图相关的场所感知方法进行全面综述.首先,根据近年的文献给出场所概念的描述性定义,对研究中涉及的相近术语和概念进行辨析,澄清研究对象和研究主题.然后,根据实现场所感知目标所采用的线索对已有方法进行分类介绍.主要分成3个大类:基于环境布局几何信息的方法、基于环境布局视觉信息的方法、基于用户指导信息的方法,其中各类又根据所用信息特点细分为若干子类.除此之外,将一些特殊研究方法单独归类进行补充说明.阐述各类别方法对场所感知问题的解决思路和工作原理,并指出各种方法特点和局限性.最后,分析了该领域存在的主要问题,并对未来研究方向进行了讨论和展望.
关键词: 场所分类     语义建图     室内语义地图     场所感知     语义场所标注    
Place Perception for Robot Indoor Semantic Mapping: A Survey
ZHU Bo1, GAO Xiang1, ZHAO Yan-Nan1     
1. School of Automation, Nanjing University of Posts and Telecommunications, Nanjing 210023
Received: 2016-04-19, Accepted: 2016-11-08.
Foundation Item: Supported by National Natural Science Foundation of China (61603195), Natural Science Foundation of Jiangsu Province (BK20140878), Incubation Project for National Natural Science Foundation Project of Nanjing University of Posts and Telecommunications (NY215131), and Introduction of talent research start-up fund of NUPT (NY214018)
Author brief: GAO Xiang Professor at the School of Automation, Nanjing University of Posts and Telecommunications. Her main research interest is robot sensing technology;
ZHAO Yan-Nan Bachelor student at the School of Automation, Nanjing University of Posts and Telecommunications
Corresponding author. ZHU Bo Lecturer at the School of Automation, Nanjing University of Posts and Telecommunications. He received his Ph. D. degree from Southeast University in 2014. His research interest covers robot environment perception, robot vision, and semantic mapping. Corresponding author of this paper
Recommended by Associate Editor XU Xin
Abstract: Place perception is a key problem in the robot semantic map research area, and a comprehensive survey of place perception related to indoor semantic mapping is presented in this paper. Firstly, a descriptive definition of place concept is given according to the latest research literature. On the other hand, some similar terms and concepts involved in this research are discriminated in order to clarify the research object and theme. Then, the existing methods are classified in terms of the clues which are used to implement the place perception targets. There are mainly three categories:the methods based on geometry information of environmental layout, the methods based on visual information of environmental layout, and the methods based on user guiding information. Each category can be further divided into some sub-categories according to the characteristics of used information. Besides, some particular methods are also described as an additional category. The ideas and principles used in all methods for solving place perception problem are comprehensively introduced, and the characteristics and limitations of these methods are also pointed out. Finally, some potential issues are analyzed, and probable future research directions are discussed.
Key words: Place categorization     semantic mapping     indoor semantic map     place perception     semantic place labeling    

近年来, 服务机器人技术的突飞猛进加快了其全面进入寻常百姓生活的步伐.在此进程中, 人们发现人与机器人间仍然存在着巨大的交互障碍.例如:尽管通过语音识别技术, 机器人能够获得某些语义符号, 但是其难以理解符号的真正含义, 并将符号接地到 (Grounding) 真正的指代对象, 造成机器人难以理解用户意图.上述问题的解决受制于语义层技术的发展程度, 语义地图技术是该领域重要研究内容之一.与室内场所有关的一类重要语义通常被称为"场所语义"或"场所概念 (Place concept)", 例如客厅、餐厅、走廊等.与之相应的场所感知技术是语义地图技术研究的关键问题之一, 现已形成新的研究热点.

在场所感知技术支持下, 所创建的语义地图将具有与人类相容的场所语义标签、空间范围和内涵属性等特质, 从而能够促使服务机器人更加有意义地推理、规划、决策、实施和完成室内服务任务, 并且可以使用人类能够理解的场所概念进行自然交互.服务机器人场所感知功能的缺失, 不仅会引起交互障碍, 而且将导致很多服务任务难以顺利或类人地实现.例如:机器人在不知道"卧室"概念时, 不能在该场所中适时降低运行速度、保持轻声, 更一般情况下, 机器人无法在特定场所内采取恰当行为.

"场所"本意为人类从事某种特定活动的处所, 英文文献中与之对应的单词为"Place".为明确研究对象并展开有关讨论, 本文综合现有研究资料, 给出"场所"的一般描述性定义: "位于人类活动空间中, 由人类思维根据某些线索抽象出的可由符号标签指代且具有一定语义内涵的空间区域".而"场所感知"问题指机器人如何将"场所"作为一个完整的语义实体, 感知其存在性以及其他多种属性, 并保持感知过程和结果与自然人认知行为相容.场所感知研究旨在研究如何使机器人从较高抽象概念层次上理解所处环境, 得到有关环境的抽象知识 (如场所语义符号、范围标识、功能属性等), 进而研究如何为其他任务提供交互、指代、操作对象和上下文知识, 为任务规划和执行提供场所语义支持.场所感知研究的一般思路:基于某种机制或原理, 在机器人内部建立抽象场所概念模型 (结构); 通过与该机制相应的离线或者在线学习算法, 获得模型参数; 当机器人在环境中运行时, 传感器不断采集环境数据, 抽象模型随之具象化, 形成环境场所的在线表达, 以符号、图形、数据结构等形式输出.场所感知研究的一个核心问题是如何建立抽象场所概念模型, 不同方法建立模型的出发点不同, 导致机器人的感知行为和结果不尽相同.

从2005年前后开始, 国外许多科研院所对场所感知问题开展了多方位研究, 相继出现一些大型支持项目, 典型的如:欧盟第六框架 (EU FP6) 下的CoSy[1]和COGNIRON[2]以及欧盟第七框架 (EU FP7) 下的CogX[3]等.目前, 该领域研究仍颇为活跃, 一些实验室已出现能在小范围内运行的原型系统, 研究人员还在不断将新观念、新理论、新方法与领域问题结合, 探索终极解决之道.相比较而言, 国内在该领域研究相对不足:一些工作仍停留在算法研究, 罕有系统性研究, 在完整应用平台建设方面投入不足.

需要指出的是, 目前对"场所"概念的界定及场所感知研究范畴的划分尚未形成共识, 尽管如此, 并不影响相关研究的开展, 众多研究人员根据自己对问题的理解给出了有价值的研究成果.不同场所感知方法从不同角度研究了场所感知问题.按研究侧重点分, 相关研究可以分为研究学习机制的方法、研究特征构造的方法、基于人机交互的方法等; 按照研究范式分, 相关研究可以分为传统机器学习方法、仿认知行为方法、仿认知生理方法等; 按照场所感知线索 (或称场所语义信息来源类型) 划分, 相关研究可以分为基于环境布局几何信息的方法、基于环境布局视觉信息的方法、基于用户指导信息的方法等.本文以上述第三种划分方式分别综述有关研究现状, 其中各类方法进一步根据所用信息特点细分出若干子类 (见图 1).

图 1 场所感知方法分类 Figure 1 The category of place perception methods

为方便读者更加完整地了解相关研究领域现状, 给出一些与本文有关的综述性文章, 比较异同, 明确本文所处地位.文献[4]综述了近年来移动机器人在语义建图方面的成果, 其涉及内容包括室内、室外环境下多类别语义 (形状、物体等) 的提取与地图构建.与之相比, 本文将关注重点放在室内语义地图创建任务, 并仅对与"场所语义"有关的感知方法进行综述, 可以看作是对文献[4]在室内场所语义方面综述内容的细化和扩充.文献[5-6]对基于图像的场景语义分类研究进行了综述, 该研究领域中的室内场景分类研究与机器人背景下的相关研究有相似之处, 但研究目标不尽相同, 最主要是缺乏对场景在三维空间中布局形式 (目标位置、大小、姿态等) 的考量.近年, 室内场景分类与机器人环境感知研究互相交叉渗透, 出现一类关注于提取场所语义的方法, 可以看作是场景分类研究在机器人背景下的推广, 一些典型方法在后文综述.机器人室外自然场景理解研究方面,文献[7]对有关问题给出了全面的综述.

1 概念辨析

本节在进一步明确场所概念要素的基础上, 尝试比较相近术语.

1.1 场所概念的要素

由引言中场所概念的描述性定义可知, 其包括如下要素:

1) 场所具有空间属性.人类从事的室内活动总是在一定空间区域中进行, 不同场所通常位于不同的空间区域, 有时不存在明确物理边界.

2) 场所具有语义属性.自然人选择在某一空间区域内从事特定活动, 其活动本身具有一定意义、涉及特定行为和物品, 并且所选择的区域还具有某些适于特定活动的特征.这样, 承载相应活动的空间区域在人类活动过程中被自觉或不自觉地赋予了多重语义.

3) 场所具有符号属性.为使交流过程便捷, 人们会使用词汇标签对复杂的场所实例进行指代和区分.

4) 场所具有抽象属性.场所对象不是一种物理实体, 客观环境中通常也不存在显式的场所标识符和界定标志, 人们通过某种思维活动来感知它的存在, 并将其从环境中抽象出来.需要指出的是, "场所"概念是人们在生活实践中逐渐形成的, 具有一定主观性, 不同常识背景的人对具体场所内涵的理解不尽相同.

目前研究中, 机器人所使用的传感器 (与人类感受器覆盖的信息空间不同) 和感知方法等存在局限性, 导致机器人感知到的实际"场所"不完全符合前述定义, 而仅具备四大属性中个别属性.例如, 有人把场所感知归结为获得场所标签, 利用图像手段解决问题, 忽略了空间属性.后文述及的大部分研究工作中, 其"场所"内涵并不严格符合前述定义.随着研究工作的深入, 机器人掌握的"场所"内涵将逼近其真实含义.

1.2 "场所"与"场景"

在文献中被提及的另一术语"场景 (Scene)", 经常被视为"场所"的同义词.心理学高层场景感知领域曾有学者给出"场景"概念的一种描述性定义:场景是真实环境的一种语义上连贯 (通常可被命名) 的视图 (View), 它由以空间合理方式布局的背景元素和多个离散景物组成[8].信息科学研究实践中一般认为"场景"概念可以描述为环境中各种元素呈现出的景况.比较前述定义, "场所"与"场景"概念并不等同.首先, "场景"在概念范围上更加宽泛, 主要包括:自然场景、城市场景、室内场景和事件场景等[5].室内情况下, 场景指代的尺度范围较广, 只要语义连贯, 甚至在任意尺度上均能形成一个场景, 如:房屋一隅也可形成一个场景, 显然不能称之为场所.其次, 实践中"场景"概念通常忽略了研究对象的空间属性, 因此经常出现在图像识别领域或基于平面图像的机器人环境感知研究中; 相应地, "场景识别"研究通常仅关注于语义标签的获得, 而不去关注标签所对应的深层语义属性.文献[9]给出"场所"及"场景"的一种形式化定义, 较为严格地区分了两者, 文中指出"场所"由"场景"及"场景"区域间存在的空间关系定义.值得注意的是, 近年逐渐流行的场景理解研究不再满足于仅仅获得整个场景的标签, 而是尝试提取蕴含于视图平面中的物体关系、区域标签以及对场景内各种目标的位置及大小进行推测[5]等.这在一定程度上与机器人领域所关注的场所感知研究目标相吻合, 不同之处在于机器人领域更加关注在三维空间中对场所概念的把握.需要指出的是, 目前对两类概念的界定仍缺乏普遍共识, 注意通过上下文语义来区分"室内场景"是否等同于"场所".

1.3 场所感知传感器与信息源

机器人场所感知研究通常不脱离机器人平台进行, 所利用的底层信息也来自移动机器人传感器, 常见传感器有RGB-D传感器、视觉传感器、激光雷达等.将为场所感知提供某种基础支持信息的信源称为"场所语义信源", 简称"语义源".不同语义源所提供信息类型不同, 直接影响感知算法设计和结果内涵.同一传感器可能提供支持场所感知的多种类型信息 (如RGB-D传感器可以提供图像信息、深度信息、空间点云信息等), 即多种语义源可位于同一传感器载体之上, 它们可被不同场所感知方法所利用.可见, 语义源与传感器并非一一对应.

1.4 场所感知与场所分类研究

众多文献提及场所感知研究时常使用术语——场所分类 (Place classification[10]或Place categorization[11-12]) 或者场所语义标注 (Semantic place labeling[13]).这类问题所面临的主要挑战之一是如何处理类内存在的差异性[14], 相关研究侧重于获取所属场所类别的语义符号.根据前述对"场所"概念的描述性定义, 显然, 场所分类/标注问题并不是场所感知研究的全部内容.事实上, 场所感知问题可视为场所分类问题的一般性问题, 反之, 场所分类问题视为场所感知问题的特殊性问题.单一的场所分类问题通常仅关注于获得场所标签而忽视了场所的其他属性.

1.5 场所感知与场所识别

场所感知问题不同于场所识别问题 (Place recognition problem).场所识别问题通常着眼于处理"事先见过"的场所如何再次被可靠地识别出来, 即场所模型的测试数据与训练数据来自同一环境[14], 其研究不需要考虑对类内变化 (Intra-class variation) 的鲁棒性[13], 研究重点也不在于类人地从语义角度对周边环境识别, 相关研究有时可以完全脱离语义进行 (例如:简化为底层特征的匹配问题[15]), 此类问题可更确切地被称为"地点识别"或"位置识别"问题.而场所感知问题 (狭义上, 场所分类问题) 中场所模型的测试数据来源于预先未知的环境, 需在线对这些数据分析以完成对当前空间的语义层感知.事实上, 某些场合下, 两者之间的界限并非完全清晰, 一些技术甚至可以同时胜任场所识别和场所分类问题[13], 后文叙述中至少将与语义无关的且可明确区分的场所识别研究排除在外.

下面, 根据场所感知过程所依赖的主要场所语义信源类型, 将现有方法分为三类进行综述.之后, 对一些特殊方法进行补充说明.

2 利用环境布局的几何信息实现场所感知 2.1 基于2D几何信息的场所感知

由于环境的二维几何信息与某些场所语义相关, 因此可以被用于实现场所感知.

相关研究很早就引起了一些学者的兴趣, 上世纪80年代, Laumond[16]在环境的理想几何模型下, 通过分析图的分解树实现了对"房间 (Room)"、"走廊 (Corridor)"等场所概念的识别.

距离传感器能够方便地获取环境的几何信息, 因此近年来一些学者尝试通过对其数据模式分类 (实例见图 2) 实现场所感知. Mozos等[17]仅利用激光传感器数据进行场所感知, 他们使用AdaBoost算法训练弱分类器集合以得到一个强分类器, 从而凭借该强分类器实现了机器人对"房间"、"走廊"和"门口"等室内场所的区分.该方法在后来的研究中, 被多次扩展使用, 例如:文献[18]基于该方法构建了室内环境的语义拓扑地图. Shi等[19]采用Logistic回归 (Logistic regression) 作为多类分类器 (Multi-class classifier) 对给定环境标注"办公室 (Office room)"、"教室 (Lecture room)"和"走廊"三类场所标签, 其方法可以观察者位置或者障碍物点作为场所的语义载体, 并能够生成语义栅格地图.最近, Shi等[20]指出他们的上述方法对一些语义类型存在分类模糊性 (Classification ambiguity), 遂提出用概率图模型避免这些问题:使用支持向量机 (Support vector machine, SVM) 分类器和基于条件随机场 (Conditional random field, CRF) 的类Voronoi随机场 (Voronoi random field, VRF) 算法对广义Voronoi图 (Generalized Voronoi graphs, GVG) 的节点进行场所语义标注, 所标注场所分为三个笼统的大类:少量个体活动的房间、多人团体活动房间和过道. Sousa等[21]采用SVM分类器实现对两类场所——"房间"和"走廊"的区分. Premebida等[22]提出一种动态贝叶斯混合模型 (Dynamic Bayesian mixture models, DBMM) 分类器, 主要用于利用2D激光雷达信息实现场所分类. Uršič等[23]提出一种组合层次化表达模型, 学习环境中不同形状出现的频率, 进而用于解决房间分类问题. Soares等[24]基于激光雷达数据, 将多种AdaBoost分类器与概率决策表相结合, 提升分类性能. Kaleci等[25]使用原始激光数据作为特征向量, 提出一种融合K均值和学习矢量量化网络 (Learning vector quantization, LVQ) 的概率方法实现对"房间"、"过道"和"门口"的分类.

图 2 位于房间、门口、走廊时距离传感器数据实例[17] Figure 2 The data instance of range sensors in room, doorway, and corridor[17]

Friedman等[26]从激光传感器生成的占有栅格地图中提取Voronoi图, 之后以其上点作为CRF的节点, 从而估计每个节点的标签, 可区分出的场所包括: "房间"、"走廊"、"门口"和"交叉口 (Junction)". Luperto等[27]假设不同类型建筑物具有不同拓扑属性及结构特征, 根据建筑类型选定分类器, 进而确定米制地图上的房间类型. Liao等[28]基于激光数据构建多层输入, 利用深度神经网络对其进行学习和分类, 最终基于信度树融合多层信息给出预测标签, 其分类框架未来将用于RGB-D数据. Buschka等[29]提出一种房间检测技术, 使得机器人在导航过程中能够利用声纳自动并增量地检测出"类房间"区域, 作者随后指出利用区域的偏心率 (Eccentricity) 参数可将其进一步分类为"房间"或"过道". Liu等[30]利用概率生成模型和基于马尔科夫链蒙特卡洛 (Markov chain Monte Carlo, MCMC) 的推理技术实现了对占有栅格地图中语义信息的自动提取. Hellbach等[31]将占有栅格地图作为输入, 采用非负矩阵分解方法对其分解, 得到环境特征, 利用GLVG (Generalized learning vector quantization) 分类算法对栅格单元进行分类, 进而得到建筑结构的语义标签.

从根本上看, 上述方法受二维几何信息中所含场所相关信息量少的限制, 只适用于提取少量与几何结构密切相关的场所概念, 而难以胜任对其他复杂场所的感知任务 (如:文献[20]中仅能在笼统类别层次上实现分类, 又如对于开放式场所的感知).另外, 基于2D几何信息并采用分类器的方法均存在如下困难:当场所固有结构的复杂性增加时, 确定合理的特征形式变得更加困难.合理的特征一方面有利于维持类内不变性; 另一方面有利于维持系统的泛化能力、计算开销等性能, 而不适当的特征将直接导致分类性能降低.尽管如此, 这类方法可为进一步感知多样、复杂场所提供感知基础.

2.2 基于3D几何信息的场所感知

最近, Swadzba等[12, 32]给出一种新颖观点: 3D场景几何编码了有关场景信息, 对形成室内场景分类能力具有重要贡献, 而物体检测仅扮演次要角色.他们指出这一假设受脑研究和心理学研究中的一些发现所支持.作者给出的另一假设是人工环境主要由平坦表面构成.以这些假设为出发点, 他们提出一种3D空间特征向量 (作为向量定义基础的夹角特征和面积比特征参见图 3), 用以捕捉场景类的3D空间结构, 从而实现场景分类.作者将其方法应用于来自真实环境的RGB-D数据集, 不同组合特征下的分类率均高于60 %.

图 3 3D空间特征向量构成基础[32] Figure 3 The construction base of 3D space feature vector[32]

该方法拓展了利用几何信息所能处理的场所类型, 为场所感知研究提供了新的研究思路, 但其仍存在一些开放性问题, 例如:从论文中相关例子看出, 场所中的物理分隔结构 (如:墙) 参与了场景分类过程, 因此若面向开放式等复杂场所, 该方法的可行性与可靠性需要进一步探讨; 脑区域响应情况与高层抽象概念的生成之间有无必然联系, 以及两者的相关程度还需要进一步讨论; 该方法目前能够实现语义标注, 但相关语义内容的回溯如何实现等.

最后, 值得注意的是, 上述基于几何特征的感知方法普遍难以通过语义回溯得到对人类有意义的场所内涵解释.

3 利用环境布局的视觉信息实现场所感知

人类获取的环境信息大量源于视觉感受器, 近年来机器视觉理论与技术飞速发展, 使得机器人通过视觉传感器实现类人的环境感知成为可能.视觉传感器能够提供更加丰富的环境信息, 机器人凭借它可以感知更丰富的场所类型.

3.1 基于平面图像特征实现场所感知

有关方法主要以图像特征为线索, 利用平面图像实现场所感知.相关研究中的关键问题之一在于寻找某种适于场所描述的图像特征 (组合) 及相应处理框架.由于此类方法通常仅需要环境的二维图像 (不限于RGB图像), 因此相关研究有时可以脱离机器人载体来进行, 相关技术的应用对象也不局限于机器人.尽管如此, 本节仅对一些与移动机器人应用有密切关系的研究内容进行综述.

Torralba等[33]给出一种基于上下文的视觉系统, 该系统可以实现对新环境的场所分类, 其中使用了一种同时考虑纹理属性和其空间布局的全局特征. Fazl-Ersi等[13]提出一种新的场景描述子——HOUP (Histogram of oriented uniform patterns), 它不仅可以用于场所识别也可以用于场所分类. Quattoni等[34]提出一种非常适于室内场景识别任务的模型, 该模型涉及一种图像层面的"场景原型"概念, 能够同时利用图像的局部和全局信息完成识别任务. Madokoro等[35]使用SIFT (Scale invariant feature transform) 和主旨 (Gist) 特征作为上下文, 提出一种无监督场景分类方法. Wu等[36]提出一种用于场所类别和实例识别的新的特征表达——空间PACT (Spacial principal component analysis of census transform histograms), 与一些其他特征相比, 其优势在于更好的性能、较少的待调参数、极快的速度和非常易于实现. Pronobis等[37]以一种能够捕捉丰富视觉表观 (Visual appearance) 信息的高维直方图特征——组合感受区直方图 (Composed receptive field histograms, CRFH)——结合SVM分类器实现场所识别.之后, Pronobis等[38]又进一步提出一种用来度量分类器输出的信度水平的方法, 该方法被用于视觉线索整合, 作者在实验中使用CRFH和SIFT两种视觉线索, 获得了更好的识别性能. Luo等[39]使用增量SVM解决场所识别算法的时变适应性问题. Pronobis等[40]提出一种利用多模态信息实现场所分类的思想, 他们利用SVM将文献[17]和[37]的工作结合起来, 使得机器人学会依房间类型使用不同线索进行场所识别. Li等[41]提出一种通用场景学习和分类方法 (不局限于室内场景), 其中利用局部区域的集合来表达场景图像, 使用无监督方法获得主题 (Theme) 分布和码字 (Codeword) 分布, 面向13类复杂场景的实验结果表明, 其方法具有令人满意的分类性能. Ranganathan[42]提出一种称之为"PLISS (Place labeling through image sequence segmentation)"的技术, 其利用视频或图像流实现场所识别和分类, 使用了一种在线贝叶斯变化点检测 (Batesian change-point detection) 算法, 将图像流分割成与场所相对应的部分, 从而实现场所感知. Wu等[43]基于CENTRIST (Census transformhi stogram) 图像描述子对常规视频摄像机的图像连续处理, 实现视觉场所分类 (Visual place categorization, VPC).

最近, Mozos等[44]利用Kinect摄像机实现了对"走廊"、"实验室"、"办公室"、"厨房"和"自习室"五种场所的高精度分类, 其方法将RGB-D传感器获取的灰度和深度图像均变换为局部二元模式 (Local binary patterns) 直方图, 并以此构成单一特征向量, 然后利用有监督分类器分类, 作者指出以SVM作为分类器更适合其实验情况. 2013年, Choi等[45]尽管仍基于2D图像研究室内场景理解问题, 但是他们注意到捕捉物体间语义和几何关系的3D几何短语 (3D geometric phrases) 的重要作用, 所给出的方法取得了对室内场景的有效解释. Costante等[46]提出基于多线索 (SPMK (Spatial pyramid matching kernel)、SPACT (Spatial principal component analysis of census transform histograms) 特征) 的迁移学习方法, 避免面对新场景时机器人需要进行繁琐的重复学习. Ali等[47]通过屏蔽低熵值区域降低经典SIFT特征算法的复杂性, 使之适用于室内场所分类. Sünderhauf等[48]利用卷积网络给出一种迁移性和扩展性良好的场所分类系统, 在三类摄像头上进行了实验测试, 并研究了场所语义信息在机器人导航和物体检测任务中的应用. Carrillo等[49]将场所分类问题视为一种高效l1-最小化问题, 保证分类性能的基础上提高了学习速度. Kostavelis等[50]将一种基于表观的直方图与SVM分类器相结合来处理语义建图中的场所分类问题. Jung等[51]尽管使用了激光雷达, 但是他们将激光数据转换成图像 (见图 4) 进行处理, 提出一种LNP (Local n-ary patterns) 描述子, 用来描述相邻像素间的多模态数值关系, 实现对五类室内场所的分类.

图 4 厨房全景图像 (上图为深度图, 下图为反射图)[51] Figure 4 The panoramic images of a kitchen (depth image above and reflectance image below)[51]

Jung等[52]利用RGB-D传感器获取灰度和深度图像, 使用一种基于两类图像的共生LBPs (Local binary patterns) 直方图进行室内场所分类, 实验证明其具有高分类性能和低特征维度. Premebida等[22]的DBMM分类器用于对RGB-D数据分类取得了较高精度.牛杰等[53]提出一种融合全局及显著性区域特征的移动机器人室内场景识别方法, 在MIT室内场景数据库上的准确率优于相关文献算法.

此类方法通常仅使用从环境获取的平面图像信息, 在相关处理过程中损失了环境的三维空间信息, 不能直接提供关于场所的三维几何描述, 导致难以对目标场所进行有效定位.面对开放式场所时, 目标场所定位问题变得更加突出, 不准确定位可能造成机器人"所见"和"所在"场所在空间上出现冲突.

最近流行的RGB-D传感器不仅能够得到环境的RGB信息, 还能够同时获取与之对应的深度信息, 利用深度恢复环境的三维空间信息、实现场所定位将能够弥补本类方法的不足, 相关研究应当引起重视.

3.2 基于三维图像实现场所感知

近年来, 随着3D传感器的低成本化, 其被更为广泛地应用于机器人平台, 直接获取环境的三维信息变得更加方便.有文献将直接由3D传感器捕获的同时具备真实色彩和三维度量信息的环境视图称为三维图像 (见图 5)[54].基于此类图像所蕴含的丰富信息可以实现场所感知.

图 5 检测出特征点的3D图像[54] Figure 5 The 3D image including the detected feature points[54]

Romero-González等[54]利用空间金字塔划分由RGB-D数据得到的点云空间, 基于3D局部特征生成划分块的直方图进而生成描述空间点云的全局描述子, 用于室内场景分类. Martínez-Gómez等[55]利用点云库 (Point cloud library, PCL) 实现一种框架, 其中利用BoW (Bag-of-words) 方法从局部3D描述子生成全局描述子, 进而通过分类器实现语义分类, 其方法适用于由移动机器人获得的RGB-D图像.

此类方法通常将目标环境的三维视图视为一个整体, 进而以全局描述子描述并分类, 处理思路与基于平面图像特征的方法相仿, 但优势在于能够充分利用环境三维信息实现对光照变化鲁棒的分类性能.需要指出, 此时三维空间信息仅被用作分类器输入, 在分类完成后被遗失, 导致仍难以通过分类结果直接界定场所边界, 不足之处与基于平面图像特征的方法类似.值得注意的是, 此类方法如果能够将所获取的三维空间信息保留至分类完成, 并对支持特征所对应的三维信息实现回溯, 将能够克服前述局限性.

3.3 基于图像序列的空间分布实现场所感知

与单纯的平面图像信息相比, 图像序列的空间分布通常能够带来关于场所的其他方面的信息, 特别是空间信息, 相关研究引起一些学者的关注.

Zivkovic等[56]利用谱聚类 (Spectral clustering) 等技术对全景图像节点聚类, 聚类得到的凸区域与人类的"房间"概念粗略吻合.事实上, 该方法的节点聚类过程隐式地利用了室内空间中的物理分隔物, 导致面向完全开放式场所时方法失效 (节点将相互联系、彼此具有连通性, 导致不能合理聚类).值得注意的是, 对于开放性不强的房间, 作者的方法依然有效 (如Home2中"客厅"与"工作室 (Workroom)"间无明显物理分隔物, 但仍被成功区分, 其中, 工作室有三面墙且与"客厅"连接处存在障碍物).吴皓等[57]提出构建室内环境的3层地图, 在全局语义层中, 对视觉序列为节点的无向加权图进行Min-Ncut谱聚类产生"房间"概念, 之后进一步根据其中的物品确定房间的高层语义. Rituerto等[58]基于GIST特征对穿戴式全向视觉传感器图像进行聚类, 分割出语义节点——场所 (细化为大、中、小房间和走廊) 和过渡区 (门、门框、楼梯间及电梯间).

此类方法不足之处在于, 节点聚类过程隐式地利用了室内空间中的物理分隔物, 导致完全开放式场所中方法会失效.

3.4 基于物品实现场所感知

室内场所通常会关联某些典型物品, 基于该原理, 机器人可首先利用视觉传感器识别环境物品, 进而显式地以环境物品为依据实现场所感知.相关方法得益于近年物体识别研究的长足进步.

3.4.1 扩展2D几何信息的方法

为弥补前述基于2D几何信息方法的不足, 一些方法在已有成果基础上以视觉传感器感知环境物品, 进而实现对高层场所概念的感知. Zender等[59]在使用激光传感器实现场所粗分类[17]的基础上, 以视觉传感器识别环境物品, 进而实现场所感知.作者使用本体来构成室内环境的概念模型, 从而将特定物品与高层场所概念相关联, 其方法的不足之处在于:如果环境发生较大改变, 本体必须进行相应修改, 否则有可能不能正确感知场所概念; 另外, 该方法没有考虑其他因素如物品的数量、摆放关系等对场所感知的影响, 其适应性、灵活性、鲁棒性不够好. Mozos等[60]同样在文献[17]工作的基础上进行扩展, 将视觉信息整合进场所语义标注过程, 并利用隐马尔科夫模型 (Hidden Markov model, HMM) 处理各个场所类间的依赖性, Rottmann等[61]所做的工作与之类似. Galindo等[62]在文献[29]工作基础上, 整合物体识别环节 (简化为识别具有一定颜色和形状的几何物体), 利用所提出的两层地图表达 (空间层和语义层) 实现对场所的感知, 该方法利用NeoClassic系统进行语义层建模, 本质上仍使用了室内环境本体, 因此不足之处也与Zender的方法相似.

3.4.2 仅依赖物体类别信息的方法

Rogers等[63]使用上下文线索, 利用CRF模型实现物品和房间类别的联合推理, 其中, 对物品-房间相容性以及房间相邻性两种依赖关系进行了建模, 机器人通过感知过程能够得知房间的位置和范围.遗憾的是, 作者人为指定模型的相关参数, 而未进一步讨论模型学习问题, 而且模型中也未考虑物品间空间关系对场所感知的影响. Viswanathan等[64]利用空间——语义信息在物品地图上对物品进行聚类并对场所显式标注 (包括位置和范围), 该研究基于手工构建的物品地图开展而未考虑底层物体识别等问题. Viswanathan等在文献[65]中进一步扩展之前工作, 在场所分类过程中使用了真实的物体识别结果, 具体地研究了从LabelMe数据库自动学习物体-场所关系和物体检测器的方法, 进而利用物体检测器检测图像中的物体, 最终利用场所模型 (Place model) 推理得到场所标签, 作者未同时使用视觉传感器解决目标物品的定位问题且未考虑物品间空间关系对场所感知的影响. Viswanathan等[66]进一步将物体分类和图像全局特征相融合实现场所分类. Espinace等[67-68]使用常见物体作为中间层语义表达, 构建了一种生成式概率分层模型 (Generative probabilistic hierarchical model):用物体分类器将底层视觉特征与物体关联, 其中, 以3D几何信息提高视觉分类器性能; 同时, 用上下文关系将物体与场景关联.该方法同样未考虑物品间空间关系对场所感知的影响. Charalampous等[69]的方法在RGB-D数据基础上, 首先, 检测主要平面; 然后, 在该平面附近分辨物体; 最后, 利用朴素贝叶斯分类器, 对物体分布情况进行分类, 从而确定场所类型. Kostavelis等[70]将场所分类和物体分类相结合, 共同投票决定机器人所站位置的场所语义.

前述研究均未显式地考察物体间空间关系对场所感知的影响, 而事实上, 对于人类来说此类关系会从直觉上影响其对环境物品的聚类, 从而进一步影响对场所的感知, 对于开放式场所来说这一因素尤为重要.下面一些研究从不同角度和不同程度上显式地考虑了物体间的空间关系.

3.4.3 物体类别结合物体关系信息的方法

Ranganathan等[71]将星座物体模型 (Constellation object model) 推广到3D情形, 用物体构成的"星座"对场所建模, 进而利用贝叶斯推理规则实现场所识别.利用该方法构成的场所模型为3D模型, 其以局部坐标系描述物体的空间位置, 包含了物体间的绝对空间关系.该场所模型由于面向机器设计 (如物体位置以平移变量表达), 造成模型本身不利于人机交互. Vasudevan等[72-74]系统地研究了基于朴素贝叶斯分类器 (Naive Bayesian classifier, NBC) 构建概念模型、实现室内场所感知的方法 (效果见图 6). Vasudevan等[73]主要提出4种方法, 其中, 方法M1、M2和M3仅考虑了场所中的物品, 方法M4在M3的基础上考虑了物品间的关系 (距离关系), 其方法可处理开放式场所. Vasudevan等的工作有如下不足: 1) 所用概念模型缺乏定性的、符号的、结构化的、直接的概念表达能力, 而这种能力在人机交互及共享概念时非常重要. 2) 概念模型不易通过人机交互来学习或修改. 3) M4方法考虑空间关系时, 直接在高层概念模型中使用底层度量数据, 模型变得复杂且物理意义和语义不甚清楚. 4) M4方法考虑的物品间关系不够丰富, 且定量关系描述本身不利于人机交互; 5) 相关方法未考虑以显式形式标示场所概念对应空间区域.最近, Klenk等[75]提出一种"上下文依赖的空间区域 (Context-dependent spatial region)", 作者利用物体实例间的定性空间关系 (拓扑和位置关系) 描述, 采用类比 (Analogy) 方法, 并借助于锚点 (Anchor point) 实现敞开式场所感知并进行了区域标注.文献[75-76]分别以仿真和实验验证所提方法, 仅限于对"教室前部"这类场所进行感知, 由于相关技术尚不完善, 造成机器人感知结果与人类感知结果不完全吻合.另外, Klenk的方法基于机器人全局坐标系给出谓词"LeftOf"和"below"的内在结构定义, 从用户角度看这些谓词并不符合日常习惯, 会造成人机交互困难. Ruiz-Sarmiento等[77]利用CRF模型实现房间内物体和房间类型的联合分类, 算法性能在由RGB-D数据构成的NYU2数据库上进行了测试, 成功率达到约70 %. Chen等[78]基于RGB-D图像, 提出一种全局优化框架, 将分割、空间支撑关系推理、多物体识别和场景分类统一起来, 实现对场景的较全面理解.

图 6 基于NBC的场所感知效果[73] Figure 6 The place perception effect based on NBC[73]

上述方法以"物品"为场所感知基础 (基本单位), 在直觉上与人类对环境的认识相吻合, 因此, 此类方法能够提供更多类人的语义信息, 相关研究势必将作为一个重要研究方向而持续得到关注.

4 用户指导实现场所感知

此类方法中, 用户能够利用自身知识、直观地教会机器人认识所处环境, 大大增加机器人使用便利性和趣味性, 同时便于扩充知识库.相关研究主题通常被称为"人类扩展建图 (Human augmented mapping, HAM)"[79]. Spexard等[80]在移动机器人平台上将视觉定位和人机对话技术整合, 使得用户能够通过对话系统在线为机器人习得的新位置赋予场所标签. Diosi等[81]提出一种新型建图方法, 其利用用户与机器人的交互过程生成带有场所标签的地图, 该方法主要分为两个过程, 首先, 在地图构建过程中由用户指定机器人当前位置的语义标签; 然后, 在这些标签的引导下, 完成对栅格地图的语义分割, 从而识别出完整的房间. Milford等[82]指出用RatSLAM这种非笛卡尔建图方法获得的环境表达由于缺乏类人的空间概念, 而不能实现有效的人机交互.针对该不足之处, Milford等提出使用一种老师-学生范式 (Teacher-student paradigm), 教会机器人识别不同室内场所. Booij等[79]提出一种主动人机交互技术, 以此来解决HAM系统中的两个重要问题——标签缺失问题 (人类在建图过程中不会对路过的所有房间提供标签) 和环境表达不一致问题 (人与机器人对环境的表达不完全一致). Nieto-Granda等[83]基于高斯模型提出一种利用人类指导从语义上划分度量地图的方法, 作者将得到的地图成功用于导航任务. Topp等[84]立足于HAM这一概念, 研究人类如何向机器人展示自己熟知的环境, 进而证实作者提出的用于服务机器人的一般性环境模型的正确性. Gemignani等[85]利用RGB-D传感器进行激光点检测和物体分割, 设计了一种能够通过人机交互在线增量构建环境表示的原型系统 (实例见图 7).同时, Gemignani等在文献[86]中, 对所提出的交互式语义建图方法进行了实验评价.

图 7 人机交互获取环境知识[85] Figure 7 Surrounding knowledge obtaining based on human-robot interaction[85]

上述方法中, 人类用户实际上起到在线提供场所语义标签和修正机器人感知结果的作用, 本质上仍然需要寻求某种合理的场所信息描述和处理机制, 使得在机器人内部尽可能形成与人类一致的环境表达, 进而使得被赋予的场所标签具有与人相容的含义.

5 其他场所感知方法

除上述三个主要方面外, 一些其他研究同样值得关注.有研究人员从理论框架角度研究室内场所感知问题, 如: Pronobis等[9]给出一种场所感知理论框架. Luperto等[87]从一般意义上研究室内场所分类问题, 提出一种考虑环境因素和标签因素的泛化框架.

Sheng等[88]利用目前逐步普及的可穿戴传感器捕捉用户行为, 关联推理直接得到相应家具类型 (示意图见图 8).未来, 基于其方法可以间接获取到场所语义信息.

图 8 根据运动传感器推理家具类型[88] Figure 8 Furniture type inferring based on motion sensors[88]

更多研究人员尝试综合多种不同类型感知线索来实现对场所的感知, 如: MartinezGomez等[89]充分利用RGB-D传感器信息, 将2D图像特征 (Pyramid histogram of orientated gradients, PHOG) 与3D特征 (基于NARF (Normal aligned radial feature) 的特征) 相结合, 并利用图像序列的时间连续性实现场所分类.

6 目前存在问题与未来研究方向

综上所述, 机器人室内场所感知研究业已引起众多研究人员的兴趣, 源于机器视觉、机器人学、机器学习、认知心理学和认知神经科学等学科领域的大量新成果、新技术和新方法被用于这项研究.尽管如此, 由于该领域研究仍处在发展初期, 大量开放性问题仍尚待发现和解决.下面各节在讨论研究领域目前存在问题的基础上, 给出今后可能的发展方向.

6.1 复杂场所感知

总体上, 已有研究工作中目标场所复杂性不足, 距实际情况仍有一定距离.主要表现在:目标场所的形式还较为简单, 布局较为规整, 场所区域间分割清晰, 场所训练和识别过程中环境保持静态不变等.

随着社会发展, 室内居住环境中众多场所的形态开始悄然发生变化.现代人崇尚自由、追求个性、多元化审美、反对拘束、提倡人性化等生活理念反映到居室布局上, 因而出现更加复杂的室内场所环境.例如:一些功能性居室不再受物理隔断的约束而呈现一定开放性; 起居环境中物品摆放更加随意、无规则.这种生活理念的盛行, 直接加剧了环境结构、特征的多样性, 对机器人的场所认知能力提出了新的挑战:稳定特征的提取和鲁棒分类都变得更加困难, "语义-区域"的对应性和模糊性更加难以确定等.

作者前期工作[90-91]尝试从开放式场所这类较为复杂的场所对象入手, 提出以抽象场所概念原型来描述场所, 以一种类人方式评价测试环境与场所概念原型的相似程度, 实现场所语义和区域感知.不足之处在于所考虑的物体种类比较单一, 还需要研究多类物体混杂情况.

6.2 深化感知结果内涵

目前, 现有场所感知算法普遍侧重于获得场所的语义标签, 对场所区域的界定通常也只限于利用物理边界.除此之外, 对场所概念其他内涵的感知研究较为少见.根据前述场所概念的描述性定义, 这显然不足以适应更一般的机器人应用任务.

早期研究中, Mozos等[92]的多层次整合系统提供了一种解决思路, 可在不同层面上描述并感知环境, 但仍无法在各层面上生成场所的符号性描述.需要进一步研究、发掘不同层面上场所的显式符号及谓词描述结构, 用于交互或语义回溯.未来需要解决场所对应区域的自适应标注问题, 特别是考虑语义模糊性后的标注问题.总之, 对环境场所实现包括空间属性、语义内涵、关联语义等在内的深层内涵捕捉,理解场所的深层语义信息, 使机器人实现对场所的类人的全面感知与理解是未来的发展方向.

6.3 抽象概念迁移与未知类别感知

目前研究中, 尽管各种方法可以处理测试集与训练集间的差异性, 但是这种差异性离实际情况仍比较远.一些方法仅能处理有限数量的同质场所 (Homogeneous places[87]), 相关算法的泛化性能远达不到"有限训练, 处处感知"的要求.这种现象说明现有方法的训练过程事实上仍不能捕捉到场所概念的本质, 仅停留在表观数据模式分类或者浅层概念学习阶段, 难以将已习得概念迁移到对新见场所环境的感知中.未来需要研究具有概念级泛化性能的方法.

室内场所的复杂性和多样性造成实际环境中可能出现先验知识中没有的场所类型, 目前大部分基于分类的方法只能将未知环境划分到已知类 (默认满足闭集假设[48]), 对未知环境中未知类的有效发现和概念建立需要做进一步研究.前述文献[42]给出的解决方法为未知场所检测问题提供了解决思路.另外, HAM领域研究内容也为该问题的解决提供了有效途径.

抽象概念迁移能力和未知类别感知能力是机器人场所感知技术走向实用的两个关键问题, 前者是对已知场所概念的充分理解与泛化, 后者是对未知场所概念的发现与主动感知.

6.4 多信息融合

由于单信息源对环境的观察角度单一, 有局限性, 不足以应对场所复杂性, 一些研究已经开始采取多类型、多模态、多传感器信息融合技术来解决场所感知问题.例如:文献[11]融合激光传感器和视觉传感器信息实现场所分类; 文献[51]尽管仅使用了激光雷达, 但是对其提供的深度和反射两种模态信息进行处理融合.虽然已有大量研究人员投入这方面研究, 但目前研究工作仍处于起步探索阶段, 一些基本问题尚待解决, 如:仍不能有效确定对常见室内场所完备的信息模态集合、信息有效融合机理不甚明确等.未来重点要解决多信息下有效互补信息的提取和利用、适用于场所感知的新模态信息发现、融合技术/策略研究、信息互补模态的确定等问题.随着研究的不断开展, 该领域研究将有可能带来适应丰富场所类型的、可靠的场所感知技术.

6.5 新感知线索研究

传统研究范式下, 常规机器人传感器能够提供的与场所感知有关的线索仍然有限.然而, 一方面, 随着相关技术的发展, 新型传感器不断涌现, 如各种可穿戴传感器 (头盔、腕带等), 这些传感器可能提供服务于场所感知任务的新线索, 文献[88]的工作便是这方面很有代表性的一个例子.另一方面, 在一些新的理论观点影响下, 传统机器人传感器同样可能提供新的场所感知线索, 例如:文献[32]中, 尽管仍以常见的RGB-D传感器作为环境信息采集设备, 但受人脑生物特性启发而设计的三维空间特征向量含有丰富场景信息, 作者将其作为一种新感知线索实现对场所的感知.文献[93]能够获得室内场景框架,能否在此基础上进一步获取场所语义值得进一步研究.上述两方面都值得进一步深入研究.新线索的发现有助于机器人实现对复杂、多义场所的全面、深层次感知与理解.

6.6 以人类为中心的场所感知方法

已有方法所采用的感知机制以及概念模型均面向机器, 这种"以机器处理为中心"的研究方式尽管为有关算法的实现带来了便捷性, 但造成难以在机器人内部形成类人的场所语义结构和内涵, 导致从语义层面与用户直接交互信息发生困难, 同时造成有关方法的环境适应性较差.为此, 需要开发"以人类为中心"的感知机制以及概念模型, 这样不仅有助于语义层人机交互, 而且有助于在真实语义层面完成其他相关任务, 并维持良好环境适应性.

一个可行思路是求助于近年在认知心理学、脑科学、认知神经科学等认知学科领域的新研究成果, 从自然人的认知机理出发, 寻求解决途径.文献[90-91]在这方面做了初步尝试.值得注意的是, 为短期内权衡底层生物认知机理模拟计算的复杂性、认知模型优异拟人性和应用需求迫切性三者间的关系, 生物学启发的认知架构[94] (Biologically inspired cognitive architectures, BICA) 范式可能是目前可以遵循的较为合理的研究范式.在此范式上, 可直接借鉴"类脑"机器人[95]、"类脑"智能[96]的相关研究成果, 用于解决场所感知问题.未来, 还需要建立能够全面涵盖一般性场所感知问题的认知理论框架, 以此指导和完善具体技术的发展.

6.7 场所感知中的先进学习机制

欲使机器人习得人类的场所概念, 绝大多数方法需要依赖先进机器学习算法.

目前, 大多数主流机器学习算法均能在机器人场所感知领域觅得踪迹, 例如: AdaBoost集成学习[17]、SVM[21]、概率图模型学习[20]、半监督学习[20, 56]、无监督学习[35]、贝叶斯推理[73]、神经网络[48]等.这其中, 占据主导地位的学习算法是SVM和基于概率的方法.尽管这些主流机器学习算法能够在某些方面表现出出众的感知性能, 但机器人的环境认知行为仍与自然人有较大差距, 感知系统的性能和表现很大程度上依赖于研究人员的精心设计和调校, 其问题根源在于主流学习算法的运行机制仍不"像"自然人.近年随着认知学科的发展, 这种情况有望逐步改善.根植于认知学科的迁移学习[46]、深度学习[27, 53]、类比学习[75]等学习方法在该领域已崭露头角, 虽然起步时间尚短, 但为解决领域问题带来新的思路, 相关研究有望很大程度上改善现存局面, 必将成为未来一段时间的发展方向.

另外, 随着目标场所复杂性的增加和感知内容的丰富, 感知系统机制和结构将变得更加复杂.感知系统中仅使用单一学习方法的方式在未来将不能满足场所感知的需要, 多种学习方法的有机结合将逐渐成为主流.文献[58]是这方面的典型例子, 它使用最近邻分类器标注图像, 在此基础上考虑空时一致性, 利用HMM来完成整个序列的标注.

6.8 基准评价数据库及评价体系建立

现有场所感知方法面向的感知对象形式不尽相同, 所使用的传感器种类繁多, 搭载的机器人平台也各式各样, 这些情况使得难以构造统一基准数据库对有关方法进行评价.目前, 尚无基准数据库能够满足所有场所感知方法的实现要求, 进而无法开展一般性评价研究.为全面客观评价感知方法的性能, 建立包含多元环境信息的标准场所感知数据库将具有重要意义.

未来, 建立统一的场所感知基准评价数据库, 除需满足一般数据库建立条件, 还需要考虑如下因素:

1) 覆盖多种类、多表现形式、多布局情况的室内场所.

2) 基准机器人平台上可扩展任意传感器配置.例如:搭载和扩充不同类型传感器、同类别不同型号传感器, 并且同类别同型号传感器的配置数量和安装位置可以按照感知方法的需要调整.

3) 基准平台可以精确复现数据采集时的运动过程.使机器人在不同传感器配置下均能以一致行为采集数据, 有助于在相同行为下比较感知过程性能.

4) 考虑应用场景, 定义多个标准化运行状态.使得可在多种运行状态下比较感知方法性能.标准化运行状态如:自由遍历、规定路线、拟人行进等.

5) 保持采集数据的信息完备性.保存传感器数据帧的同时, 需要保存帧对应时间戳、机器人位姿、传感器参数等信息.

6) 确立数据库建立标准, 建立开放型数据库.由于世界各地的室内场所不尽相同, 并且室内环境布局也在逐步发展变化, 有必要研究数据库构建标准, 使各地研究人员可以根据标准扩充数据库, 丰富数据库涵盖范围.

基准评价数据库上, 还需要建立一套标准评价体系.除了传统面向机器的评价指标外 (如:识别率、召回率等), 还需要确定一系列面向用户的评价指标, 如:感知结果可接受率、感知行为拟人程度评分、直观语义种数等.

6.9 应用研究

目前, 基于场所感知结果的实际应用研究仍较少.主要原因在于:一方面, 场所感知方法研究仍处于发展阶段尚未成熟; 另一方面, 整合场所语义的机器人应用系统较为复杂, 高层语义层与底层度量、拓扑层次的整合还存在困难.作为一种为用户提供直接环境语义、辅助机器人实现类人行为的前沿技术, 场所感知方法的应用研究是未来发展的必然趋势.

未来可能的一些应用研究包括:研究应用场所感知技术实现机器人的社会性交互行为, 使之在不同场所中采取恰当行为; 研究场所语义支持下传统机器人任务的语义辅助实现, 如:语义定位、语义导航等, 文献[50]在最近给出了一种语义导航研究的实例; 研究场所语义辅助下的语义交互、语义关联任务、物体搜寻等相关应用问题.

另外, 场所感知研究的有关成果不仅能够用于构建更加智能的机器人, 而且可扩展应用于一些生活辅助设备和系统, 如:智能拐杖、助盲系统等,为用户提供场所感知服务, 满足与场所有关的辅助任务的需要, 最终为用户提供便利.这些扩展领域的应用研究同样需要引起重视.

最后, 由于包含高层场所语义的应用系统结构复杂、模块众多, 为保证系统功能实时实现, 各模块计算资源的优化组合与实时计算问题需要进一步研究.

7 总结

为使机器人实现类人的场所语义理解行为, 众多场所感知方法从不同侧面提供了解决方案.在对该研究领域中一些基本概念进行阐述和辨析的基础上, 本文以场所感知线索类型为划分依据, 主要综述了三大类方法, 包括:基于环境布局几何信息的方法、基于环境布局视觉信息的方法、基于用户指导信息的方法, 其中各类方法又根据所用信息特点细分为若干子类.阐述了各方法对场所感知问题的解决思路和工作原理, 并指出各类方法的特点和局限性.最后, 分析目前存在的主要问题, 对未来研究方向进行了讨论和展望.未来, 场所感知研究的有关成果不仅能够用于构建更加智能、易于交互、与人自然和谐相处的机器人, 而且可扩展应用于一些生活辅助设备和系统, 为用户提供场所感知服务.

参考文献
1 Cognitive Systems for Cognitive Assistants-CoSy[Online], available:http://www.cognitivesystems.org/, January 1, 2016
2 COGNIRON The Cognitive Robot Companion[Online], available:http://www.cogniron.org, January 1, 2016
3 CogX:Cognitive Systems that Self-Understand and Self-Extend[Online], available:http://www.cs.bham.ac.uk/research/groupings/robotics/projects/cogx, January 1, 2016
4 Kostavelis I, Gasteratos A. Semantic mapping for mobile robotics tasks:a survey. Robotics and Autonomous Systems, 2015, 66 : 86–103. DOI:10.1016/j.robot.2014.12.006
5 Li Xue-Long, Shi Jian-Hua, Dong Yong-Sheng, Tao Da-Cheng. A survey on scene image classification. Scientia Sinica:Informationis, 2015, 45 (7): 827–848.
( 李学龙, 史建华, 董永生, 陶大程. 场景图像分类技术综述. 中国科学:信息科学, 2015, 45 (7): 827–848. )
6 Gu Guang-Hua, Han Xi-Ying, Chen Chun-Xia, Zhao Yao. Survey on semantic scene classification research. Systems Engineering and Electronics, 2016, 38 (4): 936–948.
( 顾广华, 韩晰瑛, 陈春霞, 赵耀. 图像场景语义分类研究进展综述. 系统工程与电子技术, 2016, 38 (4): 936–948. )
7 Zhuang Yan, Chen Dong, Wang Wei, Han Jian-Da, Wang Yue-Chao. Status and development of natural scene understanding for vision-based outdoor moblie robot. Acta Automatica Sinica, 2010, 36 (1): 1–11.
( 庄严, 陈东, 王伟, 韩建达, 王越超. 移动机器人基于视觉室外自然场景理解的研究与进展. 自动化学报, 2010, 36 (1): 1–11. )
8 Henderson J M, Hollingworth A. High-level scene perception. Annual review of psychology, 1999, 50 (1): 243–271. DOI:10.1146/annurev.psych.50.1.243
9 Pronobis A, Sjoo K, Aydemir A, Bishop A N, Jensfelt P. A framework for robust cognitive spatial mapping. In:Proceedings of the 14th International Conference on Advanced Robotics. Munich, Germany:IEEE, 2009. 1-8
10 Vasudevan S. Spatial Cognition for Mobile Robots:A Hierarchical Probabilistic Concept-oriented Representation of Space[Ph.D. dissertation], Swiss Federal Institute of Technology in Zurich, 2008.
11 Pronobis A, Jensfelt P. Hierarchical multi-modal place categorization. In:Proceedings of the 5th European Conference on Mobile Robots. Örebro, Sweden:ECMR, 2011. 159-164
12 Swadzba A, Wachsmuth S. Indoor scene classification using combined 3D and gist features. In:Proceedings of the 10th Asian Conference on Computer Vision. Queenstown, New Zealand:Springer, 2010. 201-215
13 Fazl-Ersi E, Tsotsos J K. Histogram of oriented uniform patterns for robust place recognition and categorization. The International Journal of Robotics Research, 2012, 31 (4): 468–483. DOI:10.1177/0278364911434936
14 Pronobis A. Semantic mapping with mobile robots[Ph.D. dissertation], KTH Royal Institute of Technology, Sweden, 2011.
15 Ulrich I, Nourbakhsh I. Appearance-based place recognition for topological localization. In:Proceedings of the 2000 IEEE International Conference on Robotics and Automation. San Francisco, CA, USA:IEEE, 2000. 1023-1029
16 Laumond J P. Model structuring and concept recognition:two aspects of learning for a mobile robot. In:Proceedings of the 8th International Joint Conference on Artificial Intelligence. Karlsruhe, West Germany:Morgan Kaufmann Publishers Inc., 1983. 839-841
17 Mozos O M, Stachniss C, Burgard W. Supervised learning of places from range data using AdaBoost. In:Proceedings of the 2005 IEEE International Conference on Robotics and Automation. Barcelona, Spain:IEEE, 2005. 1742-1747
18 Mozos O M, Burgard W. Supervised learning of topological maps using semantic information extracted from range data. In:Proceedings of the 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. Beijing, China:IEEE, 2006. 2772-2777
19 Shi L, Kodagoda S, Dissanayake G. Multi-class classification for semantic labeling of places. In:Proceedings of the 11th International Conference on Control Automation, Robotics and Vision. Singapore:IEEE, 2010. 2307-2312
20 Shi L, Kodagoda S, Dissanayake G. Application of semi-supervised learning with voronoi graph for place classification. In:Proceedings of the 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems. Vilamoura-Algarve, Portugal:IEEE, 2012. 2991-2996
21 Sousa P, Araiijo R, Nunes U. Real-time labeling of places using support vector machines. In:Proceedings of the 2007 IEEE International Symposium on Industrial Electronics. Vigo, Spain:IEEE, 2007. 2022-2027
22 Premebida C, Faria D R, Souza F A, Nunes U. Applying probabilistic mixture models to semantic place classification in mobile robotics. In:Proceedings of the 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems. Hamburg, Germany:IEEE, 2015. 4265-4270
23 Uršič P, Leonardis A, Skočaj D, Kristan M. Laser range data based room categorization using a compositional hierarchical model of space. In:Proceedings of the 2015 Austrian Robotics Workshop. Klagenfurt, Austria, 2015. 30-31
24 Soares S G, Araújo R. Semantic place labeling using a probabilistic decision list of AdaBoost classifiers. International Journal of Computer Information Systems and Industrial Management Applications, 2014, 6 : 548–559.
25 Kaleci B, Šenler C M, Dutağaci H, Parlaktuna O. A probabilistic approach for semantic classification using laser range data in indoor environments. In:Proceedings of the 2015 International Conference on Advanced Robotics. Istanbul, Turkey:IEEE, 2015. 375-381
26 Friedman S, Pasula H, Fox D. Voronoi random fields:extracting the topological structure of indoor environments via place labeling. In:Proceedings of the 20th International Joint Conference on Artificial Intelligence. Hyderabad, India:Morgan Kaufmann Publishers Inc., 2007. 2109-2114
27 Luperto M, Li A Q, Amigoni F. A system for building semantic maps of indoor environments exploiting the concept of building typology. In:Proceedings of the 17th Annual RoboCup International Symposium. Eindhoven, Holland:Springer, 2013. 504-515
28 Liao Y Y, Kodagoda S, Wang Y, Shi L, Liu Y. Place classification with a graph regularized deep neural network model. IEEE Transactions on Cognitive and Developmental Systems, to be published.
29 Buschka P, Saffiotti A. A virtual sensor for room detection. In:Proceedings of the 2002 IEEE/RSJ International Conference on Intelligent Robots and Systems. Lausanne, Switzerland:IEEE, 2002. 637-642
30 Liu Z Y, von Wichert G. Extracting semantic indoor maps from occupancy grids. Robotics and Autonomous Systems, 2014, 62 (5): 663–674. DOI:10.1016/j.robot.2012.10.004
31 Hellbach S, Himstedt M, Bahrmann F, Riedel M, Villmann T, Böhme H J. Some room for GLVQ:semantic labeling of occupancy grid maps. In:Proceedings of the 10th International Workshop on Self-Organizing Maps. Mittweida, Germany:Springer, 2014. 133-143
32 Swadzba A, Wachsmuth S. A detailed analysis of a new 3D spatial feature vector for indoor scene classification. Robotics and Autonomous Systems, 2014, 62 (5): 646–662. DOI:10.1016/j.robot.2012.10.006
33 Torralba A, Murphy K P, Freeman W T, Rubin M A. Context-based vision system for place and object recognition. In:Proceedings of the 2003 IEEE International Conference on Computer Vision. Nice, France:IEEE, 2003. 273-280
34 Quattoni A, Torralba A. Recognizing indoor scenes. In:Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, Florida, USA:IEEE, 2009. 413-420
35 Madokoro H, Utsumi Y, Sato K. Scene classification using unsupervised neural networks for mobile robot vision. In:Proceedings of the 2012 SICE Annual Conference. Akita, Japan:IEEE, 2012. 1568-1573
36 Wu J, Rehg J M. Where am Ⅰ:place instance and category recognition using spatial PACT. In:Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, Alaska, USA:IEEE, 2008. 1-8
37 Pronobis A, Caputo B, Jensfelt P, Christensen H. A discriminative approach to robust visual place recognition. In:Proceedings of the 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. Beijing, China:IEEE, 2006. 3829-3836
38 Pronobis A, Caputo B. Confidence-based cue integration for visual place recognition. In:Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems. San Diego, California, USA:IEEE, 2007. 2394-2401
39 Luo J, Pronobis A, Caputo B, Jensfelt P. Incremental learning for place recognition in dynamic environments. In:Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems. San Diego, California, USA:IEEE, 2007. 721-728
40 Pronobis A, Mozos O M, Caputo B, Jensfelt P. Multi-modal semantic place classification. The International Journal of Robotics Research, 2010, 29 (2-3): 298–320. DOI:10.1177/0278364909356483
41 Li F F, Pietro P. A Bayesian hierarchical model for learning natural scene categories. In:Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA:IEEE, 2005. 524-531
42 Ranganathan A. Pliss:Detecting and labeling places using online change-point detection. In:Proceedings of the 2010 Robotics:Science and Systems. Zaragoza, Spain:MIT Press, 2010. 185-192
43 Wu J X, Christensen H I, Rehg J M. Visual place categorization:problem, dataset, and algorithm. In:Proceedings of the 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems. St. Louis, MO, USA:IEEE, 2009. 4763-4770
44 Mozos O M, Mizutani H, Kurazume R, Hasegawa T. Categorization of indoor places using the Kinect sensor. Sensors, 2012, 12 (5): 6695–6711.
45 Choi W, Chao Y W, Pantofaru C, Savarese S. Understanding indoor scenes using 3D geometric phrases. In:Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR, USA:IEEE, 2013. 33-40
46 Costante G, Ciarfuglia T A, Valigi P, Ricci E. A transfer learning approach for multi-cue semantic place recognition. In:Proceedings of the 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. Tokyo, Japan:IEEE, 2013. 2122-2129
47 Ali S Y, Marhaban M H, Ahmad S A, Ramli A R. Improved SIFT algorithm for place categorization. In:Proceedings of the 10th Asian Control Conference. Kota Kinabalu, Malaysia:IEEE, 2015. 1-3
48 Sünderhauf N, Dayoub F, McMahon S, Talbot B, Schulz R, Corke P, Wyeth G, Upcroft B, Milford M. Place categorization and semantic mapping on a mobile robot[Online], available:http://arxiv.org/abs/1507.02428, January 1, 2016
49 Carrillo H, Latif Y, Neira J, Castellanos J A. Place categorization using sparse and redundant representations. In:Proceedings of the 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems. Chicago, Illinois, USA:IEEE, 2014. 4950-4957
50 Kostavelis I, Charalampous K, Gasteratos A, Tsotsos J K. Robot navigation via spatial and temporal coherent semantic maps. Engineering Applications of Artificial Intelligence, 2016, 48 : 173–187. DOI:10.1016/j.engappai.2015.11.004
51 Jung H, Mozos O M, Iwashita Y, Kurazume R. Local N-ary Patterns:a local multi-modal descriptor for place categorization. Advanced Robotics, 2016, 30 (6): 402–415. DOI:10.1080/01691864.2015.1120242
52 Jung H, Mozos O M, Iwashita Y, Kurazume R. Indoor place categorization using co-occurrences of LBPs in gray and depth images from RGB-D sensors. In:Proceedings of the 5th International Conference on Emerging Security Technologies. Alcala de Henares, Spain:IEEE, 2014. 40-45
53 Niu Jie, Bu Xiong-Zhu, Qian Kun, Li Zhong. An indoor scene recognition method combining global and saliency region features. Robot, 2015, 37 (1): 122–128.
( 牛杰, 卜雄洙, 钱堃, 李众. 一种融合全局及显著性区域特征的室内场景识别方法. 机器人, 2015, 37 (1): 122–128. )
54 Romero-González C, Martínez-Gómez J, García-Varea I, Rodríguez-Ruiz L. 3D spatial pyramid:descriptors generation from point clouds for indoor scene classification. Machine Vision and Applications, 2016, 27 (2): 263–273. DOI:10.1007/s00138-015-0744-4
55 Martínez-Gómez J, Morell V, Cazorla M, García-Varea I. Semantic localization in the PCL library. Robotics and Autonomous Systems, 2016, 75 : 641–648. DOI:10.1016/j.robot.2015.09.006
56 Zivkovic Z, Booij O, Kröse B. From images to rooms. Robotics and Autonomous Systems, 2007, 55 (5): 411–418. DOI:10.1016/j.robot.2006.12.005
57 Wu Hao, Tian Guo-Hui, Chen Xi-Bo, Zhang Tao-Tao, Zhou Feng-Yu. Map building of indoor unknown environment based on robot service mission direction. Robot, 2010, 32 (2): 196–203.
( 吴皓, 田国会, 陈西博, 张涛涛, 周风余. 基于机器人服务任务导向的室内未知环境地图构建. 机器人, 2010, 32 (2): 196–203. )
58 Rituerto A, Murillo A C, Guerrero J J. Semantic labeling for indoor topological mapping using a wearable catadioptric system. Robotics and Autonomous Systems, 2014, 62 (5): 685–695. DOI:10.1016/j.robot.2012.10.002
59 Zender H, Mozos O M, Jensfelt P, Kruijff G J M, Burgard W. Conceptual spatial representations for indoor mobile robots. Robotics and Autonomous Systems, 2008, 56 (6): 493–502. DOI:10.1016/j.robot.2008.03.007
60 Mozos Ó M, Triebel R, Jensfelt P, Rottmann A, Burgard W. Supervised semantic labeling of places using information extracted from sensor data. Robotics and Autonomous Systems, 2007, 55 (5): 391–402. DOI:10.1016/j.robot.2006.12.003
61 Rottmann A, Mozos O M, Stachniss C, Burgard W. Semantic place classification of indoor environments with mobile robots using boosting. In:Proceedings of the 20th National Conference on Artificial Intelligence. Pittsburgh, Pennsylvania, USA:AAAI, 2005. 1306-1311
62 Galindo C, Saffiotti A, Coradeschi S, Buschka P, Fernández-Madrigal J A, Gonzalez J. Multi-hierarchical semantic maps for mobile robotics. In:Proceedings of the 2005 IEEE/RSJ International Conference on Intelligent Robots and Systems. Edmonton, Alberta, Canada:IEEE, 2005. 2278-2283
63 Rogers J G, Christensen H I. A conditional random field model for place and object classification. In:Proceedings of the 2012 IEEE International Conference on Robotics and Automation. St. Paul, Minnesota, USA:IEEE, 2012. 1766-1772
64 Viswanathan P, Meger D, Southey T, Little J J, Mackworth A. Automated spatial-semantic modeling with applications to place labeling and informed search. In:Proceedings of the 6th Canadian Conference on Computer and Robot Vision. Kelowna, British Columbia, Canada:IEEE, 2009. 284-291
65 Viswanathan P, Southey T, Little J, Mackworth A. Automated place classification using object detection. In:Proceedings of the 7th Canadian Conference on Computer and Robot Vision. Ottawa, Ontario, Canada:IEEE, 2010. 324-330
66 Viswanathan P, Southey T, Little J, Mackworth A. Place classification using visual object categorization and global information. In:Proceedings of the 8th Canadian Conference on Computer and Robot Vision. St. Johns, Newfoundland, Canada:IEEE, 2011. 1-7
67 Espinace P, Kollar T, Soto A, Roy N. Indoor scene recognition through object detection. In:Proceedings of the 2010 IEEE International Conference on Robotics and Automation. Anchorage, Alaska, USA:IEEE, 2010. 1406-1413
68 Espinace P, Kollar T, Roy N, Soto A. Indoor scene recognition by a mobile robot through adaptive object detection. Robotics and Autonomous Systems, 2013, 61 (9): 932–947. DOI:10.1016/j.robot.2013.05.002
69 Charalampous K, Kostavelis I, Chantzakou F E, Volanis E S, Emmanouilidis C, Tsalides P, Gasteratos A. Place categorization through object classification. In:Proceedings of the 2014 IEEE International Conference on Imaging Systems and Techniques. Santorini, Greece:IEEE, 2014. 320-324
70 Kostavelis I, Amanatiadis A, Gasteratos A. How do you help a robot to find a place? A supervised learning paradigm to semantically infer about places. HAIS 2013:Hybrid Artificial Intelligent Systems. Berlin:Springer, 2013, 8073:324-333
71 Ranganathan A, Dellaert F. Semantic modeling of places using objects. In:Proceedings of the 2007 Robotics:Science and Systems Conference. Atlanta, Georgia, USA:MIT Press, 2007.
72 Vasudevan S, Gächter S, Nguyen V, Siegwart R. Cognitive maps for mobile robots——an object based approach. Robotics and Autonomous Systems, 2007, 55 (5): 359–371. DOI:10.1016/j.robot.2006.12.008
73 Vasudevan S, Siegwart R. Bayesian space conceptualization and place classification for semantic maps in mobile robotics. Robotics and Autonomous Systems, 2008, 56 (6): 522–537. DOI:10.1016/j.robot.2008.03.005
74 Vasudevan S, Siegwart R. A Bayesian conceptualization of space for mobile robots. In:Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems. San Diego, California, USA:IEEE, 2007. 715-720
75 Klenk M, Hawes N, Lockwood K. Representing and reasoning about spatial regions defined by context. In:Proceedings of the 2011 AAAI Fall Symposium. El Segundo, CA, USA:AAAI, 2011. 154-161
76 Hawes N, Klenk M, Lockwood K, Horn G S, Kellecher J D. Towards a cognitive system that can recognize spatial regions based on context. In:Proceedings of the 26th AAAI Conference on Artificial Intelligence. Toronto, Ontario, Canada:AAAI, 2012. 200-206
77 Ruiz-Sarmiento J R, Galindo C, González-Jiménez J. Joint categorization of objects and rooms for mobile robots. In:Proceedings of the 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems. Hamburg, Germany:IEEE, 2015. 2523-2528
78 Chen Y X, Pan D R, Pan Y F, Liu S Z, Gu A H, Wang M. Indoor scene understanding via monocular RGB-D images. Information Sciences, 2015, 320 : 361–371. DOI:10.1016/j.ins.2015.03.023
79 Booij O, Kröse B, Peltason J, Spexard T, Hanheide M. Moving from augmented to interactive mapping. In:Proceedings of the Interactive Robot Learning-Robotics:Science and Systems 2008 Workshop. Zurich, Switzerland:IRL, 2008.
80 Spexard T, Li S Y, Wrede B, Fritsch J, Sagerer G, Booij O, Zivkovic Z, Terwijn B, Krose B. BIRON, where are you? Enabling a robot to learn new places in a real home environment by integrating spoken dialog and visual localization. In:Proceedings of the 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. Beijing, China:IEEE, 2006. 934-940
81 Diosi A, Taylor G, Kleeman L. Interactive SLAM using laser and advanced sonar. In:Proceedings of the 2005 IEEE International Conference on Robotics and Automation. Barcelona, Spain:IEEE, 2005. 1103-1108
82 Milford M, Schulz R, Prasser D, Wyeth G, Wiles J. Learning spatial concepts from RatSLAM representations. Robotics and Autonomous Systems, 2007, 55 (5): 403–410. DOI:10.1016/j.robot.2006.12.006
83 Nieto-Granda C, Rogers J G, Trevor A J B, Christensen H I. Semantic map partitioning in indoor environments using regional analysis. In:Proceedings of the 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems. Taipei, China:IEEE, 2010. 1451-1456
84 Topp E A, Huettenrauch H, Christensen H I, Eklundh K S. Bringing together human and robotic environment representations-a pilot study. In:Proceedings of the 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. Beijing, China:IEEE, 2006. 4946-4952
85 Gemignani G, Capobianco R, Bastianelli E, Bloisi D D, Iocchi L, Nardi D. Living with robots:interactive environmental knowledge acquisition. Robotics and Autonomous Systems, 2016, 78 : 1–16. DOI:10.1016/j.robot.2015.11.001
86 Gemignani G, Nardi D, Bloisi D D, Capobianco R, Iocchi L. Interactive semantic mapping:experimental evaluation. In:Proceedings of the 14th International Symposium on Experimental Robotics. Tokyo, Japan:Springer, 2016. 339-355
87 Luperto M, Amigoni F. Exploiting structural properties of buildings towards general semantic mapping systems. In:Proceedings of the 13th International Conference on Intelligent Autonomous Systems. Padova, Italy:Springer, 2016. 375-387
88 Sheng W H, Du J H, Cheng Q, Li G, Zhu C, Liu M Q, Xu G Q. Robot semantic mapping through human activity recognition:a wearable sensing and computing approach. Robotics and Autonomous Systems, 2015, 68 : 47–58. DOI:10.1016/j.robot.2015.02.002
89 Martinez-Gomez J, Garcia-Varea I, Caputo B. Baseline multimodal place classifier for the 2012 robot vision task. In:Proceedings of the 2012 Conference and Labs of the Evaluation Forum. Rome, Italy:Springer, 2012. 1-10
90 Zhu Bo, Dai Xian-Zhong, Li Xin-De. Open interior-places perception algorithm of robot based on prototype. Pattern Recognition and Artificial Intelligence, 2012, 25 (1): 1–10.
( 朱博, 戴先中, 李新德. 基于"原型"的机器人开放式室内场所感知算法. 模式识别与人工智能, 2012, 25 (1): 1–10. )
91 Zhu Bo, Dai Xian-Zhong, Li Xin-De, Yang Wei, Chen Fang-Yuan. Experimental study on open interior-places perception of robot based on "prototype". Robot, 2013, 35 (4): 491–499, 512.
( 朱博, 戴先中, 李新德, 杨伟, 陈芳园. 基于"原型"的机器人开放式室内场所感知实验研究. 机器人, 2013, 35 (4): 491–499, 512. )
92 Mozos O M, Jensfelt P, Zender H, Kruijff G M, Burgard W. From labels to semantics:An integrated system for conceptual spatial representations of indoor environments for mobile robots. In:Proceedings of the ICRA-07 Workshop on Semantic Information in Robotics. Rome, Italy:IEEE, 2007. 33-40
93 Zhuang Yan, Lu Xi-Bin, Li Yun-Hui, Wang Wei. Mobile robot indoor scene cognition using 3D laser scanning. Acta Automatica Sinica, 2011, 37 (10): 1232–1240.
( 庄严, 卢希彬, 李云辉, 王伟. 移动机器人基于三维激光测距的室内场景认知. 自动化学报, 2011, 37 (10): 1232–1240. )
94 Goertzel B, Lian R T, Arel I, de Garis H, Chen S. A world survey of artificial brain projects, Part Ⅱ:biologically inspired cognitive architectures. Neurocomputing, 2010, 74 (1-3): 30–49. DOI:10.1016/j.neucom.2010.08.012
95 Qiao Hong, Yin Pei-Jie, Li Rui, Wang Peng. What is the Meaning for the Interdisciplinary Research of Robot and Neuroscience? Thoughts on the future development of intelligent robots. Bulletin of Chinese Academy of Sciences, 2015, 30 (6): 762–771.
( 乔红, 尹沛劼, 李睿, 王鹏. 机器人与神经科学交叉的意义——关于智能机器人未来发展的思考. 中国科学院院刊, 2015, 30 (6): 762–771. )
96 Zeng Yi, Liu Cheng-Lin, Tan Tie-Niu. Retrospect and outlook of brain-inspired intelligence research. Chinese Journal of Computers, 2016, 39 (1): 212–222.
( 曾毅, 刘成林, 谭铁牛. 类脑智能研究的回顾与展望. 计算机学报, 2016, 39 (1): 212–222. DOI:10.11897/SP.J.1016.2016.00212 )