DOI:10.11990/jheu.201509052
, , , , 抓取和操作未知物体是机器人完成各种复杂任务的基本能力，而获取未知物体的信息并进行模型重构是机器人完成抓取和操作规划的前提。众所周知，由于数据提取效率高，机器人视觉系统被广泛的应用于物体信息的提取[1]。然而，视觉仍存在一定的局限性。在一些光线较差的环境中，如水下、工业车间、太空环境等，机器人视觉可能无法得到足够的物体信息，从而导致抓取的失败，甚至损坏机器人和物体。在视觉受限甚至失效的情况下，通过触觉传感器采集物体信息并进行模型重构成为克服外界环境对视觉影响的一种解决方案。在触觉探索过程中，如何规划机器人的一系列动作从而得到未知物体的有效信息是机器人进行触觉探索时所要解决的主要问题; 同时由于物体模型未知，机器人与物体间可能发生的不期望碰撞也是需要考虑的问题。
在对人类探索未知物体行为的一系列研究中表明[2-4]，为了实现某些目的的探索，人类会采用不同的手部动作进行探索，这些动作被定义为探索步骤(exploration procedure, EP)。文献[4]中共定义了8种不同的EP用于采集物体不同的特征。通过一系列的EP，人可以很快的识别出物体的信息。在机器人触觉探索的研究中，触觉传感器被安装在机器人不同类型的末端执行器上。一类是简单执行器，如单手指[5-6]、探针[7]及夹持器[8-9]等，这些工作通常较少关注探索策略; 另一类是多指机器人灵巧手[10-12]甚至双臂双手[13]。由于多点接触的优势，通过多指灵巧手进行触觉探索通常会有更高的效率，但由于灵巧手本身运动学及控制的复杂性，需要一种策略指导机器人灵巧手完成探索过程。使用数据手套控制灵巧手探索物体是一种较为简便的方法[14]，但这种方法需要人的参与，降低了机器人的自主性。针对触觉探索策略的研究并不多，如文献[15]中采用基于势能场的方法在仿真环境中控制五指灵巧手在未知物体表面移动; 文献[10]中利用attention cubes方法产生探索的下一个目标点; 以及文献[16]中使用信息增益方法选择已知物体的下一个最佳接触动作等。上述研究主要针对如何控制手指在物体表面的运动，以及如何通过合理选择探索点来减少探索步骤。这些方法通常设定较多假设前提，如已知物体的位置、粗略的尺寸和姿态，并且只针对有限尺寸范围内的物体进行探索，同时并未考虑机器人与未知物体的碰撞问题。因此如何规划一系列的机器人手部动作以采集未知物体几何信息仍然是一个值得研究的问题。
通过观察人类探索未知物体时的触碰行为，本文提出一种针对多指灵巧手的触觉探索策略。通过该策略，机器人可以在仅知道物体初始位置的前提下，对任意尺寸和形状的未知物体自主的展开触觉探索，并可以避免机器人与未知物体的碰撞。
1 行为观察实验在文献[2]对于人类触觉探索的研究中，并未对人类在盲探索未知物体时的策略进行研究。例如，在执行某种EP时人手以何种方向接近物体，执行完EP后人手以何种方向进行下一步探索等。因此，设计了如下基于行为观察的实验以进一步观察人类在探索未知物体时的特点。由于机器人与人的臂手相比在运动学及功能性上还有很大差距，并不适合完全模仿人类动作。因此设计如下观察实验以得到一些机器人易于执行的规律，设计后续的探索策略。
1.1 实验过程共15名志愿者参与实验，所有的志愿者均首次参加实验。实验者佩戴眼罩坐在合适的高度，并将惯用手放在初始位置上。实验中被探索物体共20种，包含不同尺寸和形状的十个标准模型和十个日常物体。物体以随机的顺序和角度放置于桌面，摆放位置固定。实验者采用惯用手进行探索实验，由摄像机记录手部探索动作及实验者得到的物体几何信息等实验数据。实验环境及实验中被探索物体如图 1所示。
|
| 图1 实验环境及被探索物体 Figure 1 Experimental environment and explored objects |
由于目前机器人与人在传感器配置和灵活性上的差距较大，为了能够将观察结果更好的应用于机器人，在实验中对实验者的探索行为进行了限制。
目前，多数机器人灵巧手只在指尖配置了触觉传感器。因此，限制实验者在探索时只能使用指尖以使得人与机器人传感器配置近似。在人的探索过程中，手指在物体表面的滑动是经常使用的动作。但对于机器人而言，目前大多数压阻传感器难以通过滑动获得有效信息。考虑以上情况，探索过程中允许实验者指尖与物体接触但禁止沿物体表面滑动。此外，实验者需要在探索过程中尽量避免物体在桌面的移动以减少不确定性。虽然上述限制与人类平时的探索习惯并不相符，但基于上述限制得到的观察结果更加易于在机器人上执行。
在探索实验过程中，实验者可以随时说出所得到的物体几何信息，包括尺寸、姿态、形状，并可以在探索过程中根据新得到的信息对物体参数进行更改。对于形状复杂的日常物体，实验者只需给出物体的基本尺寸和形状。当物体全部的几何参数确定完毕后，对于当前物体的探索结束。每一位实验者进行20组探索实验，对每个物体的探索时间被限定在60 s。在进行正式的实验之前，每个实验者首先进行三个测试物体的探索以熟悉上述规则。通过人类强大的学习能力，实验者在经过测试物体的探索后可以迅速适应上述限制并完成探索实验。
1.2 观察结果与分析对所有的实验视频进行了分析，并从中提取具有代表性的动作，如图 2所示。对于标准物体形状的识别成功率可以达到100%，而对日常物体约为80%。对于形状简单的物体，如球形，实验者仅对物体部分表面进行触碰即可识别出形状，对于较为复杂的物体，如玩具电话，实验者通常需要对物体进行完整的探索以得到更多的形状特征。与文献[2]中进行的探索实验相比，对于实验者探索行为的限制和日常物体复杂的局部形状使得实验者的探索时间增加。与识别成功率和所消耗时间相比，探索过程中实验者所表现出的规律显然更值得关注。图 2为部分实验者探索典型物体时的动作顺序图，图片均由实验视频中提取。
|
| 图2 实验者探索物体时典型的手部动作 Figure 2 Typical hand movements when participant explores objects |
在探索实验的初始阶段，为了保持物体的稳定并对物体进行大致的估计，大多数实验者会首先对顶面进行触碰并由上而下进行探索，从而得到物体粗略尺寸。在确定物体形状后，部分尺寸又被重新估计并更新。在探索顶面时，实验者仅用食指到小指的四指指尖与物体顶面发生接触，该动作被定义为指尖接触EP (fingertip contact EP, FCEP)，如图 2中第1列所示; 在探索物体侧面时，实验者使用所有手指指尖接触并包络物体，这类动作被定义为夹取EP (pinch EP, PEP)，如图 2中第2至第5列所示。实验者在执行EP时手部动作相对固定，通过手臂方向的不断变换完成探索。例如，执行PEP时人手的动作相同，但在执行时不同的探索方向、接近方向和夹取方向共同确定PEP如何在物体表面执行。物体的尺寸和姿态是影响实验者执行PEP时选择各种方向的主要方面。通过对实验结果的分析，可以得出如下观察结果：
观察1 在触觉探索中，人首先对物体进行若干次随机触碰。通过一定数量的局部特征预估物体整体尺寸和姿态，由此进一步探索以确定形状。在形状确定后再给出物体更为精确的尺寸参数。
观察2 人主要使用FCEP在识别初始阶段估计物体的大致尺寸和姿态; 采用PEP探索物体侧面，识别物体的形状和尺寸参数，并保持物体稳定。
观察3 物体的尺寸和姿态是影响探索策略的主要因素。人在进行探索时，PEP的夹取方向倾向于沿物体的短轴，而探索方向倾向于沿物体的长轴。
以上观察结果可以作为仿人规则来设计机器人触觉探索策略。实验者在判断物体尺寸时，精度和耗费的时间存在差异，但大多难以给出精确的物体尺寸。对于物体尺寸参数，机器人可以很容易地通过运动学计算给出精确的值，这也是机器人相对于人类而言具有优势的地方。
2 类人探索策略根据之前的观察结果，可以设计本节的类人探索策略。与之前的研究不同，文中物体的尺寸和姿态完全未知，仅物体的初始位置已知。物体被固定在桌面上以避免在灵巧手抓取和触碰过程中轻微的移动。即便如此，仍然需要避免那些可能导致物体倾覆或损坏的碰撞。触觉探索策略的目标是引导机器人自主的通过触觉传感器得到未知物体的信息。对于每次探索，应当避免机器人与未知物体间不期望的碰撞，并且触觉传感器应尽量接触物体尚未探索的部分以尽可能全面的得到物体几何特征。
为方便描述，首先定义了一些重要的参数来描述探索过程，如图 3所示。机器人灵巧手沿接近向量 η=[cos α, cos β, cos γ] 接近未知物体并执行EP。 θ 是 η 沿 z 轴变化的角度。对当前物体部分表面的探索结束后，机器人手沿探索方向 ρ 移动至物体的其他部分进行下一步的探索。Δs代表机器人手沿 η 探索时的步长。 p0(x, y, 0) 是物体的初始位置， p1(x, y, H) 是探索的起始点， pini(x, y, z0) 为探索接近点， H 是物体高度， z0>max{H1, H2, …, Hk} 。
|
| 图3 触觉探索过程示意图 Figure 3 Haptic exploration process |
同时对描述机器人手的其他参数进行了定义。抓取度量 d 定义为执行PEP时，拇指与其他接触手指间的最短距离，夹取方向 d 定义为抓取时拇指到该手指的方向。 l 代表食指到小指的长度， m 代表手指的长度。
由实验观察可知，人类在识别物体时并不需要对物体全部的表面进行探索(如物体底面)，在得到足够的几何特征后即可判断物体形状和尺寸。因此根据观察1，将机器人触觉探索过程分为顶面探索和侧面探索。顶面探索除了可以从物体顶面得到物体数据以外，还可以粗略估计未知物体的姿态和尺寸。在侧面探索过程中，根据顶面探索所得的参数生成侧面探索策略，完成整个触觉探索过程。
2.1 顶面探索根据观察2，在顶面探索阶段，采用FCEP进行顶面探索。机器人手通过指尖接触物体顶面采集数据，同时可以保持物体的稳定。
物体的边缘可以通过FCEP检测。在执行顶面探索时，每次k根手指与物体接触。灵巧手沿 η 移动Δs后，再次执行完静态指尖接触EP后，如果原接触手指没有再次与物体接触，则上一接触点被认为是边缘点。顶面探索流程如图 4所示，机器人通过物体边缘的检测和手指当前的接触状态来确定手臂和手指的动作，在探索过程中机械臂不断改变手指的探索方向，最终完成顶面的探索。
|
| 图4 顶面探索算法流程图 Figure 4 Flow chart of top exploration algorithm |
通过顶面探索得到的触觉数据可以用来估计物体部分几何参数。物体的高 H=max{z1, z2…, zk} 。将顶面触觉点向 x-y 平面投影，通过顶面数据点投影的最小包围矩形(minimum bounding rectangle, MBR)来近似物体的顶面。MBR是视觉识别中常用的形状描述符，根据文献[17]中计算MBR的算法，在顶面探索之后，计算包含所有顶面数据点的面积最小的矩形。这样即可很容易的得到矩形的长A、宽B和方位角δ。根据物体的高度，在侧面探索阶段，整个物体可以用包围盒来近似，如图 5所示。a、b、h分别表示物体三个轴的方向。方位角δ定义为a与x轴的夹角。
|
| 图5 顶面探索后所得物体近似包围盒 Figure 5 Approximation bounding box of object after top exploration |
根据观察2，采用PEP进行侧面探索。所谓侧面探索策略，即针对不同物体确定PEP执行时的探索方向、接近方向及夹取方向以完成物体表面的探索，并保证拇指与物体接触以尽量维持物体稳定。由观察3可知，物体的几何参数是影响探索策略的主要因素。因此提出了一种物体分类方法以针对不同类型的物体产生不同的探索策略来执行PEP，如表 1所示。该分类方法依据判别不等式组将物体分为四类，每一类物体都有对应的探索方向、接近方向和夹取方向，每种类别所对应的物体如图 6所示。由表 1可知，判别不等式组综合考虑了机器人灵巧手和物体间的几何关系。在分类不等式组中，常数 R=2/3 。 c1=H/l 且 c2=A/l , 代表了机器人灵巧手和物体之间的尺寸关系。
|
| 图6 四种物体类别所对应的物体示例 Figure 6 Object examples corresponding to four categories |
| 类别 | 判别不等式 | 侧面探索策略 |
| 1 | B≤A ＜R·B H＜R·A m≥H c1≤1 | η=[0, 0, -1] .对于每个夹取方向，机器人手按范式1探索物体 |
| 2 | H>R·A B≤A , R·B m≥R·B c1>1 | η1=[cos δ, -sin δ, 0] , η2=[sin δ, cos δ, 0] ; ρ=[0,0,1] .对于每个夹取方向，机器人手按范式1探索物体至边缘，完成后执行范式2，之后再重复执行范式1，范式2共执行 |
| 3 | A>R·B B>H m≥H c1≤1 , c2>1 | η=[0, 0, -1] ; ρ=[cos δ, sin δ, 0] .对于每个夹取方向，机器人手按范式1探索物体 |
| 4 | H>R·A A>R·B m≥R·B c1>1 , c2>1 | η1=[sin δ, cos δ, 0] , η2=[-sin δ, -cos δ, 0] ; ρ=[001] .对于每个夹取方向，机器人手按范式1探索物体 |
为更简洁的表述侧面探索，定义如下动作范式：
范式1 机器人灵巧手沿 η 运动，以夹取方向 d、 步长Δs执行PEP。
范式2 机器人灵巧手复位，机械臂沿 ρ 以步长Δ ξ=l 运动至物体其他部分开始探索。
在范式1中， d 是执行PEP的必要参数。根据观察3， d 通常沿轴向 a 或 b 。 dmax 代表抓取维度 d 的最大值。夹取方向为
| $\left\{ {\begin{array}{*{20}{c}} {{d_1} = [ \pm sin\delta ,{\rm{ }} \pm cos\delta ,{\rm{ }}0\left] {{d_2} = } \right[ \pm cos\delta , \mp sin\delta ,{\rm{ }}0]}&{A ＜ {d_{max}}}\\ {{d_1} = [ \pm sin\delta ,{\rm{ }} \pm cos\delta ,{\rm{ }}0]}&{A \ge {d_{max}}且B ＜ {d_{max}}} \end{array}} \right.$ |
根据表 1中分类方法可以将经过顶面探索后的不同尺寸的物体分类，并为不同类型的物体产生不同的探索策略以执行侧面探索。如果物体不包含在上述四种类型中，就意味着物体的尺寸不适合灵巧手进行触觉探索乃至抓取，机器人会停止侧面探索以避免发生与不期望的碰撞。
3 实验和结果为了验证所提出策略的有效性，在仿人机器人平台上进行了触觉探索实验。实验中所使用的机器人灵巧手DLR/HIT II具有5根模块化的手指，每根手指具有三个独立的自由度，手指内部集成位置、力矩、温度等多种传感器，集成度高，具有仿人的功能和外观[18]，如图 7所示。
|
| 图7 HIT/DLR II灵巧手及触觉传感器 Figure 7 HIT/DLR II dexterous hand and tactile sensors |
此外灵巧手指尖还配置了柔性压阻触觉传感器[19]。触觉传感器表面覆盖压阻橡胶并安装于指尖上。每个指尖有36个触觉单元。当指尖物与体接触时，通过基于触觉的机器人运动学变换，可得到触觉信息为 Pt={(gi, ngi)}, i=1, 2, …, N 。其中 gi∈R3 和 ngi 分别为精确的接触点位置及法向量。
在每次执行探索动作时，机器人手指沿预定的轨迹以10(°)/s的关节速度运动直至预定轨迹完成或手指碰到物体。手指控制器采用阻抗控制以保证手指与物体接触时的柔顺性及对曲面物体的适应性。FCEP和PEP的预定轨迹如图 8(a)和8(b)所示。
|
| 图8 灵巧手探索动作 Figure 8 Exploring motions of dexterous robot hand |
仿人机器人实验平台及在实验中测试物体如图 9所示。仿人机器人平台由头部、上肢、躯干和移动平台四个子系统组成，共49个自由度。其中上肢子系统包括一对15自由度的五指灵巧手HIT/DLR II和一对7自由度仿人机械臂。在机器人进行触觉探索实验的过程中，没有使用双目视觉。在仿人机器人上进行了实验并完成了对16种典型物体的触觉探索。被探索物体包含不同形状和尺寸的标准模型和日常物体。
|
| 图9 仿人机器人平台及被探索物体 Figure 9 Humanoid robot platform and the explored objects |
图 10展示了两种典型的机器人探索过程。图 8(a)中塑料瓶属于类别1，图 10(b)中玩具火车属于类别3。探索过程包含六步：图中第1和第2列展示了顶面探索过程，第3到第6列展示了侧面探索过程。可以看出，对于不同形状和尺寸的物体，机器人都可以自主的采集物体的触觉数据，避免与物体发生不期望的碰撞。
|
| 图10 仿人机器人对典型物体进行触觉探索所得结果 Figure 10 Haptic exploration results on typical objects by humanoid robot |
仿人型机器人探索典型物体所得到的触觉点云如图 11所示。图 11 (a)~(c)分别为椎体、三棱柱和长方体，按所提出的分类方法分别属于类别1、类别2和类别4。图中从左至右分别表示触觉探索中顶面探索数据、侧面探索数据和最终得到的触觉点云。
|
| 图11 机器人探索典型物体的过程 Figure 11 Typical haptic exploration processes by humanoid robot |
探索步长Δs与触觉点云的密度相关。对于同一个物体，更小的探索步长意味着更为紧密的采样点，从而可以得到更精确的重构模型。然而，在机器人相同的探索速度下会导致在探索过程中消耗更多的时间，从而降低整个触觉识别过程的效率。因此，Δs由重构所要求的精度和触觉探索所允许的时间共同决定。在本次探索实验中，步长Δ s=24 mm ，完成16个物体探索实验平均使用探索步骤为15步。
由实验所得触觉点云可以看出，所采集到的触觉数据分布均匀，可以完整而全面的表示物体的几何特征。因此这种分布特征的触觉数据有利于后续物体的识别和重构工作。
4 结论本文提出了一种类人探索策略以指导机器人灵巧手通过触觉探索获得未知物体的信息。该策略具有以下特点：
1) 基于人类在探索未知物体时行为的观察和分析，将人类的探索经验融入机器人的探索策略;
2) 通过对探索过程的划分，对物体几何信息进行预估，并以此对物体进行分类，从而针对不同类别的物体产生不同的侧面探索策略。在仿人机器人平台的触觉探索实验验证了策略的有效性。实验结果表明，在不依靠视觉的前提下，机器人通过所提出的探索策略可以自主的完成对多种形状物体的探索，提高了机器人适应环境的能力。所得到的物体触觉点云分布均匀且完整，为后续的形状识别工作提供了较好的数据。
在下一步的工作中，将应用所提出的物体识别方法[20]对所得触觉点云进行形状识别，并通过超二次曲面重构物体模型。
| [1] | SAXENA A, DRIEMEYER J, NG A Y. Robotic grasping of novel objects using vision[J]. The international journal of robotics research, 2008, 27(2): 157–173. DOI:10.1177/0278364907087172 |
| [2] | LEDERMAN S J, KLATZKY R L. Hand movements: a window into haptic object recognition[J]. Cognitive psychology, 1987, 19(3): 342–368. DOI:10.1016/0010-0285(87)90008-9 |
| [3] | LEDERMAN S J, KLATZKY R L. Extracting object properties through haptic exploration[J]. Acta psychologica, 1993, 84(1): 29–40. DOI:10.1016/0001-6918(93)90070-8 |
| [4] | LEDERMAN S J, KLATZKY R L. Haptic perception: a tutorial[J]. Attention, perception, & psychophysics, 2009, 71(7): 1439–1459. |
| [5] | ROBERTS K S. Robot active touch exploration: constraints and strategies[C]//Proceedings of 1990 IEEE International Conference on Robotics and Automation. Cincinnati: IEEE, 1990, 2: 980-985. |
| [6] | CASELLI S, MAGNANINI C, ZANICHELLI F, et al. Efficient exploration and recognition of convex objects based on haptic perception[C]//Proceedings of 1996 IEEE International Conference on Robotics and Automation. Minneapolis: IEEE, 1996, 4: 3508-3513. |
| [7] | MAZZINI F, KETTLER D, GUERRERO J, et al. Tactile robotic mapping of unknown surfaces, with application to oil wells[J]. IEEE transactions on instrumentation and measurement, 2011, 60(2): 420–429. DOI:10.1109/TIM.2010.2084270 |
| [8] | AGGARWAL A, KAMPMANN P, LEMBURG J, et al. Haptic object recognition in underwater and deep-sea environments[J]. Journal of field robotics, 2015, 32(1): 167–185. DOI:10.1002/rob.2015.32.issue-1 |
| [9] | MEIER M, SCHÖPFER M, HASCHKE R, et al. A probabilistic approach to tactile shape reconstruction[J]. IEEE transactions on robotics, 2011, 27(3): 630–635. DOI:10.1109/TRO.2011.2120830 |
| [10] | GORGES N, FRITZ P, WÖRN H. Haptic object exploration using attention cubes[M]//DILLMANN R, BEYERER J, HANEBECK U, et al. KI 2010: Advances in Artificial Intelligence. Heidelberg: Springer Berlin, 2010: 349-357. |
| [11] |
萧伟, 孙富春, 刘华平. 机器人灵巧手的触觉分析与建模[J].
机器人, 2013, 35(4): 394–401.
XIAO Wei, SUN Fuchun, Liu Huaping. Tactile analysis and modeling of dextrous robotic hand[J]. Robot, 2013, 35(4): 394–401. DOI:10.3724/SP.J.1218.2013.00394 |
| [12] | JOHNSSON M, BALKENIUS C. Sense of touch in robots with self-organizing maps[J]. Proceedings of IEEE transactions on robotics, 2011, 27(3): 498–507. DOI:10.1109/TRO.2011.2130090 |
| [13] | SOMMER N, LI Miao, BILLARD A. Bimanual compliant tactile exploration for grasping unknown objects[C]//Proceedings of 2014 IEEE International Conference on Robotics and Automation. Hong Kong, China: IEEE, 2014: 6400-6407. |
| [14] | OKAMURA A M, COSTA M A, TURNER M L, et al. Haptic surface exploration[M]. London: Springer, 2000: 423 -432. |
| [15] | BIERBAUM A, RAMBOW M, ASFOUR T, et al. A potential field approach to dexterous tactile exploration of unknown objects[C]// Proceedings of the 8th IEEE-RAS International Conference on Humanoid Robots. Daejeon, Korea: IEEE, 2008: 360-366. |
| [16] | HEBERT P, HOWARD T, HUDSON N, et al. The next best touch for model-based localization[C]//Proceedings of 2013 IEEE International Conference on Robotics and Automation. Karlsruhe, Germany: IEEE, 2013: 99-106. |
| [17] | CHAUDHURI D, SAMAL A. A simple method for fitting of bounding rectangle to closed regions[J]. Pattern recognition, 2007, 40(7): 1981–1989. DOI:10.1016/j.patcog.2006.08.003 |
| [18] | LIU Hong, WU K, MEUSEL P, et al. Multisensory five-finger dexterous hand: the DLR/HIT hand Ⅱ[C]//Proceedings of 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems. Nice, France: IEEE, 2008: 3692-3697. |
| [19] | ZHANG Yuanfei, LIU Yiwei, Jin Minghe, et al. Design of a finger-tip flexible tactile sensor for an anthropomorphic robot hand[M]//LIU Honghai, DING Han, XIONG Zhenhua, et al. Intelligent Robotics and Applications. Heidelberg: Springer Berlin, 2010: 762-773. |
| [20] | JIN Minghe, GU Haiwei, FAN Shaowei, et al. Object shape recognition approach for sparse point clouds from tactile exploration[C]//Proceedings of 2013 IEEE International Conference on Robotics and Biomimetics. Shenzhen, China: IEEE, 2013: 558-562. |