随着机器人在工业制造、医疗健康、航空航天和社会服务等领域的不断拓展，其所处的作业环境和任务要求也更加复杂化和特殊化，越来越多的任务要求机器人能够和人进行交互，协作机器人应运而生，成为目前机器人领域一个非常热门和具有广泛应用前景的研究方向^[1]。协作机器人抓取是赋予机器人操作物体能力的关键技术，其应用范围涵盖智能制造^[2]、医疗康复^[3]、仓储物流^[4]与智慧农业^[5]等众多领域。面向人机交互的协作机械臂智能抓取的关键技术包括抓取目标检测^[6]、轨迹规划^[7]、运动控制^[8]和柔顺控制^[9]等。

根据检测网络框架的不同，目标检测算法可以分为以RCNN(region-convolution neural network)^[10]为代表的两阶段(two-stage)检测方法与以YOLO(you only look once)^[11]为代表的单阶段(one-stage)检测算法。两阶段检测模型因其能提供更高的识别精度，且模型能够适应多种检测任务，广泛应用于复杂环境桌面物体检测。Lenz等^[12]率先将CNN（convolution neural network）技术用于解决机械臂抓取检测问题，利用一种两阶段抓取检测系统实现抓取检测，该模型在公开的Cornell数据集上取得了73.9%的抓取成功率。Kumra等^[13]采用基于两阶段抓取模型，设计了两路ResNet-50的深层网络进行RGBD（red-green-blue-depth）图的特征提取，并将提取到的特征经过3个全连接浅层网络输出最终的抓取预测，在Cornell数据集上取得了89.21%的预测准确率，但是由于网络训练没有采取权重参数共享策略^[14]，使得网络结构较为复杂。Morrison等^[15]提出了一种新型抓取特征表示方法，由抓取质量、抓取角度与抓取宽度组成，并设计了一种生成式抓取卷积神经网络（generative grasping convolutional neural network，GGCNN），可以对输入图像每个像素点生成一个抓取配置，从而实现“像素级”抓取。GGCNN虽模型参数较少，且检测精度欠佳，但其“像素级”抓取思想为后续抓取检测研究拓宽了思路。

阻抗控制(impedance control, IC)是由Hogan^[16]于1984年提出的一种力控制方法。根据阻抗效果生效方式可分为主动阻抗与被动阻抗控制。目前抓取领域的阻抗控制可分为鲁棒阻抗控制(robust impedance control, RIC)^[17]、力跟踪阻抗控制(force tracking impedance control, FTIC)^[18]与自适应阻抗控制(adaptive impedance control, AIC)^[19]。在实际的抓取应用领域，Wu等^[20]提出了一种基于自适应阻抗控制的灵巧手接触力控制算法，能够实现对不同动态特性物体的柔顺抓取，但是算法的收敛性、稳定性等理论分析不足。Nazmara等^[21]提出了一种无需力传感器的类人阻抗学习控制器，针对环境干扰设计补偿控制，从而获得更高的稳定裕度，旨在实现与未知环境的安全高效交互，但其研究目标单一，对于更复杂的交互场景，控制系统的稳定性还需要进一步的研究和验证。Zhu等^[22]建立了基于强化学习的接触安全框架，通过检测意外的碰撞并限制接触力的大小，使得夹爪抓取过程在任务空间与关节空间上均保持安全性，但是对于抓取目标类型的研究较为单一，且缺乏一定的性能指标来评估模型的优势。

随着协作机器人与人类的日常生活联系越来越密切，提高非结构化环境下非刚性物体的识别精度与抓取柔顺性成为当前研究的重点。本文提出基于视觉伺服的协作机器人自适应阻抗控制策略 (adaptive impedance control of cooperative manipulator based on visual servo, VS-AIC)，解决非结构化未知环境下协作机器人抓取存在成功率低和柔顺性差等问题。

本文的主要创新点包括：1）融合ResNet网络与“像素级”抓取思想，提出了新型的抓取网络结构，有效提高了识别精度，实现最优抓取框生成；2）利用模糊自适应阻抗控制器实现机械臂末端夹爪的柔顺抓取，提高了抓取任务的泛化性和柔顺性，降低了抓取损耗。

1.   基于改进ResNet网络的目标检测

CNN具备强大的特征提取能力，且网络训练耗时短，但是随着网络层数的加深，训练过程中会出现梯度爆炸/消失现象，从而导致网络性能下降，难以满足更为复杂场景下的目标检测要求。ResNet的出现有效地改善了随着网络层数加深导致模型性能退化的问题，随着GPU（graphics processing unit）技术的不断发展，模型训练速度日益加快，当前基于ResNet的目标检测网络成为抓取目标检测领域的首选。目标检测的任务是为了识别并分辨图像中的物体，并为每个识别出来的物体生成检测框，该检测框包含物体类型识别的结果以及包围物体的一个矩形框。但是仅仅获取目标所处的范围以及目标物体的种类信息不足以完成协作机械臂的抓取任务，为了实现机械臂的抓取，需要网络预测目标物体的抓取点以及抓取角度，其中抓取框包含夹爪位置与角度信息，这些信息对于抓取的成功和物体的保护至关重要。

协作机械臂实现目标抓取任务需要通过RGBD相机对目标物体进行图像采样分析，从而获得其最佳的抓取位姿。由于夹爪的尺寸通常是已知的，因此本文没有采用文献[23-25]中提出的五维抓取配置表示方法，而是采用了一种简化的机器人抓取位姿表示方式，该方法与Morrison等^[15]提出的方案相似。如图1所示，假设抓取过程夹爪始终保持与桌面垂直，此时检测网络输出的抓取信息可表示为

图  1  抓取检测网络输出结果

Fig.  1  Capture and detect network output results

下载: 全尺寸图片

式中：${p_{\mathrm{r}}} = (x,y,{\textit{z}})$是夹爪在笛卡尔坐标系中的坐标，${q_{\mathrm{r}}}$是每个生成抓取框的得分，${\phi _{\mathrm{r}}}$表示夹爪沿其${\textit{z}}$轴顺时针旋转的角度，${w_{\mathrm{r}}}$表示夹爪抓取物体时张开的期望宽度。

“像素级”预测抓取框生成方法的关键是保持最终输出特征图的尺寸与输入图像大小一致，该方法通过卷积网络实现像素级的语义分割，直接为输入图像中的每个像素点生成抓取配置，从而进行像素级的抓取预测，而无需依赖候选抓取框的得分排序^[26]。本节提出的改进抓取检测网络模型是在ResNet-50的基础上改进的，结合了GGCNN的“像素级”抓取策略。该模型接收4通道图像作为网络的输入，在此基础上，特征图经过3个卷积层，随后通过5个残差层和3个卷积转置层，生成4幅图像，最终将特征图尺寸放大至输入图像同等大小。通过输出的4幅特征图评估模型生成预测抓取框的抓取质量、抓取角度($\cos 2\phi $,$ \sin 2\phi $)以及抓取宽度。改进后的物体检测网络的整体架构如图2所示。

图  2  基于改进ResNet的抓取检测网络结构

Fig.  2  Grasp detection network structure based on improved ResNet

下载: 全尺寸图片

卷积层用于从输入图像中提取特征(对应图2中的灰色模块)，随着网络深度的增加，模型输出预测结果精度会得到提高。然而，网络加深也会伴随着梯度消失与梯度爆炸等问题，导致饱和现象，从而降低整体精度。为了解决这个问题，经卷积层提取后的输出被传送到5个ResNet层(对应图2绿色的ResNet模块)，ResNet通过跨层连接(skip connections)使模型能够更有效地学习单位函数，从而充分提取输入图像的特征。

经过卷积层和ResNet层后，输入图像由原始尺寸缩减至56×56的特征图。为了实现原始图像与特征图像之间每个像素点的特征比对，使用卷积转置运算对图像进行上采样，从而将输出图像的尺寸恢复到与输入图像相同，实现“像素级”抓取信息生成(对应图2中的橙色模块)。最终，网络需要预测机器人的抓取位姿，包括抓取质量、抓取角度和抓取宽度，其中抓取质量和抓取宽度可以直接从输出特征图回归得到，而抓取角度则是通过先预测二倍抓取角的正弦和余弦值，之后再计算得到抓取角度，这样可以保证最终的预测抓取角度${\phi _{\rm{r}}}$位于[−90°,90°]中，避免产生多余的转动。

2.   基于视觉伺服的自适应阻抗控制策略(VS-AIC)

2.1   抓取模型建立

整个机械臂抓取流程为：目标检测、运动控制和柔顺抓取，其中目标检测采用前一章所提的抓取检测策略，运动控制采用团队前期基于改进MPC（model predictive control）的控制算法^[8]。在介绍柔顺抓取方法之前，首先介绍本文采用的Robotiq-85F抓取模型，图3为夹爪模型结构。

图  3  夹爪模型结构

Fig.  3  Gripper model structure

下载: 全尺寸图片

图3中，${x_{\mathrm{r}}}$为夹爪位置的期望值，${p_{\mathrm{r}}}$为经逆运动学转换后夹爪的期望开度，${p_{\mathrm{k}}}$为当前开度，${e_{\mathrm{p}}} = {p_{\mathrm{r}}} - {p_{\mathrm{k}}}$为开度误差，${u_{\mathrm{k}}}$为夹爪内部位置控制器的控制输入。阻抗控制通过调节${x_{\mathrm{r}}}$来实现末端的柔顺抓取。夹爪逆运动学公式为

式中：$x$为夹爪开度，$w$为两指距离，${\mathrm{round}}( \cdot )$为四舍五入函数。

2.2   模糊自适应阻抗控制策略

在人机物理交互的过程中，位置型控制器将环境和末端执行器两者间的作用力转换成执行器的位置补偿，其控制表达式可以表示为

式中：${m_{\rm{d}}}$、${b_{\rm{d}}}$、${k_{\rm{d}}}$分别表示阻抗控制的期望惯性、期望阻尼、期望刚度，$\ddot x$、$\dot x$、$x$分别表示夹爪末端的加速度、速度、开度，${\ddot x_{\rm{d}}}$、${\dot x_{\rm{d}}}$、${x_{\rm{d}}}$分别表示夹爪末端的期望加速度、速度、开度，${f_{\rm{d}}}$表示夹爪与目标物体的期望接触力，${f_{\rm{e}}}$表示夹爪与目标物体的实际接触力。

基于位置型阻抗控制器由阻抗控制器与位置控制器组成，其中${x_{\rm{r}}} = {x_{\rm{d}}} + {e_{\mathrm{x}}}$为位置控制器的期望值，系统框图如图4所示。

图  4  自适应阻抗控制框图

Fig.  4  Adaptive impedance control block diagram

下载: 全尺寸图片

由于阻抗模型参数的动态变化，系统的瞬态性能难以得到保障，这可能导致末端夹爪与环境接触时出现较大的接触力冲击。因此，瞬态性能成为评价阻抗控制性能的重要指标之一。为了在未知环境下实现机械臂末端接触力的有效控制，本小节提出基于模糊自适应阻抗控制方法，以兼顾瞬态性能和稳态性能的优化。

将接触力误差$\Delta f$与其导数$\Delta \dot f$作为模糊控制器输入，通过模糊控制器自适应调节阻抗控制器参数${m_{\rm{d}}}$、${b_{\rm{d}}}$、${k_{\rm{d}}}$，从而实现阻抗控制器参数根据接触力的状态自适应调节。模糊控制器输入信号隶属度函数分布如图5所示，$\Delta f$对应的论域区间为[−2，2]，$\Delta \dot f$对应的论域区间为[−4，4]，采用五级模糊语言{NB(负大),NS(负小),ZO(零),PS(正小),PB(正大)}将输入变量模糊化。

图  5  输入变量隶属度函数

Fig.  5  Input variable membership function

下载: 全尺寸图片

进一步对模糊规则表的输出进行解模糊后即可获得模糊控制器输出的${m_{\rm{d}}}$、${b_{\rm{d}}}$、${k_{\rm{d}}}$值，并用于改善阻抗控制器的性能。模糊控制器输出信号隶属度函数如图6所示，${m_{\rm{d}}}$对应的论域区间为[0，16]，${b_{\rm{d}}}$对应的论域区间为[1, 9]，${k_{\rm{d}}}$对应的论域区间为[1, 5]，采用五级模糊语言{VS(极小),LS(小),MD(中),LB (大),VB(极大)}将模糊推理结果进行去模糊化。

图  6  输出变量隶属度函数

Fig.  6  Output variable membership function

下载: 全尺寸图片

为了改善抓取宽度设置的合理性以及减少人为参与设计的工作量，提出了VS-AIC算法，通过目标检测算法输出的预测抓取框宽度${w_{\rm{r}}}$的二分之一作为自适应阻抗控制策略的期望抓取位置${x_{\rm{d}}}$，可以有效降低待抓取物体的形变程度，降低抓取损耗。该算法的控制系统框图如图7所示。

图  7  基于VS-AIC控制系统框图

Fig.  7  VS-AIC-based control system block diagram

下载: 全尺寸图片

3.   仿真实验与分析

3.1   目标物体数据集与模型训练

为了提高训练的质量，进而提高模型识别的精确性与泛化能力，本文采取自建数据集进行模型训练。首先使用Realsene D435相机对样品的图像信息进行采样，然后通过ENVI工具将采集的原始图像由1280×720裁剪至640×480。后续的制作流程如图8所示。

图  8  数据集建立流程

Fig.  8  Process of data set production

下载: 全尺寸图片

数据集包含880张RGB图像，提供了超过8000个高质量抓取矩形框标注，按照 8∶1∶1 的比例划分为训练集、验证集和测试集。原始数据集大小为$N$，其中训练集占80%（即$0.8N$）、验证集占 10%（即$0.1N$）、测试集占 10%（即$0.1N$）。首先，将基于 Cornell 数据集上完成预训练的模型进行迁移学习，每次训练100个 epochs。网络训练过程中的超参数batch size统一设置为8，初始学习率learning rate为0.001，使用Adam优化器、标准反向传播技术与小批量SGD技术进行模型训练，学习衰减策略保持不变。为了减缓网络训练中的梯度爆炸现象，并加快网络收敛速度，采用${\mathrm{Smooth}}\;L1$损失函数^[27]进行评估，其定义为

式中：$N$为一个训练样本内抓取框的标签个数；$\bar G$为数据集标签内所有配置；$G$为网络预测的抓取配置；${\bar G^k}$为网络预测的第$k$个物体预测抓取框；$L_i^k$为当前物体的第$i$个真实值标签；$q$为输入图像每个像素点的抓取质量值，$q \in [0,1]$；$w$为预测抓取宽度；$\phi $为预测抓取角度，$\phi \in [ - \text{π} /2,{\text{π} /2}]$。${\mathrm{Smooth}}_{L1}$函数定义为

为了满足预测抓取角度的范围条件，在训练时将数据集标签的抓取角度分解为$\cos 2\theta $与$\sin 2\theta $，最后网络预测时，最终的预测抓取角度由$\phi = \dfrac{1}{2}\arctan \dfrac{{\sin 2\phi }}{{\cos 2\phi }}$求解。

不同的训练任务需要采取特定的评价指标来评价网络预测结果的精确性，由于网络预测结果为生成的抓取矩形框，因此采用下述条件进行预测结果成功与否的判定:

1）$\left| {\phi - \bar \phi } \right| > {30^ \circ }$，其含义为预测抓取框在像素坐标系下的角度与样本中最接近的标注框相差角度小于30°;

2）${\mathrm{J}}(\bar G,G) = \dfrac{{\left| {\bar G \cap G} \right|}}{{\left| {\bar G \cup G} \right|}}$，其中${\mathrm{J}}$表示Jaccard指数，该指数可用于评估预测抓取框与样本中抓取框的最大重复覆盖面积的比例，当Jaccard大于0.25，可判定为成功预测。

在自制数据集上训练本文所提的目标检测模型，使用Adam优化器对基于ResNet网络改进的抓取检测网络进行了100轮次的迭代训练，batch size设置为24，初始学习率设置为0.0002，并使用StepLR学习率衰减策略。使用图像翻转与随机增强等方式对训练数据集进行数据增强。

经过上述参数设置训练后，网络的损失函数值经过60轮迭代后趋于收敛。优化后网络抓取识别准确率达到97.7%，经过同样设置训练得到的ResNet网络抓取识别准确率达到90.4%。本文提出的基于改进和优化的ResNet目标检测网络相较于基础ResNet网络在识别准确率上得到了显著提升，能够满足高精度协作机械臂识别抓取需求。

3.2   VS-AIC仿真实验

为了验证本章所提出的模糊自适应阻抗控制策略的有效性，首先在Simulink环境下基于Simscape库中关节模块以及URDF导入模块搭建出机械臂、夹爪与待抓取物体的仿真模型。其中桌面待抓取物体根据抓取面分类，通常可以分为圆柱体、长方体与球体。搭建出来的模型如图9(a)所示，其中Simulink中自带的URDF导入模块无法实现碰撞检测功能，因此需要使用一种代理结构，即利用两个矩形块代替夹爪与目标物体接触的夹板，此时即可对末端添加力传感器模块，进行接触力的测量以及将数据传入阻抗控制器计算位置补偿。为了实现视觉伺服中的视觉检测算法的部署，通过载入虚拟相机模块来实现仿真界面的物体识别，基于ResNet改进的抓取检测网络生成的预测的抓取框如图9(b)所示。

图  9  基于阻抗控制的抓取仿真平台

Fig.  9  Impedance control-based grasping simulation platform

下载: 全尺寸图片

本文通过柔顺程度指标来评价协作机械臂末端夹爪柔顺控制算法的性能，其计算方法为

式中：${w_{\rm{r}}}$为目标检测模型输出的抓取框宽度，${\mathrm{d}}x$为位置型阻抗控制器输出的位置补偿。${J_{\mathrm{c}}} \in [0,1]$越小说明抓取柔顺程度越高。

根据抓取面对物体分类的结果，待抓取物体主要考虑球体、圆柱体和正方体，其宽度均设定为2 cm；刚度$K$分别设置为5000、1000、200。图10给出无阻抗、固定参数阻抗控制、自适应阻抗控制和模糊自适应阻抗控制作用下夹爪与环境接触力(F/N)大小与位置补偿(dx/cm)对比响应曲线。

图  10  不同阻抗控制策略对比仿真结果

Fig.  10  Comparison of simulation results with different impedance control strategies

下载: 全尺寸图片

由图10可以看出，通过引入不同类型的阻抗控制策略，末端夹爪接触力相较于无阻抗系统有一定程度减小，且存在末端位置补偿，增加了末端的柔顺程度；且相较于直接自适应阻抗补偿控制，间接自适应阻抗补偿控制(模糊自适应阻抗)的效果更佳。进一步计算得到固定参数阻抗控制的柔顺程度指标分别为0.945、0.67、0.6；引入直接自适应阻抗补偿后，柔顺程度指标减小为0.94、0.607、0.52，相较于固定参数阻抗控制分别改善了0.6%、9.4%、12.9%；为了进一步减小末端接触力大小，引入模糊控制器实时调节阻抗参数，柔顺程度指标改善为0.93、0.6、0.52，相较于固定参数阻抗控制分别改善了1.6%、11.2%、15.4%。因此，基于模糊自适应阻抗控制策略可以实现抓取的同时，有效减少接触力大小及冲击振荡，改善柔顺性能。

4.   实机实验

本节开展面向不同刚性物体的柔顺抓取实验。首先，控制机械臂运行回初始位姿，随后对待抓取目标物体进行抓取检测，抓取检测框的预测结果如图11所示，当目标检测模块检测到待抓取物体时返回抓取框复合信息${G_{\rm{r}}}$，包括目标物体坐标位置$ [\begin{array}{*{20}{c}} x&y&{\textit{z}} \end{array}] $、转角$\phi $以及抓取宽度$w$。

图  11  待抓取目标抓取检测结果

Fig.  11  Capture detection result of the target to be captured

下载: 全尺寸图片

随后，通过Python中CV2库调用预训练的YOLO V3对目标物体进行简单分类，并利用分类后的结果访问Python字典，获得阻抗控制的期望力与位置补偿，如表1所示。可以看出，采用自适应阻抗策略后夹爪抓取的宽度均变大，其中矿泉水瓶约补偿23 mm，纸巾约补偿10.12 mm，木球约补偿0.4 mm。随着物体的耐形变程度增加，阻抗控制器输出的位置补偿越来越小，对于刚度更高的物体，阻抗控制器输出的位置补偿将趋近于零。因此，引入阻抗控制后，位置补偿有效降低了柔性物体的形变损耗，同时夹爪力的减小可以降低对物体的刚性损耗。

最后，利用运动控制算法^[8]将机械臂控制到期望位置后，实现对目标物体的柔顺抓取。图12给出3种不同刚性物体(瓶子、柔性纸巾、木球)的模糊阻抗控制抓取实验结果，可以看出：无阻抗条件下瓶子与柔性纸巾由于存在一定的柔性，直接抓取会产生较大程度的形变，从而使得物体形变受损；刚度大的木球几乎不存在形变。

图  12  不同形状与刚性物体模糊阻抗抓取实验结果

Fig.  12  Experimental results of fuzzy impedance grabbing for objects with different shapes and rigidity

下载: 全尺寸图片

在模糊阻抗控制下，柔性的瓶子与纸巾成功实现抓取的同时，其形变程度有了较大的改善。结合表1中夹爪两指距离与式（5）所给出的抓取柔顺指标计算公式可得：面向矿泉水瓶与纸巾抓取的柔顺程度指标分别提升了66.3%与45.9%，大大降低了物体刚性受损程度；木球由于其刚度足够高，抓取结果与无阻抗控制策略下相似。

5.   结束语

本文提出了基于视觉伺服的协作机器人自适应阻抗控制技术，实现了平面环境下不同形状与刚性物体的柔性抓取。首先，针对不同构型物体抓取位姿识别存在成功率低、抓取框姿态非最优等问题，提出了基于ResNet“像素级”抓取框生成模型。其次，针对现有阻抗控制策略难以满足未知动态环境下柔顺操作需求，提出了基于视觉伺服的模糊自适应阻抗控制策略。最后，开展了面向不同形状与刚性物体的识别与抓取实验，模型训练结果表明，本文所提目标检测方法的抓取识别准确率优于ResNet，对于不同形状的物体均能获取最优的预测抓取框，有效提升了抓取的成功率和泛化性；与现有自适应阻抗控制方法相比，协作机器人抓取的柔顺性能得到明显提升。后续研究将聚焦于提高机械臂系统非平面复杂环境下抓取能力，结合点云与自注意力机制实现六自由度抓取。