1 引言（Introduction）

缝制作为服装制造行业中重要的生产过程，十分依赖廉价劳动力，但如今用工成本不断增加，该生产方式备受打击^[1-2]。如今缝制自动化主要集中在缝纫机等缝制机械设备自动化方面，可替代人工的自动化缝制单元仍方兴未艾^[3]。机器人具有高重复定位精度、低出错率、在恶劣环境中长期工作的特点^[4]。因此，应用机器人技术提高缝制过程智能化水平，是实现服装行业智能制造的关键。机器人缝制可在不同任务需求中切换，适用于现在服装行业多品种、小批量的个性化消费市场。在缝制行业智能制造的实践中，机器人缝纫即“机器人$ + $自动化智能缝制设备”所组成的动态加工模块是未来缝制生产的必然变革^[5]。

针对机器人自动缝制单元，国内外已有多家研究机构进行了设计研究。在国际上，Gershon^[6]基于PUMA 560机器人设计了FIGARO（flexible intelligent garment assembly robot）缝制系统，但是由于硬件原因，系统整体缝制精度较差。Paraskevi^[7]基于RV4A机器人搭建了自动缝制单元，具有在线学习功能，可用于多种特性未知织物的双层缝制。Schrimpf^[8]基于3台UR机器人设计了多机协同的缝制系统，研究不同形状与材料织物的拼接问题，此外结合传送带，为系统提供更大的缝制空间。在国内，山东珞石机器人公司推出XB7机器人协同缝制系统，基于六轴工业机器人，结合视觉系统完成织物包缝与平缝，是国内较早研究机器人缝制系统的机构^[9]。王晓华团队^[10]基于Delta机器人研究了扣眼缝制技术，但该系统只进行了缝制轨迹仿真，暂未进行真实测试。

以上缝制系统主要以视觉感知为主，且织物具有高柔性、低摩擦、材料各向异性的特点^[11]，在缝制操作过程中会出现褶皱与形变^[12]，如果在缝制过程中未能保持织物平整，则难以保证最终的缝制质量。因此机器人缝制系统需要利用视觉、力觉等多传感器信息来提高机器人对形变物体的操作能力^[13]，部分学者对此进行了研究。在视觉方面，Jia等^[14]提出一种基于视觉反馈字典的机器人操作框架，使机器人可以与人协作对折布料；Sun等^[15]提出一种分层视觉架构，用于感知服装的3维构形，利用双臂机器人实现了服装的抓取与展平。在力觉方面，Fung等^[16]利用步进电机在织物上施加张力，基于增广误差的模型参考自适应方法，测试织物性能；为保持人机协作过程织物的平整，Kruse等^[17]设计了力与视觉结合的机器人运动控制器，在以视觉方式识别褶皱的基础上，利用关节力传感器感知接触力，从而顺应人对织物的折叠、移动等操作。虽然目前基于视觉、力觉的机器人织物操作方法已取得一定效果，但是主要还是完成织物的抓取、折叠、展平等基本操作，如何将两者信息相互结合实现机器人与缝纫机的协同，并应用于更为复杂的织物缝制操作，是需要进一步研究的工作。

本文以视觉、力觉为基础，设计搭建了一套机器人缝制系统，提出基于边缘检测的机器人缝制轨迹规划与基于恒力控制的机器人－缝纫机协同缝制策略。首先提取织物边缘，然后识别缝制拐点并规划缝制线迹，最后研究缝制过程中织物的受力情况，协同机械臂与缝纫机，保持缝制过程中的织物张力。该系统将视觉规划信息与缝制力觉信息相结合，实现了包括织物上料过程的多种多边形织物整体缝制功能，提高了缝制系统的准确性与柔顺性。

2 机器人协同缝制系统设计（Design of the robotic collaborative sewing system）

机器人缝制系统主要包括缝制线迹规划模块和协同控制模块。整体实验平台如图 1所示，线迹规划模块由Intel RealSense 435i摄像机、LED背光源、算法开发计算机组成，其中相机可以输出1920$ \times $1080分辨率的彩色图像，拍摄频率为30帧/秒，镜头视场约为85°；协同控制模块由UR5e协作机器人、压板、标准GC6920工业缝纫机、STM32嵌入式开发板组成，其中机器人末端自带6维力传感器，其$ x $、$ y $、$ z $方向的力精度为4.0 N，$ x $、$ y $、$ z $方向的力矩精度为0.3 N$ \cdot $m，压板为矩形亚克力板，以按压方式与织物接触，对接触面进行粗糙处理，增加摩擦力，防止织物与压板发生相对滑动。系统中相机采用USB3.0、Type-C接口与计算机相连，机器人控制柜通过网线与计算机相连，STM32嵌入式开发板通过串口与计算机进行通讯，系统各组件的作用以及数据流向如图 2所示。

2.1 缝制线迹规划模块

缝制线迹规划模块是缝制系统实现功能的基础，其具体组成如图 3所示。该模块主要是对相机、机器人进行手眼标定，获取布料图像，识别布料的边缘信息，在此基础上进行缝制线迹点与轨迹角度等规划，从而获得机器人全局缝制运动路径。

2.2 协同控制缝制模块

协同控制缝制模块是缝制系统实现功能的关键，其具体组成如图 4所示。该模块主要是在机器人拖动布料进行缝制的过程中，通过力/位混合控制器，补偿因缝制机构造成织物形变给机械臂缝制带来的偏差与干扰，保证机器人缝制过程中织物张力的恒定，从而提高缝制质量。

3 基于拐点检测的机器人缝制线迹规划（Planning of the robotic sewing stitch based on corner detection）

为实现不同织物的机器人缝制，首先利用计算机视觉技术提取织物边缘信息，通过处理织物边缘轮廓规划机器人缝制线迹。为此，提出一种基于拐点检测的缝制线迹规划方法，该方法包括待缝图像预处理和缝制轨迹规划两部分，流程图见图 5。

3.1 待缝织物图像预处理

裁剪过后织物的边缘容易存在线头、卷曲等问题，不利于图像识别。一般的，边缘处的不规整线条被视为图像的高频噪声，为避免该问题的影响，需使用低通滤波器对图像进行卷积处理，获取更加平滑的图像。则有

$ \begin{align} g(x, y)=\sum _{u=-r}^r \sum _{v=-r}^r s(x+u, y+v)f(u, v) \end{align} $

(1)

其中，$ (x, y) $表示2维图像像素点的坐标，$ g(x, y) $表示该像素被处理完后的像素值。$ r $表示卷积核的半径，$ s(x, y) $表示该像素点原来的像素值，$ f(u, v) $表示卷积核在$ (u, v) $上的权重值。$ f $函数通常也称作滤波函数。

受光照、褶皱等影响，织物图像中往往存在难以通过二值化准确分割的部分，容易导致织物边缘在识别过程中存在缺陷，因此需要将滤波后的图像进行腐蚀，重构织物边缘位置，以得到完整准确的织物轮廓做铺垫。即：

$ \begin{align} A-B=\{x|B_{x} \subseteq A\} \end{align} $

(2)

其中图像$ A $用卷积模板$ B $进行腐蚀处理，通过模板$ B $与图像$ A $进行卷积计算，得出$ B $覆盖区域的像素点最小值，并用这个最小值来替代参考点的像素值。

织物边缘的提取可借助微分算子利用卷积来实现，常用的算子有Sobel算子^[18]、Roberts算子^[19]和Canny检测算子^[20]。纺织产业中经过对比研究，Canny算子更适合织物轮廓信息的提取^[21]，因此本文采用Canny算法提取织物轮廓。

3.2 缝制线迹规划

本文所考虑的平缝轨迹为凸多边形，对于缝制线迹$ \varOmega $，有：

$ \begin{align} \varOmega =\{P, S\} \end{align} $

(3)

其中缝制拐点$ P=\{p|p=p_{i}\} $，$ i=0, \cdots, n-1 $；缝制路径$ S=\{s|s=s_{i-1}^{i}\} $，$ i=0, \cdots, n $。每个缝制拐点$ p_{i} =(x_{i}, y_{i} $)，因此对于每条缝制路径有：

$ \begin{align} s_{i-1}^{i}:\; \; A_{i} x+B_{i} y+C_{i} =0 \end{align} $

(4)

由于每条缝制路径起始于$ p_{i-1} $，终止于$ p_{i} $，所以缝制路径$ s_{i-1}^{i} $又可描述为

$ \begin{align} s_{i-1}^{i}:\; \; \frac{y-y_{i-1}} {y_{i} -y_{i-1}} =\frac{x-x_{i-1}} {x_{i} -x_{i-1}} \end{align} $

(5)

对于$ s_{n}^{0} $，有：

$ \begin{align} s_{n}^{0}: \; \; \frac{y-y_{n}} {y_{0} -y_{n}} =\frac{x-x_{n}} {x_{0} -x_{n}} \end{align} $

(6)

在完成路径$ s_{i-1}^{i} $的缝制后，需将布片绕缝制拐点$ p_{i} $旋转拐角度$ \theta_{i} $，可通过相邻两路径计算旋转角，计算关系如下：

$ \begin{equation} \theta_{i} = \begin{cases} 90^{\circ} -\arctan k_{i} , & k_{i-1} =\infty \\ \arctan k_{i-1} -90^{\circ}, & k_{i} =\infty \\ \arctan \dfrac{k_{i} -k_{i-1}} {1+k_{i-1} \cdot k_{i}}, & k_{i-1} \cdot k_{i} \ne -1 \\ 90^{\circ}, & k_{i-1} \cdot k_{i} =-1 \end{cases} \\ \end{equation} $

(7)

其中，$ k_{i} =\dfrac{y_{i-1} -y_{i}} {x_{i-1} -x_{i}} $。

缝制路径与缝制拐点如图 6所示。

4 基于力/位混合控制的机器人协同缝制（The robotic collaborative sewing based on hybrid position/force control） 4.1 缝制过程任务分析

在实际缝制过程中，机器人通过压板以按压的方式与织物接触，压板的中心与织物形心保持一致，方向与织物朝向平行，以机器人末端$ z $轴方向力的大小表示接触状态，以缝制轨迹规划结果中的第1个拐点为初始缝纫位置，进行边缘缝制。在缝纫过程中，需要保证机器人末端$ z $轴方向力恒定，压紧位置不发生滑动摩擦，进而确保缝纫位置准确。

但是由于工作平面的摩擦力、机械臂末端的压力、以及缝纫机机针、送布牙等机构产生的作用力作用在织物上，织物边缘会产生不同程度的形变，导致缝纫线迹出现偏差，影响缝纫质量。因此，除精确的位置控制外，还需要对机械臂进行柔顺控制，使得机械臂与缝纫机实现协同控制，从而保持缝纫过程中织物的张力恒定。综上，如图 7所示，设约束坐标系$ \{C\} $为机械臂末端执行器，则缝制任务的自然约束$ N $为

$ \begin{align} \begin{cases} v_{{\rm c}x} =0 \\ v_{{\rm c}z} =0 \\ f_{{\rm c}x} =0 \\ f_{{\rm c}y} =0 \end{cases} \end{align} $

(8)

缝制任务的人工约束$ P $为

$ \begin{align} \begin{cases} v_{{\rm c}y} =v \\ f_{{\rm c}z} =f \end{cases} \end{align} $

(9)

其中$ v $为缝纫机转速，$ f $为使得布料不发生大形变的压力。

4.2 力/位混合控制 4.2.1 位置控制

首先将约束空间中的期望位置$ ^{C}\mathit{\boldsymbol{x}}_{\rm d} $、期望速度$ ^{C}\dot{\mathit{\boldsymbol{x}}}_{\rm d} $、期望加速度$ ^{C}\ddot{\mathit{\boldsymbol{x}}}_{\rm d} $变换为工具坐标系$ \{T\} $中的期望位置$ ^{T}\mathit{\boldsymbol{x}}_{\rm d} $、速度$ ^{T}\dot{\mathit{\boldsymbol{x}}}_{\rm d} $、加速度$ ^{T}\ddot{\mathit{\boldsymbol{x}}}_{\rm d} $。

$ \begin{align} \begin{cases} {}^{T}\mathit{\boldsymbol{x}}_{\rm d} ={}_{C}^{T} \mathit{\boldsymbol{P}}{}^{C}\mathit{\boldsymbol{x}}_{\rm d} \\ {}^{T}\dot{\mathit{\boldsymbol{x}}}_{\rm d} =\mathit{\boldsymbol{J}}_{1} (\theta){}^{C}\dot{\mathit{\boldsymbol{x}}}_{\rm d} \\ {}^{T}\ddot{\mathit{\boldsymbol{x}}}_{\rm d} =\dot{\mathit{\boldsymbol{J}}}_{1} (\theta){}^{C}\dot{\mathit{\boldsymbol{x}}}_{\rm d} +\mathit{\boldsymbol{J}}_{1} (\theta){}^{C}\ddot{\mathit{\boldsymbol{x}}}_{\rm d} \end{cases} \end{align} $

(10)

其中$ {}_{C}^{T} \mathit{\boldsymbol{P}} $为约束空间到工具空间的齐次变换矩阵，$ \mathit{\boldsymbol{J}}_{1} (\theta) $为工具坐标系的雅可比矩阵。

机械臂工具空间位置反馈$ {}^{T}\mathit{\boldsymbol{x}} $由关节位置$ \theta $利用运动学方程$ {T\mathit{\boldsymbol{}}} $计算获得。为得到更快的系统响应速度，位置控制律采用PD（比例－微分）控制器，即：

$ \begin{align} \mathit{\boldsymbol{u}}_{\rm p} =K_{\rm Pp} ({}^{T}\mathit{\boldsymbol{x}}_{\rm d} -{}^{T}\mathit{\boldsymbol{x}})^{\rm T}+K_{\rm Pd} ({}^{T}\dot{\mathit{\boldsymbol{x}}}_{\rm d} -{}^{T}\dot{\mathit{\boldsymbol{x}}})+\ddot{\mathit{\boldsymbol{x}}}_{\rm d} \end{align} $

(11)

其中$ \mathit{\boldsymbol{u}}_{\rm p} $为位控向量，$ K_{\rm Pp} $、$ K_{\rm Pd} $为位置控制的PD调节系数。

4.2.2 力控制

力控制回路一般采用PI控制器，能消除较大的力偏差，得到更理想的输出作用力。即：

$ \begin{align} \mathit{\boldsymbol{u}}_{\rm f} =K_{\rm Fp} ({}^{T}\mathit{\boldsymbol{F}}_{\rm d} -{}^{T}\mathit{\boldsymbol{F}})+K_{\rm Fi} \int {({}^{T}\mathit{\boldsymbol{F}}_{\rm d} -{}^{T}\mathit{\boldsymbol{F}})} {\rm d}t \end{align} $

(12)

其中$ \mathit{\boldsymbol{u}}_{\rm f} $为力控向量，$ K_{\rm Fp} $、$ K_{\rm Fi} $为力控制的PI调节系数。

位置控制$ \mathit{\boldsymbol{u}}_{\rm f} $和力控制$ \mathit{\boldsymbol{u}}_{\rm f} $经对角型选择矩阵$ \mathit{\boldsymbol{S}} $选择后相加得$ \mathit{\boldsymbol{u}} $，其中$ \mathit{\boldsymbol{S}}={\rm{diag}} [1, 1, 0, 1, 1, 1] $。由机械臂基坐标系到工具坐标系的转换关系$ ^{T}\dot{\mathit{\boldsymbol{x}}}= $ $ \mathit{\boldsymbol{J}}_{0} (\theta)\dot{\theta} $可得：

$ \begin{align} \ddot{\theta} =\mathit{\boldsymbol{J}}_{0}^{-1} (\theta)({}^{T}\ddot{\mathit{\boldsymbol{x}}}-\dot{\mathit{\boldsymbol{J}}}_{0} (\theta)\dot{\theta} ) \end{align} $

(13)

则机器人控制器为

$ \begin{align} \mathit{\boldsymbol{\tau}} =\mathit{\boldsymbol{M}}(\theta)\mathit{\boldsymbol{J}}_{0}^{-1} (\theta)({\mathit{\boldsymbol{u}}-\dot{\mathit{\boldsymbol{J}}}_{0} (\theta)\dot{\theta}})+\mathit{\boldsymbol{V}}(\theta, \dot{\theta})+\mathit{\boldsymbol{G}}(\theta) \end{align} $

(14)

其中$ \mathit{\boldsymbol{M}}(\theta) $为质量矩阵，$ \mathit{\boldsymbol{V}}(\theta, \dot{\theta} $) 是离心力与科氏力矢量，$ \mathit{\boldsymbol{G}}(\theta) $为重力项矢量。

基于此，设计了如图 8所示的力/位混合协同控制器。

5 实验验证与讨论（Experimental validation and discussion）

在图 1所示的系统平台中，首先进行缝制轨迹规划实验，然后对协同控制缝制算法进行Matlab仿真，最后在不同缝制速度下对不同颜色、不同形状的布料进行缝制实验，测试系统的缝制功能。

5.1 缝制轨迹规划 5.1.1 相机标定

采集10~20张如图 9所示的标定板图像以及相对应的机械臂末端姿态，求得相机内参矩阵$ \mathit{\boldsymbol{f}} $以及外参矩阵$ \mathit{\boldsymbol{K}} $，结果如下：

$ \begin{align*} \mathit{\boldsymbol{f}} & =\begin{bmatrix} 1372.3 & 0 & 954.1 \\ 0 & 1374.1 & 547.9 \\ 0 & 0 & 1 \end{bmatrix} \\ \mathit{\boldsymbol{K}} & =\begin{bmatrix} 0.9997 & 0.0027 & 0.0242 & -258.9438 \\ 0.0027 & {-1} & -0.0002 & -430.1141 \\ 0.0242 & 0.0003 & -0.9997 & 578.5774 \\ 0 & 0 & 0 & 1 \end{bmatrix} \end{align*} $

标定实验结果如图 10所示，标定图像重投影平均误差为0.61像素，基于Halcon标定板进行相机标定测试，视觉精度为0.52 mm，通过对直径为25 mm的标准球进行测量，得相机标定误差为2.4 mm，小于平缝工艺预留缝宽7~10 mm的要求^[22]，系统满足织物上料定位操作需求。

5.1.2 轨迹规划

织物图像经过灰度、高斯模糊、二值化后的结果如图 11所示，其中高斯核函数大小为5，二值化阈值为140。

采用Canny算子提取织物轮廓的结果如图 12(a)所示，预缝制线迹通常位于布料轮廓内，因此通过图像腐蚀获得比布料轮廓更小的内层线迹轮廓。腐蚀核函数选取9$ \times $9大小，腐蚀后轨迹图如图 12(b)所示。对腐蚀后的二值图像进行角点检测，利用Shi-Tomasi角点检测器识别线迹拐点。识别效果如图 12(c)所示。将线迹拐点、拐点角度、轮廓旋转角度综合为缝制轨迹点，结果如图 13所示，其中黄色为原始轨迹，蓝色为旋转变换后的缝制轨迹。

5.2 协同控制缝制

为验证本文提出的力/位混合控制的机器人协同缝制方法，首先通过Matlab仿真，验证系统恒力控制性能。设置机器人末端初始位置为$ [0, \; 0, \; 4] $，沿$ Y $轴前进，假设缝制前进方向平面为正弦函数$ y=\sin (0.125x)+1 $，环境刚度为10 N/mm，给定期望力为55 N，实验结果如图 14所示。由图 14(a)(b) 可以看出，末端运行曲线可以与实际缝制平面实现较好同步。由图 14(c)可以看出，用时10 ms左右系统趋向稳定，力响应值最大误差为2 N，系统具有较快的响应速度和较好的跟踪性能。

5.3 机器人缝制系统结果 5.3.1 单边缝制实验

为测试实际缝制效果，在如图 1所示搭建的缝制实验台上进行真实缝制实验。首先测试单边协同缝制。设定缝纫机针距为3 mm，缝纫线迹距离面料边缘5 mm，线迹长度为13 cm，在低速200 r/min、中速500 r/min、高速1000 r/min三种模式下分别测试20次缝纫机系统的缝纫效果，结果如图 15所示，缝制过程中的力如图 16所示。缝纫数据如表 1所示。实验结果表明，系统可以适应不同缝制速度且可以在缝制过程中保持织物张力恒定。

5.3.2 多边缝制实验

设定缝纫机针距为3 mm，缝纫线迹距离面料边缘5 mm，在中速500 r/min模式下进行多边面料协同缝纫测试。系统对不规则四边形、五边形、七边形呢绒布料的缝纫效果如图 17所示。对聚酯油毡基布料、牛仔布料、棉布布料的缝纫效果如图 18所示，实验结果表明，系统可以完成不同颜色、不同形状、不同材料织物的缝制。

6 结论（Conclusion）

服装制造行业中缝制过程的自动化程度较低，机器人+自动化智能缝制设备是未来缝制生产的发展趋势，针对现有缝制系统感知单一、缝制性能弱等问题，本文设计了一种面向服装制造的机器人自动缝制单元，结合缝制过程中织物视觉信息与操作力觉信息，实现了不同缝纫机转速下织物的多边缝制。提出了一种基于织物边缘拐点信息的机器人缝制轨迹规划方法，设计了机器人缝制过程的控制器，确保缝制过程中机器人的移动速度与缝纫机的转速协同，并且使织物在缝制过程中保持一定张力。实验表明，该系统可以规划织物的缝制轨迹，协同缝制过程，较好地实现多边形织物的缝制，提高了缝制质量。

本文设计的系统及提出的方法较好地解决了机器人缝制多边形织物的问题，但在服装缝制过程中存在大量曲边织物缝制工艺，因此下一阶段将针对曲边织物，研究鲁棒性更强的缝制轨迹规划算法和协同控制策略，拓展机器人缝制系统的应用。