1959年12月,在美国召开的物理学年会期间,著名美国物理学家,1965年诺贝尔物理奖得主 Feynman[1]首次提出了微型制造技术,标志着微操作概念的诞生。20世纪中后期以来,微操作系统的研究一直作为机器人技术的一个热门研究分支,具有广阔的应用前景和深远的研究价值。
近几十年来,物理学、材料学以及光学等现代科学技术取得的进展,使得机器人帮助人类探究微观世界的奥秘成为可能。作为机器人技术和微纳米技术结合的产物,微型机器人(micro robot)和微操作机器人(micromanipulation robot)是近年来国内外机器人研究的两个崭新亮点。
20世纪80年代末期,微机械电子学的突破性进展使得科学家可以利用微加工和微封装技术将微驱动器、微传感器、微执行器以及信号处理、控制、通信、电源等集成于一体,成为一个完备的机电一体化的微机电系统(micro electro mechanical system,MEMS),整个系统的物理尺寸也缩小到毫米甚至微米级。借助MEMS技术,机械从一个最初的宏观概念进入微观范畴,这也使得机器人微型化和微操作成为可能。
微型机器人指的是微小机构尺寸的机器人系统,如能进入人体脏器管道检查与治疗的微型医疗机器人、用于石油天然气等细小工业管道进行检测和修复的微型管道机器人以及可以进行战场侦察的微型飞行器、微型潜艇和机器昆虫等。
微操作机器人与微型机器人相比,它拥有较大的几何尺寸,但能在一个较小的工作空间(如厘米尺度)实现系统精度达微米、亚微米甚至纳米级的精密操作和装配作业。
在现代生物工程中,直径为10~150 μm的细胞操作是一项关键技术。典型的细胞作业形式包括细胞的捕获、切割、分离、融合,细胞内器官(核、染色体、基因)的转移、重组、拉伸、固定,转基因注射,细胞壁穿刺,细胞群体操纵等,其操作尺度均在微米甚至纳米级。以往这些操作都是由实验人员在显微镜下借助特殊的微操作工具完成,其作业难度大,人员需要经过专门培训才能熟练掌握,而且操作成功与否易受人为因素影响,效率低、操作精度无法得到保证。利用微操作机器人代替人工操作是显微细胞作业的发展趋势,它将机器人控制、微驱动技术、计算机视觉与生物医学工程中的微操作需求相结合,是光、机、电、计算机一体化的综合系统。微操作机器人的发展大大提高了显微细胞作业的自动化水平,保证了操作精度和稳定性,并使得显微操作简单化,从而在生物医学研究中得到广泛应用。
微机电系统具有体积小、质量轻、功耗低、可靠性高、功能强大、易于批量生产等优点,因此被世界各国广泛认定为影响未来科技发展的战略高新技术。已经商用的MEMS产品包括大家熟知的3D打印、喷墨打印头和汽车安全气囊加速度计等。随着MEMS研究的持续深入,利用单片集成工艺加工的MEMS器件难以满足功能多样化的需求,即便能够实现也是结构复杂、成本昂贵。通过微器件装配技术可以将不同材料、不同工艺加工的MEMS器件组合成能够完成特定功能的微型系统(例如微小型药物泵、微传感器、光传输器件等),因此微装配技术已成为当今MEMS研究的核心基础技术,而微装配机器人正是代替人工实施精密微器件装配的有效工具[2-3]。微装配机器人技术使得在微尺度上进行批量化的MEMS器件自动装配成为可能,大大促进了微纳米科学的发展与应用。
1 微装配机器人的工作原理与关键技术微装配(微操作)并非宏观装配在操作尺度上的简单缩小,由于微器件在装配过程中所表现出来的尺度效应、表面效应、隧道效应等已超出了宏观装配中所涉及的物理规律范畴,一些宏观世界的机器人控制策略不再适用,因此有必要根据微器件操作的自身特点与规律,研究合适的微装配机器人系统结构和控制方法,来保证微装配作业的可靠性与有效性,提高微装配的自动化水平。
1.1 尺度效应对于传统的机器人宏观装配,在操作手抓取−移动−释放操作对象的过程中,物体的重力起主导作用。但当物体尺寸小于1 mm或物体质量小于10−6 kg时,随着物体半径的减小和质量的减轻,与物体表面积相关的黏附力(如范德华力、静电力和表面张力)的影响会大于重力、惯性力等体积力,此时微器件的表面效应将取代体积效应占支配地位(图1),这就是所谓的“尺度效应”(scale effect)。尺度效应使得在微装配过程中微器件抓取相对容易而释放却比较困难,同时还给微器件操作增加了众多不确定性因素。目前我们对微观世界的内部物理机制还不完全了解,而诸如温度、湿度等环境因素对于微器件装配的客观影响也无法给出定量化的描述。因此如何设计可靠的微操作工具(末端执行器)、合理的系统结构和有效的控制策略是微装配机器人研究面临的3个主要问题。
Download:
|
|
随着微装配技术的发展,其操作对象的数量不断增加,作业内容也日趋复杂。其中一个突出特点表现为微装配任务的多尺度交叉(multi-scale crossover)[4],即装配任务会同时涉及宏尺度(macroscale)、中间尺度(mesoscale)和微尺度(microscale)。通常,我们把1 μm~100 μm称为微尺度,100 μm~1 mm称为中间尺度,而大于1 mm称为宏尺度。微装配的尺度特征包含器件外形尺寸和操作目标(操作精度)两个要素[5]。如果装配对象具有微尺度或中间尺度的外形尺寸,则意味着操作目标尺度只可能会更小,把这类操作称为微−微装配;如果装配对象具有宏尺度外形尺寸,但是要求微尺度或中间尺度的操作精度,把这类操作称为宏−微装配。随着微纳米科学技术的发展,针对宏−微操作对象的微装配技术研究愈发显示出它的必要性。如惯性约束聚变(inertia constraint fusion, ICF)实验中的微靶装配就是一类典型的宏−微装配问题(图2)[6],ICF微靶装配同时涉及3种外形尺度的靶零件,其装配精度要求达到微米级,这给微装配机器人的结构设计与系统控制提出了很大的挑战。
Download:
|
|
微装配的核心在于针对微尺度效应研究合适的微驱动和微夹取技术来克服黏着力等各种微观因素,实现对微器件的精密定位和有效夹取与释放。微夹持器是微装配机器人系统重要组成部分,作为微装配机器人的末端执行器,其主要功能是实现对微小对象(零件)进行拾取、运送和释放操作,并可完成一定的装配动作。由于操作对象的材质、形状和几何尺寸的不同,需要研制不同类型的微夹持器来满足对不同类型操作对象的可靠操作。微夹持器技术是微操作机械手实现微零件夹取和姿态调整的重要保证和关键技术。微夹持器应具有质量轻和体积小等特点,同时还需有合适的夹持力和夹取范围。根据采用的驱动方式不同微夹持器可以分为真空吸附式微夹持器、静电式微夹持器、压电式微夹持器、电磁式微夹持器、形状记忆合金微夹持器等,分别介绍如下。
1)静电式微夹持器[7]:利用电荷产生的吸引力或排斥力,实现对微粒物体的吸附和释放作用设计的一种微夹持器。作为表面力的一种,由于对材料的性质、表面积的大小和环境温度与湿度的要求很高,应用相对较少。
2)电磁式微夹持器[8]:利用电磁力驱动末端手指完成夹持动作,可以获得较大的钳口开合位移,动作响应快、无磨损、承载能力大。但是电磁线圈体积较大,难以实现微型化。
3)形状记忆合金微夹持器[9]:形状记忆合金(SMA)功能材料具有两种不同的金属相,在不同温度范围内可以稳定存在。根据SMA的形状记忆特性,通过对其进行加热、冷却产生形变,完成夹钳的开合动作,实现对物体的夹持与放置。SMA微夹持器的优点在于变形率大,但是它冷却时反应较慢,造成释放不及时,而且疲劳寿命较短。
4)压电式微夹持器[10]:压电陶瓷是一种应用较为普遍的微夹持器驱动元件,压电式微夹持器大致可分为直线型(伸缩型)和弯曲型两类。直线型微夹持器利用压电陶瓷驱动力大、输出位移小的特点,通过机械放大机构产生输出位移,实现夹钳末端的开合动作。弯曲型微夹持器采用压电陶瓷双晶片构成双悬臂梁结构,在驱动电压的作用下悬臂梁自由端产生形变位移,构成开合动作实现夹取与放置操作。两种方式都可在压电元件上贴附应变片检测微夹持力。图3为日本名古屋大学研制的集成微力感知的直线型压电微夹持器[11],图4为华中科技大学智能与控制工程研究所研制的弯曲型压电陶瓷双晶片微夹持器[12]。
Download:
|
|
Download:
|
|
5)真空吸附微夹持器:除静电式微夹持器外,还有一种真空吸附式微夹持器,它利用真空吸附原理产生正、负气压,实现对微物体的吸取与放置操作,是一种应用广泛的夹持器[13-16]。真空吸附式微夹持器对于被操作物体的形状、材质和大小等都有着严格的要求,主要适用于一些易碎、表面光滑、质量较轻的物体。图5为华中科技大学智能与控制工程研究所研制的真空吸附微夹持器实物图[17]。
Download:
|
|
显微视觉伺服(microscopic visual servo,MVS)是目前微装配机器人的主要控制方法。除了一般视觉伺服系统所要面临的问题之外,由于显微光学成像不同于普通宏观视觉,其景深较浅、视野范围有限,这给显微图像特征提取和视觉伺服控制律的设计增加了新的难点。近年来国内外很多研究机构对微装配机器人显微视觉伺服控制开展了广泛而深入的研究。
Sato等[17]在1995年的ICRA会议论文中论述了利用显微视觉伺服控制微操作的必要性,并在电子扫描显微镜(scannig electron microscope,SEM)下成功完成基于视觉伺服的微刻蚀实验(刻蚀线宽3 μm、长15 μm)。之后为了弥补单一显微视觉观测范围和观测精度的不足,Koyano等[18]提出了“Concentrated Visual Field”的视觉结构,它融合了电子扫描显微镜和光学显微镜两路视觉信息,其中SEM放大倍数范围为15~200000倍,最大分辨率为4.5 nm,光学显微镜的放大倍数为400倍。
瑞士联邦技术学院的研究人员在他们研制的纳米级微操作机器人上进行了显微视觉伺服研究[19-21]。系统由光学显微镜反馈操作信息,根据模板匹配结果提取显微图像特征并使用Kalman滤波器对提取结果进行预测,采用动态look-and-move的PBVS视觉伺服结构控制5自由度微机器人进行操作定位。遗憾的是其文献中并没有给出对应的视觉伺服控制结果。
Sulzman等[22-23]融合多路视觉信息进行显微视觉伺服,其中由两个全局宏观视觉引导微操作机械手进行大范围运动,依据显微视觉信息控制机械手进行精密微作业。上述控制同样采用动态look-and-move的PBVS(position based visual servoing)伺服结构,但是其控制效果依赖于事先标定的离线结果,而且无法在线完成实时图像信息处理,视觉伺服实时性较差。
Fatikow等[24]利用显微视觉伺服实现了基于MINIMAN微移动机器人的微装配工作站自动控制。他同样采用了多路视觉信息,由全局视觉引导机器人宏观尺度运动;在微尺度下采用光学显微镜进行观测,采用IBVS伺服结构,由模糊逻辑神经网络完成图像特征空间到机器人运动空间的非线型映射;采用激光测距器提取深度信息,避免了IBVS中图像深度计算的问题。
美国Lawrence Berkeley国家实验室利用显微视觉伺服技术实现了光学显微镜下DNA生物细胞的解剖操作和高电压电子显微镜下晶体结构信息的动态获取[25]。系统采用基于网络的并行分布式计算环境,控制流程包括目标识别、特征跟踪、伺服控制和自动聚焦等4个子线程,利用Kalman滤波技术对微目标运动进行预测。但其特征跟踪速度仅为4 Hz,不利于实现实时高速显微视觉伺服。
Feddema和Simon[26]首先对微装配图像的显微光学成像模型进行了分析,利用Fourier算子对散焦模糊图像的性质进行描述,并由此生成CAD模拟图像,当机械手深度运动偏离聚焦平面时,根据模拟图像提取视觉伺服特征。通过散焦圆斑半径估计深度信息,并利用梯度算子进行聚焦评价。采用动态IBVS(image based visual servoing)结构控制四自由度微操作机械手实现了LIGA微齿轮的装配,装配精度可达1 μm。Ferreira等[27]利用显微视觉伺服实现了Pick-and-Place的力/位移控制,并融合虚拟现实技术进行混合控制,提高了微装配的可靠性与有效性。
美国明尼苏达大学B. J. Nelson教授领导的高级机器人实验室在显微视觉伺服方面做了很多出色的研究工作,其中Vikramaditya等[28]在1997年的ICRA会议论文中介绍了基于光学显微镜和主动视觉技术的微装配视觉控制,推导了图像雅可比矩阵模型,利用Sum-of-Squares-Differences光流法提取显微图像特征,并设计了视觉伺服最优控制器。其后,Zhou等[29]利用T-Sai两步法对光学显微视觉成像模型进行精确标定,并融合IBVS显微视觉伺服和微力检测反馈,实现了9 nN的压力控制和2 nN的接触力控制[30]。Ralis等[31]采用粗−精两级视觉伺服策略进行MEMS器件的微定位控制,由手眼宏观视觉实现粗定位,显微视觉完成微定位。利用Depth-from-Defocus技术提取深度信息,实验证明系统XY方向重复定位精度达2 μm,Z方向重复定位精度为10 μm。
Mukundakrishnan等[32]讨论了微装配显微视觉伺服中图像特征的选取原则,其设计的新特征对于微操作散焦深度变化具有一定的鲁棒性,有利于实现微器件Pick-and-Place操作的视觉控制。Yang等[33]提出面向微器件装配的显微视觉系统设计原则,对显微光学成像性质进行了详细的分析,之后又提出了一种基于小波变换的自动聚焦深度算法[34],融合聚焦深度估计和微力检测实现了微操作机械手对微器件的自动定位[35]。
Yesin等[36]采用多路显微视觉信息,实现了基于CAD模型的微器件6DOF跟踪与位姿估计。Greminger等[37-38]针对悬臂梁结构的压电微夹持器运用显微视觉信息实现了微夹持力的测量与控制,其检测精度可达
此外,国内的一些高校如北京航空航天大学[39]、哈尔滨工业大学[40]、南京航空航天大学[41]、华中科技大学[42]等也开展了显微视觉伺服技术的研究,在控制结构与算法、融合力/视觉的微装配柔顺控制方面取得了一定的研究成果。
综合近年来国内外的研究进展,现阶段大多数显微视觉伺服系统采用的是动态look-and-move的IBVS伺服结构(图6)。
Download:
|
|
其研究重点和难点主要集中在以下几个方面:
1)如何计算目标深度是IBVS的一个关键问题。由于显微视觉的景深较小,机械手成像清晰的深度范围十分有限,这进一步增加了IBVS显微视觉伺服中提取深度信息的难度。深度信息涉及显微视觉系统的物理光学和几何光学特性,可以根据实际的微装配环境有针对性地采取聚焦深度估计(depth from focus,DFF)或者散焦深度估计(depth from defocus,DFD)方法进行计算。此外,融合多源视觉信息或者其他类型的传感方法(如激光等),也是深度信息提取的一条有效途径。
2)显微图像雅可比矩阵是实现微装配IBVS控制的基础。针对装配过程中出现的一些未知性和不确定性因素,利用几何光学关系推导的静态雅可比模型进行伺服控制难以满足动态微装配任务的精度要求。因此有必要研究面向微装配的无标定显微视觉伺服技术,通过建立自适应估计机制对雅可比模型进行在线辨识,提高显微视觉伺服在未知动态环境下的鲁棒性。
3)针对显微视觉景深浅、视野小的特点,集成多光路视觉信息可以实现对微装配过程多角度、多尺度、多分辨率的混合检测与控制。不仅如此,视觉信息与力觉信息的融合也可改善微夹持器的夹持能力。因此,多源信息(包括同质和异质)的融合被证明是提高微装配系统视觉伺服性能的有效手段,同时也是解决宏−微装配矛盾的可行方法。
4)实时性是显微视觉伺服系统所要考虑的重要问题。视觉计算时延通常来自于两个方面:图像特征提取与雅可比矩阵辨识。有针对性的研究机械手运动图像的检测方法,在保障跟踪性能的同时要减少特征计算时间;对机械手运动建立轨迹预测机制,利用预测量对视觉伺服时延进行补偿。
2 微装配机器人研究现状微装配机器人一般由以下几个部分组成[43]:1)高倍数、高分辨率的显微视觉系统;2)两个自由度以上的高精度、大范围运动的作业平台及辅助设备;3)能够改变操作对象位姿的多自由度微操作机械手;4)适于微小物体操作的不同类型微夹持器。在一些文献中将上述系统称为微操作机器人。如果要细分,微操作(micromanipulation)和微装配(microassembly)的区别如下[44]:
微操作通常是指在微尺度公差范围内,对微尺度或者中间尺度特征的单一目标实施位置与姿态控制的操作,如细胞穿刺和切割、外科手术等。
微装配则是在微尺度公差范围内,对微尺度或者中间尺度特征的多目标实施装配作业,是对目标空间和物理关系的控制,通常需要多机械手协同操作才能完成装配作业,如微器件和微靶装配等。
显然,微装配不仅要具备微操作的功能,同时要完成更为复杂的装配作业,是微操作系统中最为复杂的工作模式。
从20世纪80年代末开始,美国、日本、欧洲等发达国家就投入大量的资金和人力进行微装配机器人理论与技术的研究。
日本东京大学的Hatamura和Morishita于1990年研制出一套纳米微操作系统,用于超大规模集成电路的铝配线切割实验[44-45]。纳米操作手如图7所示,其中右操作手为作业手,为压电陶瓷驱动的三自由度结构,运动范围为15 μm×15 μm×15 μm,定位精度为10 nm。左操作手由尺蠖电机驱动,为粗−精两级定位平台,运动范围为20 mm×20 mm×20 mm,定位精度为10 nm。操作手末端执行器为电解研磨的镍针或金刚石针。整个系统在扫描电子显微镜(SEM)下工作,通过微针根部的一维微力传感器实现操作力的感知,操作人员利用力反馈摇杆进行操作。之后Sato等[13]在此基础上给左右操作手,添加了两个音圈电机驱动的旋转自由度,运动精度为0.1°;融合电子显微镜和光学显微镜形成对装配空间的集中观测,并研制了适用于微粒操作的真空微夹,其系统结构如图8所示。
Download:
|
|
Download:
|
|
美国德克萨斯大学的自动化与机器人研究所研制了一种多尺度装配和封装系统(图9),用于复杂的微纳米设备的工业化制造。该系统采用可重构的设计模式,其结构模块包括线性、旋转和倾斜的工作台以及可拆卸和组装的多功能机械手,并使用了多个摄像机进行多角度视觉伺服,能够完成多种复杂的微小设备的封装。
Download:
|
|
芬兰阿尔托大学的自动化与系统工程学院将微装配系统用于无线射频微芯片和人工天线模型的组装任务(图10)。该系统分为机械粗操作和基于液体微粒表面张力的自动对齐操作两个环节,实现了无线射频识别芯片与底座外边缘的自动对齐任务,使得边缘偏移非常接近,达到了可靠的精度要求。
Download:
|
|
日本名古屋大学的Fukuda教授研制的用于生物工程细胞操作的六自由度微操作手如图11所示[46]。微操作机械手由粗动机构和微调机构组成,粗动部分为步进电机驱动的直角坐标机构,微调部分为压电陶瓷驱动的六自由度串联柔性铰链机构。其末端执行器采用聚焦离子束刻蚀的微纳米操作系统,在细胞纳米手术实验中,不同类型的纳米工具可以在单细胞尺度上实现诊断、切割、植入、提取和注射等高难度动作。瑞典Uppsala大学的Johansson教授研制的微操作机器人由四自由度机械手和三自由度作业平台(载物台)组成,系统在电子显微镜下工作,可以完成200 μm硅片的切割、熔接以及单晶硅微型针的制作等[47]。
Download:
|
|
位于苏黎世的瑞士联邦技术学院(ETHZ)机器人研究所是欧洲较早开展微装配机器人研究的机构之一,其研制的ETHZ微操作机器人能够在1 cm3的空间内实现精度达10 nm的宝石分拣作业(图12)[48-49],该系统为三手协调结构,第一只手是被称为“Abalone”的压电驱动微型机器人,具有3个自由度(x, y, ψz),平移运动范围为0~5 μm,旋转范围为0~0.6 mrad,Abalone实现微目标在装配空间的定位,其Z方向位置由重复定位精度达1 μm的运动平台控制;第二只手具有4个自由度(x, y, z, ψy),3个平移自由度由直流伺服电机驱动,重复定位精度为1 μm。旋转自由度由压电陶瓷驱动,分辨率为0.1 μrad,第二只手配备有微夹持器,实现对微目标的夹取和释放操作;第三只手具有两个平移自由度(y, z),直流伺服电机驱动,重复定位精度为1 μm,其末端真空吸附微夹持器实现对宝石的吸取。利用平行双光路显微视觉完成对微操作过程的监测与显微视觉伺服控制。
Download:
|
|
美国Sandia国家实验室研制的LIGA微齿轮装配机器人,如图13所示,系统由四自由度(x, y, z, ψz)AMTI机械手、四自由度(x, y, z, ψz)精密定位平台、LIGA微夹持器和显微镜组成。机械手XY方向重复定位精度为0.4 μm,Z方向重复定位精度为8 μm,绕Z轴旋转速度为23.56 rad/s;精密定位平台XYZ向重复定位精度均为1 μm,绕Z轴旋转速度为1.8 rad/s。光学显微镜由伺服电机驱动,可实现微装配图像的自动对焦。
Download:
|
|
德国卡尔斯鲁厄大学研制了一种基于微移动机器人MINIMAN的桌面型微装配平台[50-51],MINIMAN由压电陶瓷驱动,运动分辨率为10 nm,最大运动速度为3 cm/s。在微机器人上集成了不同种类微操作工具,可以实现对微器件的空间定位与操作。为了形成有效的微信息反馈,系统集成了多种微感知手段,包括基于CCD摄像头的全局视觉、基于光学显微镜的局部视觉和激光测量等。图14为MINIMAN-Ⅲ代和MINIMAN-Ⅳ代微操作移动机器人。
Download:
|
|
美国明尼苏达州立大学高级机器人实验室B. J. Nelson教授领导的研究小组研制的面向硅片装配的3D微装配系统见图15[52]。系统由四自由度高精度微操作手、四自由度粗定位平台、多视角显微视觉系统以及微夹持器等部分组成。微操作机械手平移X-Y-Z三轴运动行程为2.58 cm,运动分辨率为0.04 μm,旋转轴由微型步进电机驱动,旋转分辨率为0.0028°;粗定位平台X-Y方向运动行程为32 cm,重复定位精度为1 μm,Z方向运动行程为20 cm,重复定位精度为5 μm,旋转分辨率为0.0028°。
Download:
|
|
美国劳伦斯•利弗莫尔国家实验室(Lawrence Livermore National Laboratory,LLNL)研制的低温靶装配机器人系统如图16所示[53]。该系统由6台微操作机械手、多视角显微视觉和光标测量机(optical coordinate measuring machine,OCMM)构成的在线检测系统、以及4种不同类型的微夹持器组成。
Download:
|
|
微操作手主要技术指标为:毫米级运动范围,1 cm3操作空间,100 nm精度。多机械手操作平台集成后的操作空间为几十厘米,操作精度为微米量级。显微视觉系统的主要技术指标为:毫米级视场范围;100 nm分辨率。光标测量机主要技术指标为:测量范围为(X-Y-Z)610 mm×610 mm×200 mm,测量系统的尺寸为(长/宽/高)140 cm×123 cm×155 cm,XYZ轴光栅尺分辨率为0.5 μm。光标测量机是由靶丸夹持器(真空吸附式)、充气微管夹持器(夹镊式)、诊断环夹持器(真空吸附式)、热机组件(TMP)夹持器(真空吸盘)等4种不同类型的微夹持器构成的靶装配夹持系统。LLNL系统可实现对13种类型,总共21个零件的低温靶装配(图17)。
Download:
|
|
国内对微装配机器人的研究起步较晚。从1993年起,国家自然科学基金和国家“863”计划分别资助南开大学、北京航空航天大学、哈尔滨工业大学、广东工业大学等高校开展微操作机器人技术的研究。1997年1月,“863”高技术机器人领域专家组在厦门召开了专题讨论会,讨论了未来几年我国在微操作机器人领域研究的发展方向和具体举措。会上决定今后的研究重点由单元技术转向系统集成,并把面向生物医学工程的微操作机器人作为研究的突破口。同年4月,专家组委托南开大学、北京航空航天大学、中科院自动化所等单位开展了“面向生物工程的微操作机器人系统”的全国调研。同年7月,“863”计划分别资助南开大学、北京航空航天大学、中国科技大学等单位开始研制开发面向细胞或基因操作的微操作机器人。
南开大学自1994年开始微操作机器人的研究,已开发出“面向生物医学工程的微操作机器人系统”,如图18所示[15]。系统由显微视觉系统、左右操作手、微操作器、二自由度辅助微动平台和自动调焦系统组成。左右操作手均为三自由度步进电机驱动的直角坐标式滚珠丝杆平台,空间运动范围为25 mm×25 mm×25 mm,运动精度为1 μm。在该系统中,实验人员通过显微视觉观察被操作的生物体(细胞、染色体等),寻找实验点。系统可以自动搜寻操作器的空间位置,自动或半自动地完成预先规划的操作。该系统已成功实现了植物染色体的切割与分离、牛肺细胞的DNA转基因注射实验。
Download:
|
|
中国科学技术大学于2000年研制成功的“全光学生物微操作系统”,如图19所示[54]。系统由显微镜、激光发射器、运动平台、图像监视系统和主控计算机等组成。该系统采用激光光镊(光刀)对细胞进行微操作。激光经过光路聚焦在显微镜焦平面上形成“势阱”,俘获细胞;然后控制平台运动,将细胞移动到期望位置,破坏“势阱”,释放细胞,从而完成细胞操作。该系统在脱毒马铃薯和毛白杨雄株试管苗进行植物转基因操作获得成功。
Download:
|
|
北京航空航天大学开展的微动机构研究,设计出一套“串并联微动机器人”[55-56]。机器人系统中右操作手采用压电陶瓷驱动和柔性铰链机构,由上(3RPS机构)、下(3RRR机构)两机构并联串接而成,外形尺寸为100 mm×100 mm×100 mm,工作空间为40 μm×40 μm×40 μm,运动分辨率为0.2 μm;左操作手采用直流伺服和精密丝杠驱动,三自由度直角坐标机构。两手操作能在显微视觉下完成全局视觉闭环反馈。该系统已成功进行了小白鼠受精卵基因注射实验。
哈尔滨工业大学研制的“六自由度纳米级宏/微操作并联机器人”[57],左右手的宏动部分采用步进电机驱动直线驱动器和旋转驱动器;三维微动部分由压电陶瓷管驱动,XY轴的最大输出位移为13 μm,位移分辨率为20 nm,Z轴最大输出位移为6 μm,位移分辨率为4 nm,而且在陶瓷管表面粘贴应变片进行微位移检测,实现了机构、驱动、检测一体化。
中科院沈阳自动化所研制的“基于原子力显微镜(atomic force microscope,AFM)的纳米级微操作系统”[58],根据AFM原理实现了微操作力感知,并具备3D微纳米位置反馈、实时视觉监控、作业环境图形生成等功能,初步实现了基于AFM模式的CNT纳米器件机器人化微装配。
华中科技大学智能与控制工程研究所2005年研制成功的面向ICF靶装配的机器人系统如图20所示[59]。该系统由左−中−右3台微操作机械手、正交立体显微视觉和真空吸附与压电陶瓷双晶片2种不同类型微夹持器构成,采用显微视觉伺服控制技术,实现对亚毫米级ICF靶零件进行自动、半自动和手动3种模式的装配作业,装配精度达到1 μm。
Download:
|
|
随着微加工自动化技术的日益成熟和发展,对微装配机器人的需求会越来越强烈,微装配机器人的应用范围也越来越广,例如:医疗器械和外科手术、微零件的精密加工和装配、精密微型仪器仪表和传感器的装配作业、核试验工程中的微靶装配、钻石分拣和安装、钟表制造和装配以及生物医学工程的转基因操作和基因重组等场所,越来越受到人们重视,已经成为机器人研究与应用领域的一个重要方向和研究热点。工业机器人技术日臻成熟,它们在制造业中的重要作用已不用怀疑,但在上述应用场所却很难发挥作用,这不仅由于它们庞大笨重的体积,而且在定位精度和灵活性上很难满足微小运动及准确抓取和存放微小零件的要求。随着微型驱动器件、微操作技术和材料的日益完善与出现,微装配机器人的研制与应用成为可能。
微装配机器人目前尚无明确的分类,通常是根据具体的装配对象和任务进行系统设计,根据装配工艺的复杂程度,可采用全自动、半自动和人工参与操作等方式进行系统设计。全自动系统通常要采用显微视觉和视觉伺服技术,系统设计相对复杂,对视觉传感器(摄像头)的精度要求较高,为了保证系统能自动操作,还需要相应操作环境的识别与定位技术和操作空间的自动转换与标定技术,以及采用系统辨识获取系统标定所需的转换矩阵(雅可比矩阵)参数等。
4 结束语微装配机器人作为机器人研究的一个重要方向,受到相关国家政府和科技工作者的高度重视,随着微机电系统(MEMS)技术日益成熟和迅猛发展,微装配机器人的应用领域不断扩大和深入,其相关的关键技术已成为当前的研究热点。笔者有10多年相关研究工作的积累,结合国内外研究成果,对微装配机器人的工作原理、关键技术、应用范围及发展前景进行了综述,希望对从事相关研究和应用开发的科技工作者和工程技术人员有所帮助。
[1] | FEYNMAN R P. There is plenty of room at the bottom [EB/OL]. (1959-12-29) [2018-09-01] http://www.zyvex.com/nanotech/feynman.html. (0) |
[2] | YANG Ge, GAINES J A, NELSON B J. A supervisory wafer-level 3D microassembly system for hybrid MEMS fabrication[J]. Journal of intelligent and robotic systems, 2003, 37(1): 43-68. DOI:10.1023/A:1023982907874 (0) |
[3] | FEDDEMA J T, SIMON R W. Visual servoing and CAD-driven microassembly[J]. IEEE robotics & automation magazine, 1998, 5(4): 18-24. (0) |
[4] | YANG Ge. Scale-based integrated microscopic computer vision techniques for micromanipulation and microassembly[D]. Minnesota: University of Minnesota, 2004. (0) |
[5] |
宗光华, 孙明磊, 毕树生, 等. 宏–微操作结合的自动微装配系统[J]. 中国机械工程, 2005, 16(23): 2125-2130. ZHONG Guanghua, SUN Minglei, BI Shusheng. Automatic microassembly system with macro-microoperation[J]. China mechanical engineering, 2005, 16(23): 2125-2130. DOI:10.3321/j.issn:1004-132X.2005.23.016 (0) |
[6] |
黄心汉. 微装配机器人系统研究与实现[J]. 华中科技大学学报, 2011, 39(增刊Ⅱ): 418–422. HUANG Xinhan. Research and realization of micro-assembly robot system. Journal of Huazhong[J]. Journal of Huazhong University of Science and Technology, 2011, 39(SupⅡ): 418–422. (0) |
[7] | YANG Ge, GAINES J A, NELSON B J. A flexible experimental workcell for efficient and reliable wafer-level 3D micro-assembly[C]//Proceedings of 2001 IEEE International Conference on Robotics and Automation. Seoul, South Korea, 2001: 133−138. (0) |
[8] | MEHREGANY M, BART S F, TAVROW L S, et al. A study of three microfabricated variable-capacitance motors[J]. Sensors and actuators, 1990, 21(23): 173-179. (0) |
[9] | ZHANG Han, BELLOUARD Y, BURDET E, et al. Shape memory alloy microgripper for robotic microassembly of tissue engineering scaffolds[C]//Proceedings of IEEE International Conference on Robotics and Automation. New Orleans, USA, 2004: 4918−4924. (0) |
[10] | HADDAB Y, CHAILLET N, BOURJAULT A. A microgripper using smart piezoelectric actuators[C]//Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems. Takamatsu, Japan, 2000: 659−664. (0) |
[11] | ARAI F, ANDOU D, NONODA Y, et al. Integrated microendeffector for micromanipulation[J]. IEEE/ASME transactions on mechatronics, 1998, 3(1): 17-23. DOI:10.1109/3516.662864 (0) |
[12] | HUANG Xinhan, CAI Jianhua, WANG Min, et al. A piezoelectric bimorph micro-gripper with micro-force sensing[C]//Proceedings of 2005 IEEE International Conference on Information Acquisition. Hong Kong, China, 2005: 145−149. (0) |
[13] | SATO T, KOYANO K, NAKAO M, et al. Novel manipulator for micro object handling as interface between micro and human worlds[C]//Proceedings of 1993 IEEE/RSJ International Conference on Intelligent Robots and Systems. Yokohama, Japan, 1993: 1674−1681. (0) |
[14] | ZESCH W, BRUNNER M, WEBER A. Vacuum tool for handling microobjects with a nanorobot[C]//Proceedings of IEEE International Conference on Robotics and Automation. Albuquerque, USA, 1997: 1761−1766. (0) |
[15] |
卢桂章, 张建勋, 赵新. 面向生物工程实验的微操作机器人[J]. 南开大学学报(自然科学版), 1999, 32(3): 42-46. LU Guizhang, ZHANG Jianxun, ZHAO Xin. Microoperation robot for bioengineering experiment[J]. Journal of Nankai University (natural science edition), 1999, 32(3): 42-46. (0) |
[16] |
黄心汉, 刘畅, 王敏. 一种全自动真空吸附式微夹持器[J]. 智能技术学报, 2011, 3(2): 36-43. HUANG Xinhan, LIU chang, WANG Min. A automatic vacuum adsorption micro gripper[J]. Journal of intelligent technology, 2011, 3(2): 36-43. (0) |
[17] | SATO T, KAMEYA T, MIYAZAKI H, et al. Hand-eye system in Nano manipulation world[C]//Proceedings of 1995 IEEE International Conference on Robotics and Automation. Nagoya, Japan, 1995: 59−66. (0) |
[18] | KOYANO K, SATO T. Micro object handling system with concentrated visual fields and new handling skills[C]//Proceedings of IEEE International Conference on Robotics and Automation. Minneapolis, USA, 1996: 2541−2548. (0) |
[19] | PAPPAS I, CODOUREY A. Visual control of a microrobot operating under a microscope[C]//Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems. Osaka, Japan, 1996: 993−1000. (0) |
[20] | RODRIGUEZ M A, CODOUREY A, PAPPAS I. Field experiences on the implementation of a graphical user interface in microrobotics[C]//Proceedings of SPIE Conference on Microrobotics: Components and Applications. Boston, USA, 1996: 196−201. (0) |
[21] | RODRIGUEZ M, CODOUREY A. Graphical user interface to manipulate objects in the micro world with a high precision robot[C]//Proceedings of IEEE International Conference on Robotics and Automation. Albuquerque, USA, 1997: 3031−3036. (0) |
[22] | SULZMANN A, BREGUET J M, JACOT J. Microvision system (MVS): a 3D computer graphic-based microrobot telemanipulation and position feedback by vision[C]//Proceedings of SPIE Conference on Microrobotics and Micromechanical Systems. Philadelphia, USA, 1995: 38−49. (0) |
[23] | SULZMANN A, BREGUET J M, JACOT J. Micromotor assembly using high accurate optical vision feedback for microrobot relative 3D displacement in submicron range[C]//Proceedings of International Solid State Sensors and Actuators Conference. Chicago, USA, 1997: 279−282. (0) |
[24] | FATIKOW S, BUERKLE A, SEYFRIED F. Automatic control system of a microrobot-based microassembly station using computer vision[C]//Proceedings of SPIE Microrobotics and Microassembly. Boston, USA, 1999: 11−22. (0) |
[25] | PARVIN B, CALLAHAN D E, JOHNSTON W, et al. Visual servoing for micro-manipulation[C]//Proceedings of International Conference on Pattern Recognition. Vienna, Austria, 1996: 341−345. (0) |
[26] | FEDDEMA J T, SIMON R W. CAD-driven microassembly and visual servoing[C]//Proceedings of IEEE International Conference on Robotics and Automation. Leuven, Belgium, 1998: 1212−1219. (0) |
[27] | FERREIRA A, CASSIER C, HIRAI S. Automatic microassembly system assisted by vision servoing and virtual reality[J]. IEEE/ASME transactions on mechatronics, 2004, 9(2): 321-333. DOI:10.1109/TMECH.2004.828655 (0) |
[28] | VIKRAMADITYA B, NELSON B J. Visually guided microassembly using optical microscopes and active vision techniques[C]//Proceedings of IEEE International Conference on Robotics and Automation. Albuquerque, USA, 1997: 3172−3177. (0) |
[29] | ZHOU Yu, NELSON B J. Calibration of a parametric model of an optical microscope[J]. Optical engineering, 1999, 38(12): 1989-1995. DOI:10.1117/1.602301 (0) |
[30] | ZHOU Y, NELSON B J, VIKRAMADITYA B. Fusing force and vision feedback for micromanipulation[C]//Proceedings of 1998 IEEE International Conference on Robotics and Automation. Leuven, Belgium, 1998: 1220−1225. (0) |
[31] | RALIS S J, VIKRAMADITYA B, NELSON B J. Micropositioning of a weakly calibrated microassembly system using coarse-to-fine visual servoing strategies[J]. IEEE transactions on electronics packaging manufacturing, 2000, 23(2): 123-131. DOI:10.1109/6104.846935 (0) |
[32] | MUKUNDAKRISHNAN B, NELSON B J. Micropart feature design for visually servoed microassembly[C]//Proceedings of IEEE International Conference on Robotics and Automation. San Francisco, USA, 2000: 965−970. (0) |
[33] | YANG Ge, GAINES J A, NELSON B J. Optomechatronic design of microassembly systems for manufacturing hybrid microsystems[J]. IEEE transactions on industrial electronics, 2005, 52(4): 1013-1023. DOI:10.1109/TIE.2005.851665 (0) |
[34] | YANG Ge, NELSON B J. Wavelet-based autofocusing and unsupervised segmentation of microscopic images[C]//Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems. Las Vegas, USA, 2003: 2143−2148. (0) |
[35] | YANG Ge, NELSON B J. Micromanipulation contact transition control by selective focusing and microforce control[C]//Proceedings of 2003 IEEE International Conference on Robotics and Automation. Taipei, China, 2003: 3200−3206. (0) |
[36] | YESIN K B, NELSON B J. A CAD model based tracking system for visually guided microassembly[J]. Robotica, 2005, 23(4): 409-418. DOI:10.1017/S0263574704000840 (0) |
[37] | GREMINGER M A, NELSON B J. Modeling elastic objects with neural networks for vision-based force measurement[C]//Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems. Las Vegas, USA, 2003: 1278−1283. (0) |
[38] | GREMINGER M A, NELSON B J. Vision-based force measurement[J]. IEEE transactions on pattern analysis and machine intelligence, 2004, 26(3): 290-298. DOI:10.1109/TPAMI.2004.1262305 (0) |
[39] |
赵玮, 宗光华, 毕树生. 微操作机器人的视觉伺服控制[J]. 机器人, 2001, 23(2): 146-151. ZHAO Wei, ZHONG Guanghua, BI Shusheng. Visual servo control of micro-operated robot[J]. Robotics, 2001, 23(2): 146-151. DOI:10.3321/j.issn:1002-0446.2001.02.011 (0) |
[40] |
谢晖, 孙立宁, 荣伟彬. 基于改进Smith预估器的显微视觉伺服[J]. 光学精密工程, 2006, 14(2): 284-290. XIE Hui, SUN Lining, RONG Weibin. Rong Weibin. Microscopic vision servo based on improved Smith predictability[J]. Optical precision engineering, 2006, 14(2): 284-290. (0) |
[41] |
席文明, 朱剑英. 基于分层神经网络的微装配全局-局部视觉伺服研究[J]. 机械工程学报, 2002, 38(10): 139-143. XI Wenming, ZHU Jianying. Research on global-local visual servo based on stratified neural networks[J]. Journal of mechanical engineering, 2002, 38(10): 139-143. DOI:10.3321/j.issn:0577-6686.2002.10.033 (0) |
[42] |
黄心汉, 王敏, 吕遐东, 等. 基于显微视觉伺服的双手协调微操作机器人系统研究[C]//中国人工智能学会第11届全国学术年会论文集(下). 武汉, 中国, 2005: 1017−1023. HUANG Xinhan, WANG Min, LV Xiadong, et al. Research on the dual-handed coordinated microoperation robot system based on microscopic visual servo[C]//Proceedings of the 11th National Academic Annual Conference of China Artificial Intelligence Society (Part II). Wuhan, China, 2005: 1017−1023. (0) |
[43] |
孙立宁, 孙绍云, 荣伟彬, 等. 微操作机器人的发展现状[J]. 机器人, 2002, 24(2): 184-187. SUN Lining, SUN Shaoyun, RONG Weibin, et al. Development status of micro-operated robot[J]. Robotics, 2002, 24(2): 184-187. DOI:10.3321/j.issn:1002-0446.2002.02.018 (0) |
[44] | HATAMURA Y, MORISHITA H. Direct coupling system between nanometer world and human world[C]//Proceedings of IEEE Micro Electro Mechanical Systems, An Investigation of Micro Structures, Sensors, Actuators, Machines and Robot. Napa Valley, USA, 1990: 203−208. (0) |
[45] | MORISHITA H, HATAMURA Y. Development of ultra-micromanipulator system under stereo SEM observation [C]//Proceedings of 1993 IEEE/RSJ International Conference on Intelligent Robots and Systems. Yokohama, Japan, 1993: 1717−1721. (0) |
[46] | FUKUDA T, FUJIYOSHI M, ARAI F. et al. Design and dextrous control of micromanipulator with 6 DOF[C]// Proceedings of 1991 IEEE International Conference on Robotics and Automation. Sacramento, USA, 1991: 1628−1633. (0) |
[47] | JOHANSSON S. Hybrid techniques in microrobotics[C]//Proceedings of 1st IARP Workshop on Micro Robotics and Systems. Karlsruhe, Germany, 1993: 72−83. (0) |
[48] | CODOUREY A, ZESCH W, BUCHI R, et al. A robot system for automated handling in micro-world[C]//Proceedings of 1995 IEEE/RSJ International Conference on Intelligent Robots and Systems. Human Robot Interaction and Cooperative Robots. Pittsburgh, USA, 1995: 185−190. (0) |
[49] | CODOUREY A, RODRIGUEZ M, PAPPAS I. A task-oriented teleoperation system for assembly in the microworld[C]//Proceedings of 1997 IEEE International Conference on Advanced Robotics. Monterey, USA, 1997: 235−240. (0) |
[50] | SCHMOECKEL F, FATIKOW S. Smart flexible microrobots for scanning electron microscope (SEM) applications[J]. Journal of intelligent material systems and structures, 2000, 11(3): 191-198. DOI:10.1106/CFW1-96ET-3QVN-YV86 (0) |
[51] | SCHMOECKEL F, FAHLBUSCH S, SEYFRIED J, BURKLE A, et al. Development of a microrobot-based micromanipulation cell in a scanning electron microscope (SEM)[C]//Proceedings of SPIE Microrobotics and Microassembly II. Boston, USA, 2000: 129−140. (0) |
[52] | YU Sun, NELSON B J. Microrobotic cell injection[C]//Proceedings of IEEE International Conference on Robotics and Automation. Seoul, South Korea, 2001: 620−625. (0) |
[53] | Montesanti R C. Lessons from building fusion ignition targets with the precision robotic assembly machine[C]//19th Target Fabrication Meeting. Washington, USA, 2009. (0) |
[54] |
李银妹, 楼立人, 操传顺, 等. 细胞激光微操作系统[J]. 细胞生物学杂志, 1999, 21(2): 67-71. LI Yinmei, LOU Liren, CAO Chuanshun, et al.. Cell Laser Microoperation System[J]. Journal of cell biology, 1999, 21(2): 67-71. (0) |
[55] |
赵玮, 于靖军, 毕树生, 等. 串并联微操作机器人系统的研究[J]. 北京航空航天大学学报, 2001, 27(6): 623-627. ZHAO Wei, YU Jingjun, BI Shusheng, et al.. Research on serial parallel microoperation robot system[J]. Journal of Beijing University of Aeronautics and Astronautics, 2001, 27(6): 623-627. DOI:10.3969/j.issn.1001-5965.2001.06.002 (0) |
[56] |
毕树生, 宗光华. 微操作机器人系统的研究开发[J]. 中国机械工程, 1999, 10(9): 1024-1027. BI Shusheng, ZONG Guanghua.. Research and development of micro operating robot system[J]. China mechanical engineering, 1999, 10(9): 1024-1027. DOI:10.3321/j.issn:1004-132X.1999.09.023 (0) |
[57] |
孙立宁, 孙绍云, 荣伟彬, 等. 基于PZT的宏/微驱动机器人研究[J]. 哈尔滨工业大学学报, 2004, 36(1): 16-19. SUN Lining, SUN Shaoyun, RONG Weibin, et al.. A study of macro-micro-drive robot based on PZT[J]. Journal of Harbin Institute of Technology, 2004, 36(1): 16-19. DOI:10.3321/j.issn:0367-6234.2004.01.005 (0) |
[58] | TIAN Xiaojun, LIU Lianqing, JIAO Niandong, et al. 3D Nano forces sensing for an AFM based nanomanipulator[C]//Proceedings of IEEE International Conference on Information Acquisition. Hefei, China, 2004: 208−212. (0) |
[59] | HUANG Xinhan, LV Xiadong, WANG Min. Development of a robotic microassembly system with multi-manipulator cooperation[C]//Proceedings of IEEE International Conference on Mechatronics and Automation. Luoyang, China, 2006: 1197−1201. (0) |