随着机器人辅助医疗技术的发展，机器人代替医生进行手术成为医疗行业以后发展的必然趋势，随之出现了一些具有代表性的商业化手术机器人，如Aesop外科手术系统^[1]、Zeus外科手术系统^[2]、Da Vinci外科手术系统^[3]等，其中腹腔镜视野调节方式均采用主从控制或声控，机器人只是作为辅助装置在发挥作用，并没有自主性。

目前针对手术机器人的研究主要集中在主从控制算法、结构构型、手术过程规划等方面，对腹腔镜视野自动调节方法的研究较少，且主要集中在国外，Latif等^[4]研发了一种基于视线的人机交互接口，可以控制持镜臂运动调节手术视野，但同时增加了视线捕捉的暂停动作，影响手术效率。此外Mudunuri等^[5]基于运动学的方法，通过分析持镜臂与持械臂运动学模型之间的关系，实现了腹腔镜视野的自动调节，但必须预先标定不同机械臂系统之间的位置关系，同时存在机械延时问题。Azizian^[6]、King等^[7]根据手术器械在腹腔镜成像中的位置提出了一些腹腔镜视野调节规则，并对其进行了实验分析，对于判定手术状态、制定腹腔镜运动决策具有重要意义。Weede等^[8]提出一种基于马尔可夫随机场的视觉导航方法，可以预测腹腔镜的运动点位，在腹腔镜位姿自动调节的研究中具有较高价值。

由于腹腔镜手术机器人的结构和功能不同，实现腹腔镜视野调节的方法也各具特色，本文提出的一种基于手术微器械盲孔类特征的腹腔镜视野自动调节方法，是一项具有实用意义的课题。

1 问题描述

机器人辅助微创腹腔镜手术环境及流程如图 1所示，手术系统通过其主手系统采集医生手部动作从而控制机械臂运动，持械臂系统用于完成相应手术操作，持镜臂系统实时反馈手术视野信息，医生一般采用主从控制的方式调节腹腔镜的位姿来获取较合适的手术视野。

手术微器械盲孔类特征的腹腔镜视野自动调节方法，医生根据实际手术需要，操作主手系统，通过主从控制方式以控制持械臂系统运动，根据在腹腔镜成像中手术微器械的位置和大小，结合腹腔镜视野自动调节规则，可使腹腔镜手术机器人自动为医生提供最佳手术视野，有利于提高手术效率。

2 手术微器械检测方法

通常手术微器械由于结构比较复杂，如图 2所示，以整体作为检测目标获取其位置和大小信息难度大且不精准。

本文结合改进的机器视觉算法，对手术微器械的局部类似盲孔特征进行捕捉，由于圆类特征的长轴不受姿态影响，如图 3所示，从而以盲孔特征轴截面长轴或者以该长轴为半径的圆面积表示手术微器械的等效大小均可。

2.1 手术微器械类似盲孔特征检测

基于手术微器械多为白色或银白色，为了便于医生观察和初始目标区域选定工作，令其上类似盲孔特征与手术微器械自身存在一定色差，可将其简化为图 4所示。

根据在HSV颜色空间中，白色与其他彩色之间V(饱和度)分量之间有明显的差别，且不随着光照强度变化，通过设置V分量的阈值T_V, 可以滤除孔内信息，得到完成的盲孔边界特征，如图 5所示。

对目标区域中分割后的盲孔特征图像转化为灰度图，进行概率填充，填充规则如下：

$ p\left( {i,j} \right) = \left\{ \begin{array}{l} 0.9,\;\;\;P\left( {i,j} \right) \le g\\ 0,\;\;\;\;\;\;P\left( {i,j} \right) > g \end{array} \right. $

(1)

式中：g是填充阈值，且g=0，p(i, j)和P(i, j)分别表示图像坐标系中(i, j)位置处的填充概率值和灰度值。结合上述概率填充结果，利用统计矩计算填充得到的椭圆方程^[9-10]为：

$ \begin{array}{*{20}{c}} {{b^2}{{\left( {\left( {i - i'} \right)\cos \theta + \left( {j - j'} \right)\sin \theta } \right)}^2} + }\\ {{a^2}{{\left( { - \left( {i - i'} \right)\sin \theta + \left( {j - j'} \right)\cos \theta } \right)}^2} - {a^2}{b^2} = 0} \end{array} $

(2)

式中：a、b分别表示椭圆的长轴和短轴；(i′, j′)表示椭圆质心；θ表示椭圆倾斜角，如图 6所示。

式(2)表示的椭圆正外接矩形参数为：

$ \left\{ \begin{array}{l} h = \sqrt {\frac{{{a^2}{{\tan }^2}\theta + {b^2}}}{{{{\tan }^2}\theta + 1}}} \\ w = \sqrt {\frac{{{b^2}{{\tan }^2}\theta + {a^2}}}{{{{\tan }^2}\theta + 1}}} \end{array} \right. $

(3)

2.2 改进的机器视觉算法

基于核相关滤波器目标跟踪算法(即CSK算法)原理^[11]，目标跟踪的基本流程如图 7流程①所示，其中k_gauss为基于高斯核的径向基核函数，k_response为样本对于分类器的响应矩阵。

由于CSK算法跟踪窗口尺寸一直为初始设定大小，当目标大小发生变化时，会出现跟踪不准确。本文将手术微器械类似盲孔特征的尺度信息引入到CSK算法中，实现了跟踪窗口的大小自适应，同时可检测目标盲孔的尺度。具体流程如图 7流程②所示：结合式(3)，CSK算法新样本区域的大小可以定义为：

$ {w_{\rm{n}}} = pw;{h_{\rm{n}}} = ph $

(4)

式中p表示比例系数，以控制样本区域的大小，且算法的运行速度也与之相关。

3 持镜臂系统运动成像关系

本文面向微创腹腔镜手术机器人系统(MLSRS)的持镜臂其结构如图 8所示，属于8自由度冗余结构，1、2、3、4关节属于主动式，前3个关节用于调节腹腔镜视野，5、6、7、8关节属于被动式，用于术前不动点的摆位操作。手术过程中被动关节被锁定，不参与腹腔镜位姿调节，采用D-H法建立持镜臂系统在不动点处的运动学坐标系，如图 8所示。其中坐标系O₀-x₀y₀z₀、O₁-x₁y₁z₁、O₂-x₂y₂z₂、O₃-x₃y₃z₃分别为关节1、2、3坐标系和腹腔镜末端工具坐标系，Oc-xcyczc表示腹腔镜相机坐标系，其中z_c轴与腹腔镜视线同轴，x_c轴与关节2的轴线平行。运动学坐标系连杆参数如表 1所示。

从关节i-1到关节i的齐次变换矩阵可表示为：

$ \begin{array}{*{20}{c}} {{}^{i - 1}{\mathit{\boldsymbol{T}}_i} = {T_{z,d}}{R_{z,\theta }}{T_{x,a}}{R_{x,\alpha }} = }\\ {\left[ {\begin{array}{*{20}{c}} {\cos {\theta _i}}&{ - \cos {\alpha _i}\sin {\theta _i}}&{\sin {\alpha _i}\sin {\theta _i}}&{{a_i}\cos {\theta _i}}\\ {\sin {\theta _i}}&{\cos {\alpha _i}\cos {\theta _i}}&{ - \sin {\alpha _i}\cos {\theta _i}}&{{a_i}\cos {\theta _i}}\\ 0&{\sin {\alpha _i}}&{\cos {\alpha _i}}&{{d_i}}\\ 0&0&0&1 \end{array}} \right]} \end{array} $

(5)

基于式(5)可得，从腹腔镜相机坐标系O_c-x_cy_cz_c到不动点处基础坐标系O₀-x₀y₀z₀运动学正解：

$ {}^0{\mathit{\boldsymbol{T}}_{\rm{C}}}\left( {{\theta _1},{\theta _2},{d_3}} \right) = {}^0{T_1}{}^1{T_2}{}^2{T_3}{}^3{T_{\rm{C}}} =\\ \left[ {\begin{array}{*{20}{c}} {\cos {\theta _1}}&{ - \sin \left( {{\theta _2} + \gamma } \right)\sin {\theta _1}}&{ - \cos \left( {{\theta _2} + \gamma } \right)\sin {\theta _1}}&{ - {d_3}\cos {\theta _2}\sin {\theta _1}}\\ {\sin {\theta _1}}&{\sin \left( {{\theta _2} + \gamma } \right)\cos {\theta _1}}&{\cos \left( {{\theta _2} + \gamma } \right)\cos {\theta _1}}&{{d_3}\cos {\theta _2}\cos {\theta _1}}\\ 0&{ - \cos \left( {{\theta _2} + \gamma } \right)}&{\sin \left( {{\theta _2} + \gamma } \right)}&{{d_3}\sin {\theta _2}}\\ 0&0&0&1 \end{array}} \right] $

(6)

根据腹腔镜的目镜和物镜系统是多光组系统，在成像原理上类似与单光组系统^[12], 简化腹腔镜成像模型如图 9所示，其中坐标系O_c-x_cy_cz_c、O_g-x_gy_gz_g分别表示腔镜末端相机坐标系和腹腔镜成像坐标系，设在腹腔镜末端相机坐标系中目标点M的坐标(x_M, y_M, z_M)，最佳视野时M的坐标(x_Mn, y_Mn, z_Mn)结合如图 9所示的成像原理可知目标点M在腹腔镜图像坐标系中坐标^[13]：

$ {}^g{\mathit{\boldsymbol{P}}_{{\rm{mn}}}} = \left[ {\begin{array}{*{20}{c}} {{x_{{\rm{mn}}}}}\\ {{y_{{\rm{mn}}}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\left( {{x_{{\rm{Mn}}}}/{z_{{\rm{Mn}}}}} \right){f_x} + {c_x}}\\ {\left( {{y_{{\rm{Mn}}}}/{z_{{\rm{Mn}}}}} \right){f_y} + {c_y}} \end{array}} \right] $

(7)

其中f_x、f_y表示相机焦距，c_x、c_y表示相机光轴与成像中心偏移距。

结合式(7)可知：当目标点M在腹腔镜成像中的位置不合适时，为了使其回到最佳位置坐标(c_x, c_y)，要求：

$ \left\{ \begin{array}{l} \left( {{x_{{\rm{Mn}}}}/{z_{{\rm{Mn}}}}} \right){f_x} = 0\\ \left( {{y_{{\rm{Mn}}}}/{z_{Mn}}} \right){f_y} = 0 \end{array} \right. $

(8)

由式(6)可得运动学正解为：

$ \left\{ \begin{array}{l} {x_{Mn}} = {f_x}\left( \alpha \right)\\ {y_{Mn}} = {f_y}\left( {\alpha ,\beta ,\Delta d} \right)\\ {z_{Mn}} = {f_z}\left( {\alpha ,\beta ,\Delta d} \right) \end{array} \right. $

(9)

式中α、β、Δd分别表示主动关节1、2、3的运动参数；f_x(α)、f_y(α, β, Δd)、f_z(α, β, Δd)为对应α、β与Δd的函数。由式(8)、(9)可得，通过调节主动关节1的运动角度α，可以使得目标点M在腹腔镜图像坐标系中的x坐标值为c_x，但同时会引起其y坐标值发生变化，可再通过调节主动关节2的运动角β，使得M点的y坐标值为c_y，同时不会引起x坐标值的变化，由于关节1、2的运动对目标点M在腹腔镜图像坐标系中的大小变化影响较小，可以在位置调节完成后，以主动关节3运动为主，主动关节2运动为辅助，调节目标在腹腔镜成像中的大小，并保持调节前后目标在图像坐标系中的位置不变。

4 腹腔镜视野自动调节规则

基于改进的CSK算法和持镜臂系统运动成像关系，制定腹腔镜视野调节规则如图 10所示。其中2个手术微器械的中点坐标为(x，y)，平均大小为d，调节后最终中点坐标为(c_x，c_y)，平均大小为c_d。

腹腔镜成像中腹腔镜视野自动调节规则参数如图 13所示，其中T_w、T_h分别为腹腔镜成像坐标系中宽度方向和高度方向手术微器械位置的缓冲阈值，T_dl、T_dh值分别表示手术微器械平均大小的阈值下限和阈值上限，T_c表示以腹腔镜成像中心为中点的圆形阈值空间阈值上限，T_t表示本帧图像中调节是否完成，T_t=0表示已经完成调节，T_t=1表示未经完成调节，需要到下一帧图像中继续调节，d₁、d₂大表示盲孔轴截面椭圆长轴大小。设定每一帧图像的宽高为，则判断腹腔镜位姿是否需要调节的条件为：

$ \left\{ \begin{array}{l} \left( {{x_L} < = {T_{\rm{w}}}\left\| {{x_R}} \right. > = \left( {{\rm{width}} - {T_{\rm{w}}}} \right)\left\| {{y_T} < = } \right.\left. {{T_h}} \right\|} \right.\\ {y_D} > = \left( {{\rm{height}} - {T_{\rm{h}}}} \right)\left\| {d < = {T_{{\rm{dll}}}}\left\| {d > = {T_{{\rm{dh}}}}} \right\|} \right.\\ \left. {{T_t} = = 1} \right) \end{array} \right. $

(10)

其中：

$ \left\{ \begin{array}{l} {x_{\rm{L}}} = {\rm{MIN}}\left( {{x_1} - {d_1},{x_2} - {d_2}} \right)\\ {x_{\rm{R}}} = {\rm{MAX}}\left( {{x_1} + {d_1},{x_2} + {d_2}} \right)\\ {y_{\rm{T}}} = {\rm{MIN}}\left( {{y_1} - {d_1},{y_2} - {d_2}} \right)\\ {y_{\rm{D}}} = {\rm{MAX}}\left( {{y_1} + {d_1},{y_2} + {d_2}} \right) \end{array} \right. $

调节后位姿参数取值范围为：

$ \left\{ \begin{array}{l} {c_x} \in \left( {{\rm{width}}/2 - {T_c},{\rm{width}}/2 + {T_c}} \right)\\ {c_y} \in \left( {{\rm{height}}/2 - {T_c},{\rm{height}}/2 + {T_c}} \right)\\ {c_d} \in \left( {{T_{{\rm{dl}}}},{T_{{\rm{dh}}}}} \right) \end{array} \right. $

(11)

5 实物实验及实验分析

腹腔镜视野自动调节模拟样机如图 11所示，其中图①为摄像头与2个模拟手术微器械简化装置，图②为腹腔镜成像中的2个手术微器械简化装置，图③中从左至右3个示波器分别显示主动关节3的线位移变化、主动关节1角位移变化和主动关节2的角位移变化，以便于调节过程的观察。本文章设计了2种实验进行验证本方法的正确性：手术微器械标记物位置在x方向和y方向偏离视野中心和手术微器械标记物大小不合适。

首先在图 11中图②所示的腹腔镜成像面板中选定目标区域，如图 12所示。

然后控制手术微器械简化装置运动，观察腹腔镜成像中目标位置和持镜臂系统的姿态变化，如图 14、15、16所示。

随着手术微器械在末端相机坐标系中的运动，如图 11中①所示，其在图 11中②腹腔镜成像坐标系中的位置偏离视野中心O_p，如图 14左图及图 15左图所示，当其即将超出手术视野时，既满足条件式(10)，通过腹腔镜视野自动调节得到大小和位置适中的最佳视野，如图 14右图及图 15右图所示。

当其大小不合适时，即d < =T_dl或d>=T_dh，如图 16左图所示，满足条件式(10)，通过腹腔镜视野自动调节得到的大小和位置适中的最佳视野如图 16右图所示。结合图 13可知，调节后的手术微器械位姿参数满足最佳视野位姿条件式(11)。

通过上述实验，可以发现当手术微器械标记物接触阈值界限，满足腹腔镜位姿调节条件，随后腹腔镜根据自动调节规则进行运动调节，得到大小和位置适中的最佳视野，使其满足最佳位姿条件。

6 结论

1) 面向具有持镜臂和持械臂的腹腔镜微创手术机器人系统，本文详细阐述了实现腹腔镜视野调节自动化核心问题的解决方法，使腹腔镜手术机器人能够为医生自主提供最佳的手术视野。基于手术微器械自身颜色，结合改进的CSK跟踪算法，对类似盲孔特征进行跟踪检测，提高了手术微器械位姿检测的精准性和稳定性；

2) 采用D-H法对持镜臂系统进行运动学建模，结合腹腔镜成像原理，分析运动成像关系，从而制定腹腔镜视野自动调节规则；结合上述手术微器械的位姿参数和腹腔镜视野自动调节规则，通过实物实验验证了本方法的正确性和可行性；

3) 本文提出的腹腔镜视野自动调节方法具有一定的理论意义与实用价值，不受机械传动误差的影响，可以提高腹腔镜微创手术机器人系统在进行微创手术时的自主性、灵活性和可靠性，它不仅可以作为腹腔镜微创手术机器人系统腹腔镜视野调节的专用方法，还可以用于其他具有视觉反馈的主从控制机器人系统。