Dynamic imaging of touch tracking based on multi-frame reconstruction in electrical impedance tomography
-
摘要: 触觉传感对于人机交互非常重要，为提高触摸传感的实时性与精确度，提出一种结合电阻抗成像技术的触摸交互方法。该方法利用多数据帧的动态图像重建方法，通过构建多帧正则化模型，充分挖掘相邻数据帧之间存在的时间相关性信息。为验证该方法的有效性，设计一套压阻式触觉传感系统，该系统采用多层组合结构，能够实现对触摸压力变化的实时响应，并进行了触摸压力的测量、离散触摸跟踪和连续触摸跟踪的实验研究。实验结果表明，与传统的单帧静态成像方法相比，所提出的多帧重建算法能显著减小运动过程中重建图像的位置误差、形变和伪影，与实际触摸位有更高的吻合度，能够为人机交互领域的触摸传感提供一种有效途径。Abstract: Touch sensing is of considerable importance to human–machine interaction. A touch interaction method integrating electrical impedance tomography (EIT) is proposed to enhance the real-time responsiveness and accuracy of touch sensing in human–machine interaction. This method employs a dynamic image reconstruction approach based on multiple data frames to construct a multiframe regularization model and fully mine the temporal correlation information between adjacent frames. An EIT-based resistive tactile sensing system is also designed to validate the effectiveness of this method. The system, which features a multilayer composite structure, responds to changes in touch pressure in real time. Experiments are conducted to discretely and continuously measure touch pressure and track touch points. Experimental results indicate that, compared with traditional single-frame static imaging methods, the proposed multiframe reconstruction algorithm notably reduces the positional error, deformation, and artifacts in the reconstructed images during motion, achieving a higher degree of conformity with the actual touch positions. This approach offers a promising solution for touch sensing in the field of human–machine interaction.
-
触摸式交互作为人机交互领域的一个重要分支，在近几十年里取得了显著的进展与突破[1–3]。相较于传统的键盘鼠标输入方式，触摸式交互提供了更为直观、便捷的交互体验[4]。Cheng等 [5]利用纺织品组件感知人类复杂活动；Yoon 等[6]制作了一款可拉伸的软传感器以供用户进行触摸交互；Zhang 等[7]研究了可以向具有不规则几何形状的物体上提供输入的触摸信息；Zhang 等[8]将白纸作为媒介，利用电场层析成像技术赋予其触摸传感能力；Park 等[9-10]研究实现了机器人的大面积触觉传感。上述这些应用展示了触摸交互技术的广泛可能性，本研究提出了一种新的触摸交互方式，即利用电阻抗断层成像（electrical impedance tomography, EIT）技术实现对触摸的检测和跟踪。
EIT技术作为一种特殊的电学检测方法，已被提出用于人机交互的触觉传感领域[4,11]。该技术通过处理导电材料边界上的电压测量数据，重建其内部电导率分布图像[12]，具有无损、无辐射、结构简单和成本低等优点。典型的基于 EIT 的触觉传感器通常由橡胶和导电材料组成，然而由于材料的回弹特性，会导致在材料变形之后传感信号的恢复缓慢，很难实现实时触摸传感[6]，本研究采用了柔性层与刚性层结合的传感结构来实现实时触摸跟踪。常见的用于解决EIT逆问题的重建算法均为单数据帧重建，包括Tikhonov[13]、一步高斯−牛顿[14]和全变分[15]等，这些重建算法并没有考虑一段时间内的一组数据帧之间存在的相关性信息，在用于动态EIT成像时，可能会导致伪影、位置误差等问题[16]。为了克服这一问题，提高EIT动态成像性能，本研究采用了多帧重建算法，与单帧重建算法相比，探索空间信息的同时，还考虑了时间信息。为了评估所用的多数据帧重建算法以及EIT触觉传感器系统的性能，进行了性能指标评价[17]，结果表明该方法可以有效提高EIT动态成像性能。为证明这种方法的有效性，设计了一个多层结构的EIT触觉传感器系统，进行了包括参数优化、触摸力的范围等实验，最后对比了单帧重建算法与多帧重建算法在离散触摸与连续触摸情况下的位置误差。与传统的单帧重建方法相比，采用多帧重建算法的触觉传感器系统可以实现准确的触摸，能够降低形变、位置误差和噪声带来的负面影响，提高系统的动态成像性能。
1. 电阻抗成像问题描述
电阻抗成像是一种通过测量边界电压数据进行图像重建的技术。在一个典型的EIT系统中，传感区域
${{\varOmega }}$ 由${n_{\text{e}}}$ 个均匀间隔的电极所界定，当传感域${{\varOmega }}$ 的某一处或多处区域的电导率$\sigma $ 发生变化时，边界测量数据和重建的电导率分布图像也会随之变化。当使用相邻电流激励和电压测量时，向一对相邻电极中注入电流，同时测量剩余相邻电极对之间的电压，然后继续向下一对相邻电极重复施加电流，如此循环直至测量结束。这构成了EIT系统的一个测量数据帧${\boldsymbol{v}} \in {\bf{R}}^{{n_m}}$ ，总共可以获得${n_m} = {n_{\text{e}}}\left( {{n_{\text{e}}} - 3} \right)$ 个测量数据，其中${n_{\text{e}}}$ 是电极个数。本研究使用的16电极EIT系统，图像重建的简化原理如图1所示，通过EIT数据采集设备采集到来自传感区域
${{\varOmega }}$ 的测量数据，采用有限元法（finite element method，FEM）解决EIT正问题，利用正向映射和重建算法从测量数据中重建EIT图像[18]。在一个典型的 EIT 应用中，包括2个子问题，即正问题和逆问题。正问题是根据给定的介质电导率和边界条件确定传感器的电压分布，逆问题是根据测得的电压重构传感器的电导率分布[19]。
图 1 EIT图像重建原理Fig. 1 Schematic diagram of image reconstruction in EIT
下载:
全尺寸图片
1.1 正问题
对于具有平滑边界
$\partial {{\varOmega }}$ 的传感区域${{\varOmega }}$ ，EIT正问题旨在通过已知的电导率分布$\sigma $ 和注入边界电极的直流电流${{\boldsymbol{I}}_{{\text{inj}}}}$ ，预测触觉传感器边界$\partial {{\varOmega }}$ 上的边界电势$\phi $ 。根据基尔霍夫定律，可以通过求解非线性偏微分方程来推导出边界电势$\phi $ 与电导率分布$ \sigma $ 之间的关系，其中$\nabla $ 是哈密顿算子。$$ \nabla \cdot \left[ {\sigma \left( {x,y} \right)\nabla \phi \left( {x,y} \right)} \right] = 0,\left( {x,y} \right) \in {{\varOmega }} $$ (1) 对于给定的电导率分布
$\sigma $ ，可以根据传感区域${{\varOmega }}$ 上关于边界$\partial {{\varOmega }}$ 的边界条件计算电流密度$j$ ：$$ j = \sigma \nabla \phi \cdot {\boldsymbol{n}} $$ (2) 式中：
$j$ 是定义在传感区域边界$\partial {{\varOmega }}$ 上的电流密度；${\boldsymbol{n}}$ 表示边界$\partial {{\varOmega }}$ 上垂直于电流的单位法向量。这是一个Dirichlet-Neumann边界值问题, 在给定的电导率$ \sigma $ 和电流密度$j$ 下，电势$\phi $ 是唯一确定的。FEM将传感域离散化为${n_n}$ 个单元，然后通过使用仿真工具从每个单元之间的节点上的数值计算出电势分布。传感区域的内部电气特性可以用传递阻抗矩阵来表示：$$ {{\boldsymbol{V}}_{{\text{ele}}}}\left( {.;\sigma ,i} \right) = {\boldsymbol{S}}\left( \sigma \right){{\boldsymbol{I}}_{{\text{inj}}}} $$ (3) 式中：
${{\boldsymbol{V}}_{{\text{ele}}}} \in {R^L}$ 是电极上所得到的电压，${{\boldsymbol{I}}_{{\text{inj}}}} \in {R^L}$ 是注入电极的电流。1.2 逆问题
EIT的逆问题主要解决的是如何根据边界电压测量数据
$v$ 重构电导率分布$ \sigma $ ，这个过程就是图像重建。一般采用可以减小系统误差的差分方法进行成像。将差分电压测量数据${{\Delta }}{\boldsymbol{v}} \in {\bf{R}}^{{n_m} \times l}$ 定义为按压传感器前后的电压数据的变化。${{{\boldsymbol{\Delta}} }}\sigma \in {\bf{R}}^{{n_n}}$ 定义为按压传感器前后的电导率分布的变化，其中${n_n}$ 为图像中像素或有限元模型单元的个数。接下来用线性逼近代替离散模型计算差分，第$l$ 帧处的重建图像${{\Delta }}{{\boldsymbol{\sigma}} _l}$ 与差分测量数据${{\Delta }}{{\boldsymbol{v}}_l}$ 的关系可以线性化为$$ {{\Delta }}{{\boldsymbol{v}}_l} = {\boldsymbol{J}} \cdot {{{\boldsymbol{\Delta}} }}{\sigma _l} + {\boldsymbol{N}} $$ (4) 式中：
${\boldsymbol{J}} \in {\bf{R}}^{{n_m} \times {n_n}}$ 是雅可比矩阵或灵敏度矩阵；${{\boldsymbol{J}}_{ij}} = \dfrac{{\partial {{\Delta }}{{\boldsymbol{v}}_i}}}{{\partial {{\Delta }}{{\boldsymbol{\sigma}} _j}}}$ ，反映了差分测量数据${{\Delta }}{\boldsymbol{v}}$ 与电导率分布图像${{\Delta }}{\boldsymbol{\sigma }}$ 之间的关系，可以利用EIT开源库Eidors工具包[18]进行有限元模型分析，建立实物传感器对应的模型，自动高效地求解雅可比矩阵$ {\boldsymbol{J}} $ 。${\boldsymbol{ J}} $ 的大小取决于传感器模型、电流激励模式和参考电导率分布等。由于电导率的维数远大于电压测量值，因此${\boldsymbol{J}}$ 是不可逆的。${\boldsymbol{N}} \in {\bf{R}}^{{n_m}}$ 是随机的测量噪声，主要包括测量设备本身的噪声以及外界环境带来的干扰。EIT逆问题的图像重建是一个不适定问题，因为其不可能从每个数据帧中有限的测量数据估计出大量的图像参数[20]。在这种情况下，需要引入额外的先验信息来补充现有数据，用最小化方法来获得近似解，通过测量数据和预测数据之间的差异来最小化目标函数。2. 研究方法
2.1 单帧重建算法
线性高斯−牛顿（Gauss-Newton，GN）算法通常用于静态EIT成像中从单个数据帧中重建电导率图像[21]。GN使用逆问题的复杂正则化模型，计算一个线性重建矩阵，用于快速成像。这种方法需要寻找一个解
${{\Delta }}{\boldsymbol{\sigma }}$ 使得范数最小化：$$ {\text{arg}}\mathop {{\text{min}}}\limits_{{{\Delta }}{\boldsymbol{\sigma}} } \parallel {{\Delta }}{\boldsymbol{v}} - {\boldsymbol{J}} \cdot {{\Delta }}{\boldsymbol{\sigma}} \parallel _{\boldsymbol{W}}^2 + \parallel \hat {\boldsymbol{\sigma}} - {{\boldsymbol{\sigma}} _{\text{*}}}\parallel _{\boldsymbol{R}}^2 $$ (5) 式中：
${{\Delta }}{\boldsymbol{v}} - {\boldsymbol{J}} \cdot {{\Delta }}{\boldsymbol{\sigma}} $ 为测量数据与通过正向模型估计的数据之间的差值；${\boldsymbol{W}}$ 为一个测量数据加权矩阵，表示测量值的逆噪声协方差矩阵，代表测量精度；$\hat {\boldsymbol{\sigma}} - {{\boldsymbol{\sigma}} _{\text{*}}}$ 为重建估计$\hat {\boldsymbol{\sigma}} $ 与图像先验估计${{\boldsymbol{\sigma}} _{\text{*}}}$ 的差值；${\boldsymbol{R}}$ 是正则化项，表示图像的某些先验假设，目的是在求解EIT触觉传感的逆问题时，作为物理约束提供先验信息，以改善重建结果的稳定性和准确性。本研究采用NOSER先验[22]和实验观测数据来确定${\boldsymbol{R}}$ ，在NOSER先验中，${\boldsymbol{R}}$ 被定义为对角矩阵，每个对角线元素为$ {[{\boldsymbol{R}}]_{i,i}} = [{{\boldsymbol{J}}^{\text{T}}}{\boldsymbol{J}}]_{i,i}^p $ ，$p$ 是指数参数，取值在0~1。测量数据时取$p = 0.5$ ，这是基于实验结果的启发式折中取值。通过求解式（5），可以得到一个线性化的反解，表示为$$ {{\Delta }}{\boldsymbol{\sigma}} = {\left( {{{\boldsymbol{J}}^{\text{T}}}{\boldsymbol{WJ}} + {\lambda ^2}{\boldsymbol{R}}} \right)^{ - 1}}{{\boldsymbol{J}}^{\text{T}}}{\boldsymbol{W}} \cdot {{\Delta }}{\boldsymbol{v}} = {\boldsymbol{H}} \cdot {{\Delta }}{\boldsymbol{v}} $$ (6) 式中：
${\boldsymbol{H}} = {\left( {{{\boldsymbol{J}}^{\text{T}}}{\boldsymbol{WJ }}+ {\lambda ^2}{\boldsymbol{R}}} \right)^{ - 1}}{{\boldsymbol{J}}^{\text{T}}}{\boldsymbol{W}}$ 为线性重建矩阵，是将差分电压测量数据${{\Delta }}{\boldsymbol{v}}$ 映射到重建图像${{\Delta }}{\boldsymbol{\sigma }}$ 的一个线性变换，包含了雅可比矩阵$ {\boldsymbol{J}} $ 、误差协方差矩阵${\boldsymbol{W}}$ 、正则化矩阵${\boldsymbol{R}}$ 和超参数$\lambda $ 等信息。误差协方差矩阵${\boldsymbol{W}}$ 反映了测量的精度或准确性，对于差分EIT成像来说，不同的测量通道统计特性高度相似，随机噪声均不相关，则可以假设误差协方差矩阵${\boldsymbol{W}}$ 为单位矩阵${\boldsymbol{I}}$ 。超参数$\lambda $ 控制先验解和基于测量数据的精确解的相对权重。${\boldsymbol{R}}$ 、${\boldsymbol{H}}$ 的取值可以通过Eidors工具包[18]计算得到。2.2 多帧重建算法
EIT技术的一个显著特征是具有高时间分辨率[23-24]，这意味着当传感器的局部电阻抗发生变化时，数据采集设备能够在短时间内快速采集到多帧边界电压数据。对于式（4）中的逆问题，高斯−牛顿重建算法采用单帧测量数据并由式（5）独立地求解每个重建图像，然后EIT的各个测量数据帧并不完全独立，采用单帧测量数据会忽略测量数据中有价值的时间信息。当边界电压测量数据是连续采集获得时，相邻的测量数据帧之间是具有相关性的，其对应的重建图像呈现出相似的电阻抗分布。
在传感区域
${{\varOmega }}$ 中，从左下角区域开始施加大小相等的力，匀速向传感器中心区域移动，电阻抗变化的区域也会随之移动，采集一组连续时间下第$l$ 帧及其前后$k$ 帧边界电压测量数据，其数据帧的个数为$ （2k+1） $ ，如图2（a）所示。将这组测量数据帧进行矢量化，并且视为单个逆问题，并使用正则化先验来考虑图像元素的帧内（空间）与帧间（时间）的相关性，如图2（b）所示。
图 2 EIT多帧图像重建Fig. 2 Multi-Frame image reconstruction in EIT下载:
全尺寸图片
具体来说，为了处理测量数据中相邻时间序列的多帧数据，并在跨帧应用正则化的同时重建这些数据帧，
$\left( {2k + 1} \right)$ 个测量序列帧被级联为$\widetilde {{{\Delta }}{{\boldsymbol{v}}_l}} = \left[ {{{\Delta }}{{\boldsymbol{v}}_{l - k}}; \cdots ;{{\Delta }}{{\boldsymbol{v}}_l}; \cdots ;{{\Delta }}{{\boldsymbol{v}}_{l + k}}} \right]$ ，所得到的电导率重建图像$\widetilde {{{\Delta }}{{\boldsymbol{\sigma}} _l}} = \left[ {{{\Delta }}{{\boldsymbol{\sigma }}_{l - k}}; \cdots ;{{\Delta }}{{\boldsymbol{\sigma}} _l}; \cdots ;{{\Delta }}{{\boldsymbol{\sigma}} _{l + k}}} \right]$ 。雅可比矩阵${\boldsymbol{J}}$ 被认为是不变的，其增广形式写作$\tilde {\boldsymbol{J}} = {\boldsymbol{I }}\otimes {\boldsymbol{J}}$ ，其中$ \otimes $ 是克罗内克积。因此，多帧重建问题被改写为$$ \widetilde {{{\Delta }}{{\boldsymbol{v}}_l}} = \tilde {\boldsymbol{J}} \cdot \widetilde {{{\Delta }}{{\boldsymbol{\sigma}} _l}} + {\boldsymbol{N}} $$ (7) 式中
${\boldsymbol{N}}$ 为传感器在实际测量过程中产生的随机噪声，包括测量设备本身的噪声以及外界环境带来的干扰。相邻的测量数据（延迟
$\delta = 1$ ）之间存在着时间关联性，采集时间上越近的帧之间相关性会越高。因此可以用指数衰减模型组成一个包含多帧相关信息的矩阵来作为逆问题的平滑约束。这种模型能反映帧间相关性随时间递减的基本规律，可以加快图像重建的速度，优化动态成像性能。其帧间相关性用$\rho $ 来表示，其中$\rho $ 的取值范围在0（相邻两帧独立）~1（完全相关）。随着多帧数据之间的分离，帧间相关性$\rho $ 会变小。对于帧间相隔$\delta $ 的一组数据帧，帧间相关性为${\rho ^\delta }$ 。具有较大帧间延迟$\left| \delta \right| > k$ 的帧是独立的。对于一组数量为（2k+1）的测量序列帧，第（l+k）个数据帧与第（l−k）个数据帧之间的帧间相关性为${\rho ^{2k}}$ ，基于此定义，由帧间相关性$\rho $ 组成的大小为（2k+1）×（2k+1）的多帧相关矩阵${\boldsymbol{M}}$ 可以表示为$$ {\boldsymbol{M}} = \left[ {\begin{array}{*{20}{c}} 1&\rho & \cdots &{{\rho ^{2k - 1}}}&{{\rho ^{2k}}} \\ \rho &1& \cdots &{{\rho ^{2k - 2}}}&{{\rho ^{2k - 1}}} \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ {{\rho ^{2k - 1}}}&{{\rho ^{2k - 2}}}& \cdots &1&\rho \\ {{\rho ^{2k}}}&{{\rho ^{2k - 1}}}& \cdots &\rho &1 \end{array}} \right] $$ (8) 式中多帧相关矩阵
$ {\boldsymbol{M}} $ 的第$i$ 行第$j$ 列的元素${{\boldsymbol{M}}_{ij}}$ 表示相隔$\left| {i - j} \right|$ 的帧间相关性。使用高斯−牛顿方法可以将逆问题定义为$$ {\text{arg}}\mathop {{\text{min}}}\limits_{\widetilde {{{\Delta }}{\sigma _l}}} \parallel \widetilde {{{\Delta }}{{\boldsymbol{v}}_l}} - \tilde {\boldsymbol{J}} \cdot \widetilde {{{\Delta }}{{\boldsymbol{\sigma}} _l}}\parallel _{\tilde {\boldsymbol{W}}}^2 + {\lambda ^2}\parallel \widetilde {\hat {\boldsymbol{\sigma}} } - \widetilde {{{\boldsymbol{\sigma}} _{\text{*}}}}\parallel _{\tilde {\boldsymbol{R}}}^2 $$ (9) 式中：
$\tilde {\boldsymbol{W}} = {\boldsymbol{I}} \otimes {\boldsymbol{W}}$ 为测量数据的协方差矩阵，因为测量噪声在多帧之间是不相关的，所以$\tilde {\boldsymbol{W}}$ 是对角矩阵；$\tilde {\boldsymbol{R}} = {{\boldsymbol{M}}^{ - 1}} \otimes {\boldsymbol{R}}$ 为包含帧间相关性信息的正则化矩阵，${\boldsymbol{R}}$ 矩阵具体取值通过NOSER先验与重建图像的质量来确定，多帧相关矩阵${\boldsymbol{M}}$ 即表示多帧重建图像$ \widetilde {{{\Delta }}{\boldsymbol{\sigma}} } $ 的帧间相关性信息。通过带入式（8）求解式（9），得到：$$ \widetilde {{{\Delta }}{{\boldsymbol{\sigma}} _l}} = {\left( {{\boldsymbol{I}} \otimes {{\boldsymbol{J}}^{\text{T}}}{\boldsymbol{WJ}} + {\boldsymbol{M}} \otimes {\lambda ^2}{\boldsymbol{R}}} \right)^{ - 1}}\left( {{\boldsymbol{I}} \otimes {{\boldsymbol{J}}^{\text{T}}}{\boldsymbol{W}}} \right) \cdot \widetilde {{{\Delta }}{{\boldsymbol{v}}_l}} $$ (10) 这将生成基于多帧时间序列相关性的重建图像，其中
$\tilde {\boldsymbol{H}} = {\left( {{\boldsymbol{I}} \otimes {{\boldsymbol{J}}^{\text{T}}}{\boldsymbol{WJ}} + {\boldsymbol{M}} \otimes {\lambda ^2}{\boldsymbol{R}}} \right)^{ - 1}}\left( {{\boldsymbol{I}} \otimes {{\boldsymbol{J}}^{\text{T}}}{\boldsymbol{W}}} \right)$ ，这是一个多帧线性重建矩阵，包含了一组数据帧中存在的时间关联性，利用该矩阵将采集到的电压数据映射到电导率分布图像，可以有效地提高EIT的动态成像性能。获取新的EIT测量数据时，可以在每次迭代中计算
$\tilde {\boldsymbol{H}}$ ，从而对雅可比矩阵${\boldsymbol{J}}$ 与超参数$\lambda $ 进行实时更新。在固定参数与线性模型的情况下，可以利用Eidors工具包[18]离线计算出$\tilde {\boldsymbol{H}}$ ，从而大大加快多帧图像重建的速度，提升动态成像性能。3. 触觉传感系统设计
本研究设计了一种基于EIT的压阻式触觉传感系统，为了验证多帧重建算法对于EIT动态成像性能的改善，在后续实验中对传感器性能进行了分析。
3.1 触觉传感系统的硬件设计
触觉传感系统由2个部分组成，一个是触觉传感器，另一个是数据采集设备。触觉传感系统的数据传输速率为20 kHz，每秒能够采集10帧数据。考虑到多层结构在大范围连续力传感的优势[25]，本研究采用由刚性层与柔性层组成的结构构建触觉传感器，如图3（a）所示。刚性层基底采用环氧树脂板，利用砂纸打磨树脂板使其表面具有良好的附着力，并在树脂板表面均匀喷涂导电石墨喷剂（KONTAKT GRAPHIT 33，德国），形成20 cm×20 cm的传感区域作为传感器的导电层，在传感区域的边界均匀嵌入16个电极用于电流激励和电压测量。
图 3 触觉传感系统的硬件设计Fig. 3 Hardware design of tactile sensing systems下载:
全尺寸图片
为了增强移动按压时传感器局部区域的电导率变化，传感器的柔性层需要将24×24个离散的高导织物（纳米全银纤维，中国）贴在氯丁橡胶泡棉表面，中间的白纸起到便于粘贴织物贴片的作用。氯丁橡胶质地柔软、富有弹性，可以使柔性层具有一定的压阻特性，并且可以对刚性层的导电喷剂起着一定的保护作用。触觉传感器的构建顺序采用图3中的多层结构，当施加一定的力在传感器表面时，会改变柔性层与刚性层的接触状态，从而增加相应局部区域的电导率，实现对压力的检测。
实验设计了一个控制多个数字通道的EIT数据采集设备，用于对边界上的一对电极进行电流注入与电压测量，如图3（b）所示。数据采集设备由数据采集控制模块、多路复用开关模块和电源模块组成。数据采集控制模块是上位机与数据采集系统进行数据交换的桥梁，通过网络端口实现边界电压数据的采集和传输。采用32位单片机STM32F107VCT6实现多路开关模块的控制功能。采用16位数据采集芯片AD7606，采样率为200 KHz，采集高精度的模拟信号。多路复用开关模块采用2片具有16通道的MAX306芯片作为模拟开关。电源模块采用12 V直流电源为数据采集控制模块和多路开关模块供电，并设置电源滤波模块和精密电流信号发生器模块进行谐波抑制和恒流输出。在传感系统工作期间，传感器的16个电极与多路复用板上的2个模拟多路复用器相连，多路复用板与电流驱动器和数据采集器相连，数据采集卡直接连接16个电极进行数据采集。从而实现多路开关的选择、电压测量和数据传输。这样的系统架构能够灵活选择注入电极，并通过数据采集卡进行高速且同步的电压测量。
为了检测数据采集系统能否采集到传感器电极上变化的电压，在传感器中进行按压，如图4所示。此时会导致按压区域的电阻变小，进而导致按压前后的电压差值变大。
图 4 移动按压传感器前后的电压差Fig. 4 Voltage difference before and after pressing the sensor下载:
全尺寸图片
3.2 传感系统的参数优化
在触觉传感系统运行过程中，超参数
$\lambda $ 和电流参数$I$ 的选择对成像效果有关键影响。这2个参数的组合将直接决定传感系统响应的精准度与质量，从而影响最终的动态触摸跟踪效果。根据前面的研究可以知道，超参数$\lambda $ 是正则化项的权重，用于平衡拟合数据和模型复杂度之间的权衡。本研究采用网格搜索的方法来寻找传感系统的最优参数组合[26]，以进一步优化动态成像的触摸跟踪性能。首先启发式地确定超参数
$\lambda $ 和电流$I$ 的取值范围，将其作为搜索空间，确保对于可能的最优值区间进行充分的覆盖，并基于成像效果进行评估。对于超参数$\lambda $ ，选取一组离散的值[1×10−4,···,1×10−3,···,1×10−2,···,0.1,···,1]，再对每个量级的参数进行更细化的取值，同理对于电流$I$ ，选取一组离散的值[1×10−2,1×10−1,1,10,100]，并对每个量级的参数进行细化取值。这样，实验就可以得到一个二维的参数网格，包含了大量的参数组合。在传感器中心区域放置一块100 g的砝码，对各组参数组合的重建图像进行评估，在得到的45×45组参数组合的结果中，选择其中16组不同量级参数的图像进行分析，如图5（a）所示。通过重建结果对比可以发现，超参数
$\lambda $ 与电流$I$ 存在一定的量级关系。当超参数$\lambda $ 比电流$I$ 小1~2个量级时，当超参数$\lambda $ 恒定时，增加电流$I$ 的大小，可以提高系统信噪比；减小超参数$\lambda $ 的大小，可以降低正则化项在损失函数的相对权重。
图 5 不同量级参数组合的重建图像Fig. 5 Reconstructed images with different magnitude parameter combinations下载:
全尺寸图片
选取成像效果最优的量级差，即超参数
$\lambda $ 比电流$I$ 小2个量级的参数组合。在此基础上，实验再对参数的细化取值进行对比，图5（b）对重建图像进行综合筛选，同时与实物电流激励大小对应，选择超参数$\lambda = 0.000\;3 $ ，电流参数$I = 0.015$ 作为最优参数组合，此时重建图像的位置误差与形变更小，在传感器其余位置进行测试，重建图像的成像效果均良好，在后续的实验中，均采用此最优参数组合。3.3 性能评价指标
由于没有一套完善的评价动态EIT图像重建算法的性能指标，因此Adler等[17]定义了5个评价静态重建算法的指标，即：振幅响应（amplitude response，AR）、位置误差（position error，PE）、分辨率（resolution，RES）、形变（shape deformation，SD）和振铃（ringing，RNG）。在这些指标中对多帧测量数据进行综合考虑，结合多帧的帧间信息，对动态性能进行评价。AR是重建图像的像素振幅值与该目标的导电率对比度之比；PE为重建图像位置与实际位置的差值； RES用于评估重建图像的有效像素数量与整个介质像素数量的比值；SD代表重建图像相对实际物体形状的畸变情况；RNG用于评估重建目标区域周围相反符号区域的程度。
在传感器中心区域放置一块100 g的砝码，向传感器右边界移动，如图6（a）所示，使用最佳参数组合进行实验，总共采集200组测量数据帧。由运动的重建图像可以看出单帧重建与多帧重建的位置误差和形变伪影的区别。对这2种重建算法的5个性能指标进行计算，如图6（b）所示，较优的性能均需要较小且稳定指标参数。
图 6 单帧与多帧重建算法的比较Fig. 6 Comparison of single-frame and multi-frame reconstruction algorithms下载:
全尺寸图片
通过对上述不同重建算法的指标计算，实验发现，多帧重建算法的数值波动程度、平均值都优于单帧重建算法。对单帧和多帧重建的指标差异进行假设检验，选择两样本t检验，显著性水平
$\alpha $ 取0.05，如果P小于$\alpha $ ，说明两者存在显著差异，反之则说明无显著差异。2种重建算法的性能评价指标对比见表1，根据两样本 t 检验的结果，拒绝了原假设，表明单帧和多帧的5个评价指标均存在显著差异。由此可见，对于动态的EIT重建算法来说，考虑相邻帧的相关性信息，可以有效提升EIT重建图像的动态性能，对于后续触摸跟踪系统的性能提升有着很大帮助。表 1 单帧与多帧的评价指标对比Table 1 Comparison of evaluation metrics between single-frame and multi-frame reconstruction algorithms评价指标 标准差 平均值 t检验中P 单帧 多帧 单帧 多帧 AR 0.581 1 0.399 5 1.318 3 1.195 3 1.40×10−3 PE 0.135 5 0.087 9 0.134 7 0.071 1 4.77×10−8 RES 0.076 8 0.053 7 0.372 8 0.307 7 1.41×10−20 SD 0.162 4 0.137 8 0.347 9 0.259 5 9.32×10−9 RNG 0.262 7 0.259 8 0.847 8 0.917 7 7.75×10−5 4. EIT触摸跟踪系统
EIT触摸跟踪系统的实现过程总体框架如图7所示。利用数据采集设备采集传感系统工作状态下的电压数据，用于图像重建，同时记录下重建图像对应的触摸力的大小，用于传感器性能的分析。对电导率重建图像进行归一化、二值化处理，只保留最大连通区域，小于设定阈值的区域视为受到噪声影响的区域。触摸跟踪分为离散触摸与连续触摸，离散触摸是利用多帧重建算法，在传感器的不同区域进行按压成像，实现离散的触摸跟踪；连续触摸通过移动按压传感器实现成像区域的运动，提取运动过程中所有触摸位置的质心坐标，并用平滑曲线连接，实现连续的触摸跟踪，从而达到字符书写的目的。
图 7 EIT触摸跟踪系统流程Fig. 7 EIT touch tracking system workflow下载:
全尺寸图片
4.1 触摸力的测量
为了充分利用触觉传感器的压阻特性和接触阻抗信息，EIT触摸跟踪系统对不同压力的负载进行了测量。一般来说，运动过程中触觉传感器输出精确的恒定压力值的实验成本很高，这是传感材料的不均匀性、压阻材料的弹性和运动时力的水平分力等因素所导致的。对于简单的用于触摸跟踪的人机交互，传感器能够确定所施加压力的大致范围就足够了，即测量激活传感器的最小压力与维持传感器稳定的最大压力。
实验所采用的传感器的导电层为20 cm×20 cm，将传感区域划分为12×12个网格，每个网格大小为1.6 cm×1.6 cm，如图8所示。实验利用ZHIQU-DS2-50N测力计对传感器的144个位置进行力的测量。触觉传感器水平放置于载物台上以实现与测力计压头（直径1.6 cm）的精准接触。实验中不同区域的负载力与重构电导率存在反向关系，即越靠近中心区域，重建图像的峰值电导率越低，激活传感器所需要的最小力越大，维持传感器稳定，重构电导率峰值恒定的最大力也越大。
图 8 触摸力的范围检测Fig. 8 Range detection of touch force下载:
全尺寸图片
图9（a）是激活传感器成像所需要的最小力的分布热力图，最小力在0.23~0.67 N，若小于这个范围的力则不能显示重建图像；图9（b）是维持传感器稳定成像所需要的最大力的分布热力图，最大力在7.19~13.56 N，当压力超过这个范围时即使再增加也无法增大按压处的电导率，峰值电导率始终稳定无变化。从传感器边界向中心区域移动，所需要的最小及最大的力均呈现增长趋势，这意味着中心区域有着更低的峰值电导率，所需要的压力也会大于边界区域。
图 9 EIT触摸跟踪系统流程框图Fig. 9 Heat map of touch force下载:
全尺寸图片
4.2 离散触摸跟踪
离散触摸跟踪旨在对触觉传感器的不同网格位置进行离散式跟踪，如图10所示。为了评估离散触摸的定位精度，将单帧重建与多帧重建算法下生成的图像位置与负载在传感器中的实际位置进行对比，并计算重建图像的加权质心与网格中心点的误差距离。对触摸区域的按压会导致该区域的重建电导率响应幅度不同，与一般的质心不同的是，重建图像采用的加权质心，把像素的值作为权重参与计算，能够更精确地表示出目标区域的中心位置。计算这2种重建算法的加权质心位置与实际位置的平均位置误差距离，得到单帧重建算法的平均位置误差为11.68 mm，多帧重建算法的平均位置误差为7.22 mm。在离散触摸跟踪的应用中，多帧重建算法能够更准确地进行触摸定位。
图 10 离散触摸跟踪的位置误差对比Fig. 10 Position error comparison in discrete touch tracking between single-frame and multi-frame reconstructions下载:
全尺寸图片
4.3 连续触摸跟踪
为了验证多帧重建算法对于动态性能提升的有效性，进行了连续触摸跟踪实验。不同于离散触摸跟踪只对单个位置进行跟踪，连续触摸跟踪是在对传感器按压并移动的过程中，实时跟踪并记录按压的位置及移动路径，最终形成连续的字符轨迹。根据上述分析，保证施加的压力在测定范围内，以便获得清晰的触摸响应区域。
在连续触摸跟踪过程中，将重建的图像进行二值化处理，以减少来自测量噪声和传感器导电层分布不均匀的影响。在二值化处理重建的图像帧后，仅保留最大连通域，以减少噪声干扰。在这个最大连通域中计算加权质心的坐标，以代表手指按压传感器的位置。移动手指并实时计算重建图像二值化后的加权质心坐标，同时连接每个相邻的质心点坐标，即可得到手指在传感器上绘制的字符轨迹。
在传感板上书写固定的字符轨迹以进行动态触摸实验，如图11所示。在实验中，按压传感板并沿预设的字符路径移动，记录下传感板的动态响应信息，并利用EIT系统对其进行重建，直接从EIT图像序列帧中解析触摸运动的轨迹。通过比较手指的真实移动路径和2种重建算法的触摸跟踪路径，可以评估连续触摸跟踪情况下的2种重建算法的性能。通过计算可以得到，移动情况下的单帧距离误差的均值为26.47 mm，多帧距离误差的均值为14.62 mm。结果表明，对比连续触摸的运动轨迹与实际运动轨迹，移动过程中多帧重建算法的距离误差低于单帧重建算法的距离误差，从而验证了本研究所提出的方法在连续触摸轨迹绘制的有效性。
图 11 连续触摸跟踪的动态轨迹Fig. 11 Dynamic trajectory in continuous touch tracking下载:
全尺寸图片
5. 结束语
本研究针对电阻抗动态成像在触摸跟踪应用方面的挑战，提出一种基于多帧时间序列的图像重建方法。该方法充分利用相邻帧之间的相关性信息，构建多帧正则化模型，有效提高了重建的时间分辨率。为验证所提方法的效果，构建了一套实时的EIT触觉传感系统。实验结果表明，与传统的单帧成像相比，多帧重建算法能显著减小重建图像的位置误差、形变和伪影，与实际触摸位置具有更高的吻合度。本研究提出的基于多帧重建的触摸跟踪方法，为触摸交互应用提供了有效手段。未来工作将结合机器人与触摸跟踪技术，为其提供重要的外界触觉反馈，以提升机器人的环境感知能力和交互效果。
-
图 1 EIT图像重建原理
Fig. 1 Schematic diagram of image reconstruction in EIT
下载:
全尺寸图片
图 2 EIT多帧图像重建
Fig. 2 Multi-Frame image reconstruction in EIT
下载:
全尺寸图片
图 3 触觉传感系统的硬件设计
Fig. 3 Hardware design of tactile sensing systems
下载:
全尺寸图片
图 4 移动按压传感器前后的电压差
Fig. 4 Voltage difference before and after pressing the sensor
下载:
全尺寸图片
图 5 不同量级参数组合的重建图像
Fig. 5 Reconstructed images with different magnitude parameter combinations
下载:
全尺寸图片
图 6 单帧与多帧重建算法的比较
Fig. 6 Comparison of single-frame and multi-frame reconstruction algorithms
下载:
全尺寸图片
图 7 EIT触摸跟踪系统流程
Fig. 7 EIT touch tracking system workflow
下载:
全尺寸图片
图 8 触摸力的范围检测
Fig. 8 Range detection of touch force
下载:
全尺寸图片
图 9 EIT触摸跟踪系统流程框图
Fig. 9 Heat map of touch force
下载:
全尺寸图片
图 10 离散触摸跟踪的位置误差对比
Fig. 10 Position error comparison in discrete touch tracking between single-frame and multi-frame reconstructions
下载:
全尺寸图片
图 11 连续触摸跟踪的动态轨迹
Fig. 11 Dynamic trajectory in continuous touch tracking
下载:
全尺寸图片
表 1 单帧与多帧的评价指标对比
Table 1 Comparison of evaluation metrics between single-frame and multi-frame reconstruction algorithms
评价指标 标准差 平均值 t检验中P 单帧 多帧 单帧 多帧 AR 0.581 1 0.399 5 1.318 3 1.195 3 1.40×10−3 PE 0.135 5 0.087 9 0.134 7 0.071 1 4.77×10−8 RES 0.076 8 0.053 7 0.372 8 0.307 7 1.41×10−20 SD 0.162 4 0.137 8 0.347 9 0.259 5 9.32×10−9 RNG 0.262 7 0.259 8 0.847 8 0.917 7 7.75×10−5 -
[1] EROL A, BEBIS G, NICOLESCU M, et al. Vision-based hand pose estimation: a review[J]. Computer vision and image understanding, 2007, 108(1/2): 52−73. [2] MITRA S, ACHARYA T. Gesture recognition: a survey[J]. IEEE transactions on systems, man, and cybernetics, part C (applications and reviews), 2007, 37(3): 311−324. doi: 10.1109/TSMCC.2007.893280 [3] BERMAN S, STERN H. Sensors for gesture recognition systems[J]. IEEE transactions on systems, man, and cybernetics, part C (applications and reviews), 2012, 42(3): 277−290. doi: 10.1109/TSMCC.2011.2161077 [4] WU Chenning, SOLEIMANI M. In-water handwriting in multi-medium using electrical impedance imaging[J]. IOP SciNotes, 2020, 1(2): 025001. doi: 10.1088/2633-1357/ab9724 [5] CHENG Jingyuan, SUNDHOLM M, ZHOU Bo, et al. Smart-surface: large scale textile pressure sensors arrays for activity recognition[J]. Pervasive and mobile computing, 2016, 30: 97−112. doi: 10.1016/j.pmcj.2016.01.007 [6] YOON S H, HUO Ke, ZHANG Yunbo, et al. iSoft: a customizable soft sensor with real-time continuous contact and stretching sensing[C]//Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology. Québec: ACM, 2017: 665–678. [7] ZHANG Yang, LAPUT G, HARRISON C. Electrick: low-cost touch sensing using electric field tomography[C]//Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems. Denver: ACM, 2017: 1–14. [8] ZHANG Yang, HARRISON C. Pulp nonfiction: low-cost touch tracking for paper[C]//Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. Montreal: ACM, 2018: 1–11. [9] PARK K, PARK H, LEE H, et al. An ERT-based robotic skin with sparsely distributed electrodes: structure, fabrication, and DNN-based signal processing[C]//2020 IEEE International Conference on Robotics and Automation. Paris: IEEE, 2020: 1617−1624. [10] PARK H, PARK K, MO S, et al. Deep neural network based electrical impedance tomographic sensing methodology for large-area robotic tactile sensing[J]. IEEE transactions on robotics, 2021, 37(5): 1570−1583. doi: 10.1109/TRO.2021.3060342 [11] ZHENG Enhao, LI Yuhua, ZHAO Zhiyu, et al. An electrical impedance tomography based interface for human–robot collaboration[J]. IEEE/ASME transactions on mechatronics, 2021, 26(5): 2373−2384. doi: 10.1109/TMECH.2020.3039017 [12] BARBER D C, BROWN B H. Applied potential tomography[J]. Journal of the British interplanetary society, 1989, 42(7): 391−393. [13] VAUHKONEN M, VADÁSZ D, KARJALAINEN P A, et al. Tikhonov regularization and prior information in electrical impedance tomography[J]. IEEE transactions on medical imaging, 1998, 17(2): 285−293. doi: 10.1109/42.700740 [14] ADLER A, GUARDO R. Electrical impedance tomography: regularized imaging and contrast detection[J]. IEEE transactions on medical imaging, 1996, 15(2): 170−179. doi: 10.1109/42.491418 [15] GOLDSTEIN T, OSHER S. The split bregman method for L1-regularized problems[J]. SIAM journal on imaging sciences, 2009, 2(2): 323−343. doi: 10.1137/080725891 [16] MA Gang, CHEN Haofeng, WANG Peng, et al. Multi-frame constrained block sparse Bayesian learning for flexible tactile sensing using electrical impedance tomography[J]. IEEE transactions on computational imaging, 2022, 8: 438−448. doi: 10.1109/TCI.2022.3177361 [17] ADLER A, ARNOLD J H, BAYFORD R, et al. GREIT: a unified approach to 2D linear EIT reconstruction of lung images[J]. Physiological measurement, 2009, 30(6): S35−S55. doi: 10.1088/0967-3334/30/6/S03 [18] ADLER A, LIONHEART W R B. Uses and abuses of EIDORS: an extensible software base for EIT[J]. Physiological measurement, 2006, 27(5): S25−S42. doi: 10.1088/0967-3334/27/5/S03 [19] ZHENG Wendong, LIU Huaping, GUO Di, et al. Adaptive optimal electrical resistance tomography for large-area tactile sensing[C]//2023 IEEE International Conference on Robotics and Automation. London: IEEE, 2023: 10338−10344. [20] CHEN Bo, ABASCAL J F P J, SOLEIMANI M. Extended joint sparsity reconstruction for spatial and temporal ERT imaging[J]. Sensors, 2018, 18(11): 4014. doi: 10.3390/s18114014 [21] BOYLE A, ARISTOVICH K, ADLER A. Beneficial techniques for spatio-temporal imaging in electrical impedance tomography[J]. Physiological measurement, 2020, 41(6): 064003. doi: 10.1088/1361-6579/ab8ccd [22] CHENEY M, ISAACSON D, NEWELL J C, et al. NOSER: an algorithm for solving the inverse conductivity problem[J]. International journal of imaging systems and technology, 1990, 2(2): 66−75. doi: 10.1002/ima.1850020203 [23] ADLER A, DAI Tao, LIONHEART W R B. Temporal image reconstruction in electrical impedance tomography[J]. Physiological measurement, 2007, 28(7): S1−S11. doi: 10.1088/0967-3334/28/7/S01 [24] GAGNON H, GRYCHTOL B, ADLER A. A comparison framework for temporal image reconstructions in electrical impedance tomography[J]. Physiological measurement, 2015, 36(6): 1093−1107. doi: 10.1088/0967-3334/36/6/1093 [25] PARK K, KIM J. Neural-gas network-based optimal design method for ERT-based whole-body robotic skin[J]. IEEE transactions on robotics, 2022, 38(6): 3463−3478. doi: 10.1109/TRO.2022.3186806 [26] PEDREGOSA F, VAROQUAUX G, GRAMFORT A, et al. Scikit-learn: machine learning in python[J]. Journal of machine learning research, 2011, 12: 2825−2830.
