Facial acupoint localization algorithm based on the improved CycleGAN
-
摘要: 现有腧穴自动定位方法存在定位误差大、算法泛化能力弱、操作复杂等缺点，不能满足大规模针灸临床应用的需求。针对以上问题，提出一种适用于面部腧穴定位的改进循环一致生成对抗网络。采用双循环对抗训练机制，通过对称生成对抗网络的交替迭代实现网络性能优化；针对面部图像的特点，设计内嵌腧穴信息感知块的对称编解码生成器和能够在不同感受野下处理特征的多尺度分块判别器；采用多个损失函数对腧穴定位网络进行约束。实验结果表明，所提算法可实现与人工定位视觉效果相似的结果，为面部腧穴智能定位技术的研究提供全新的视野。Abstract: The existing methods for automatic acupoint localization suffer from significant positioning errors, poor algorithm generalization, and operational complexity, making them insufficient for large-scale clinical applications in traditional Chinese medicine (TCM) acupuncture. Hence, an improved cycle-consistent generative adversarial network is proposed to address the issue of acupoint localization in TCM acupuncture. A dual-loop adversarial training mechanism is adopted to optimize network performance through alternating iterations of symmetric generative adversarial networks. A symmetric encoder-decoder generator embedded with acupoint information perception blocks and a multiscale block discriminator capable of processing features in different receptive fields are designed on the basis of the facial image characteristics. Multiple loss functions are used to constrain the acupoint localization network. The results show that the proposed algorithm achieves outcomes similar to those of manual localization, thus offering a novel perspective for the development of intelligent facial acupoint localization technology.
-
作为中华民族传承数千年的医学瑰宝，针灸以经络学说为理论基础，通过对面部特定腧穴的精准施治，来疏调经气、平衡阴阳，对目赤肿痛、目眩目痛、夜盲色盲、眼干眼涩、眼睑瞤动和面神经麻痹等病症有显著疗效[1-3]。针灸治疗秉承“理、法、方、穴、术”五位一体的整体施治理念，其中“穴”的精准定位尤为关键。正如古籍所云“穴点以差讹，治病全然纰缪”。临床上常用的腧穴定位法包括：体表解剖标志定位法、“骨度”折量定位法和指寸定位法，它们均依赖于施术者的主观判断和经验积累，易产生取穴误差，这严重影响临床治疗的稳定性[4]。实现腧穴定位的标准化和客观化是提高针灸临床疗效、降低医师的培养成本、加快针灸国际化推广的关键所在[5-7]。
近年来，面部腧穴智能定位技术不断发展，并成功应用于相关领域。例如，基于人脸关键点的面部腧穴定位方法[8-12]通过自动识别人脸中五官的位置角点和面部边缘信息来实现对腧穴的智能定位，这类方法的优点是计算速度快，缺点是角点和面部边缘的检测误差等易导致腧穴位置推算过程中产生级联误差。基于高频超声技术的腧穴智能定位方法[13-15]利用超声明确腧穴与周围组织结构的位置关系，从而实现辅助定位。该类方法定位准确率较高，但具有一定的创伤性，不适合临床推广。寻找更为精准、更易操作的腧穴智能定位技术，仍是亟待解决的问题。
深度学习技术在图像内容理解、目标检测与分割、超分辨率重建等领域展现出的巨大优势，为穴位自动定位领域带来了新的发展契机。文献[16]采用卷积神经网络(convolutional neural network, CNN)实现了对上臂腧穴的智能定位，这是现代深度学习技术与传统针灸理论相结合的一次成功尝试。基于此，本文借鉴图像风格迁移的原理，通过将穴位定位问题转变成带穴位信息图像的生成问题，探讨利用生成对抗思想实现对面部腧穴自动定位的可行性。
1. 本文方法
1.1 基本框架
本文以博弈对抗思想为指导，采用循环一致生成对抗网络(cycle-consistent adversarial network, CycleGAN)[17]展开研究，其框架如图1所示。本文网络基本框架为由2个镜像对称的生成对抗网络(generative adversarial network, GAN)[18-23]构成的环形网络。该环形网络包括2个通路，令没有腧穴标注的图像集为A域，有腧穴标注的图像集为B域。
图 1 基本框架Fig. 1 Basic framework
下载:
全尺寸图片
一方面，在“腧穴信息生成GAN通路”中，腧穴信息生成器GA的训练目标是在输入的A域真实图像RA中加入腧穴信息，生成一幅接近中医师标注的B域真图像RB的能够以假乱真的B域伪图像FB，进一步地，再将FB送入腧穴信息抑制器GB中，可输出一幅接近RA的A域一致性图像CA，此时，网络中形成了一组“RA→FB→CA”的循环，判别器DA为真假RB判别器，它的训练目标是对输入的FB与RB做出尽可能准确的判断，若当FB被送入DA时，DA的输出结果为“假”，当RB被送入DA时，DA的输出结果为“真”，则说明DA可以准确地辨别出FB与RB的真假，网络继续进行训练，DA将结果反馈给GA，指导其进一步更新参数，直到DA无法辨别两者的真假，GA停止更新参数。
另一方面，在“腧穴信息抑制GAN通路”中，腧穴信息抑制器GB的训练目标是抑制输入RB中的腧穴信息生成一幅质量接近RA能够以假乱真的A域伪图像FA，将FA输入GA，网络会输出一幅质量接近RB的B域一致性图像CB，此时，网络中形成了一组“RB→FA→CB”的循环，判别器DB为真假RA判别器，它的训练目标是对真实RA和生成器所输出的FA做出尽可能准确的判断，若当FA被送入DB时，DB的输出结果为“假”，若当RA被送入DB时，DB的输出结果为“真”，则说明DB可以准确地辨认出A域伪图像FA，网络继续进行训练，DB将结果反馈给GB，指导其进一步更新参数，直到DB无法辨别伪RA与FA的真假，GB停止更新参数。
由此，形成了一种双循环对抗训练机制，“腧穴信息生成器GA”与“腧穴信息抑制器GB”交互进行迭代更新，两者的性能在相互交互的过程中逐步提升。
1.2 生成器
本文将“腧穴信息生成器GA”与“腧穴信息抑制器GB”设计为U型编解码结构网络[24-25]，以提高网络对面部图像中的复杂特征和腧穴信息的描述能力。具体如图2所示。
图 2 生成器GA和GB的结构Fig. 2 Architecture of generator GA and GB下载:
全尺寸图片
本研究采用的生成器为基于金字塔非局部均值注意力的U-net网络，下文将其简记作PA-Unet(pyramid attention-Unet, PA-Unet)。生成器呈对称结构，编码端用于进行特征编码，在编码过程中特征通道逐渐增多特征图的大小逐渐变小。其前5层为卷积层(卷积核大小为4×4)，在前5层特征图的大小分别为：256×256、128×128、64×64、32×32、16×16，特征通道数分别为：3、64、256、128、512。第6层为腧穴特征感知层，其结构呈金字塔形内嵌非局部均值注意力机制[26-27]，其工作原理为：第1步，对第4卷积层的输出进行双三次插值操作，可得到一个3层的输入特征图金字塔，金字塔最底层图像的尺寸同输入尺寸，中间层图像尺寸比输入尺寸缩小10%，最顶层图像尺寸比输入尺寸缩小20%；第2步，在任意2个相邻特征层之间进行跨尺度非局部注意力处理，这种设计使得网络能同时提取原始特征的结构信息和跨尺度关联特征；第3步，获取转置卷积核的权重，与自相似性特征图进行转置卷积，可以得到包含远距离特征块信息的特征。此后，特征图进入解码端，共包含5个转置卷积层，第2、3、4个解码层包含2种特征图，即反卷积所得特征图和编码端跨层连接来的同尺度特征图。
1.3 判别器
为了提高判别器DA和DB对真假信息的判别能力，本文以patchGAN[28]的判别器为基础结构，设计了多尺度特征分块判别器，如图3所示。生成器的输出与标签图像进入判别器后会先经历3个卷积层，前2个卷积层的卷积核大小为4×4，第3个卷积层的卷积核大小为3×3，此后特征图被送入多尺度注意力网络(multi-scale attention net, MAN)[29-30]，在这个网络中特征图被分别送入4个不同感受野的特征提取通道，在前3个通道，特征图均会被送入2个卷积层，在第1个卷积层，进行普通卷积操作，不同通道卷积核大小不同；在第2个卷积层对特征图进行空洞卷积操作，不同通道采用不同的卷积核及扩张率，将普通卷积和空洞卷积进行搭配，可以避免特征图的局部信息丢失问题。在第4个通道，特征图先后被送入通道注意力和空间注意力模块，沿着通道和空间2个维度依次预测出特征图中不同部分的注意力权重并分别与特征图进行相乘以调整特征图，进而将4个通道输出的特征图相加后送入后面的卷积层中，经历3个卷积层(卷积核大小为4×4)后判别器可输出结果。
图 3 判别器DA和DB的结构Fig. 3 Architecture of generator DA and DB下载:
全尺寸图片
1.4 损失函数
所设计的网络由多个损失函数进行共同约束。
1.4.1 对抗损失
判别器DA和DB分别试图在生成的B域有腧穴点FB和A域无腧穴点FA与真实的B域有腧穴点RB和A域无腧穴点RA之间进行判别，帮助生成器生成更真实的图像，对抗损失表示为
$$ {L}_{\mathrm{G}\mathrm{A}\mathrm{N}}({G}_{\mathrm{A}},{D}_{\mathrm{A}})=\mathrm{E}\left[{{(D}_{\mathrm{A}}\left({{\boldsymbol{R}}}_{\mathrm{B}}\right)-1)}^{2}\right]+\mathrm{E}\left[{{(D}_{\mathrm{A}}\left({G}_{\mathrm{A}}\right({{\boldsymbol{R}}}_{\mathrm{A}}\left)\right))}^{2}\right] $$ $$ {L}_{\mathrm{G}\mathrm{A}\mathrm{N}}({G}_{\mathrm{B}},{D}_{\mathrm{B}})=\mathrm{E}\left[{{(D}_{\mathrm{B}}\left({{\boldsymbol{R}}}_{\mathrm{A}}\right)-1)}^{2}\right]+\mathrm{E}\left[{{(D}_{\mathrm{B}}\left({G}_{\mathrm{B}}\right({{\boldsymbol{R}}}_{\mathrm{B}}\left)\right))}^{2}\right] $$ 1.4.2 循环一致性损失
RA和RB经过2个生成器GA和GB生成循环图像A域无腧穴点CA和B域有腧穴点CB，理论上CA和CB应分别与RA和RB保持一致，使用L1损失约束循环图像，循环一致性损失为
$$ {L}_{\mathrm{c}\mathrm{y}\mathrm{c}}({G}_{\mathrm{A}},{G}_{\mathrm{B}})=\mathrm{E}\left[{\|{{\boldsymbol{C}}}_{\mathrm{A}}-{{\boldsymbol{R}}}_{\mathrm{A}}\|}_{1}\right]+\mathrm{E}\left[{\|{{\boldsymbol{C}}}_{\mathrm{B}}-{{\boldsymbol{R}}}_{\mathrm{B}}\|}_{1}\right] $$ 式中：
$ \boldsymbol{C}_{\mathrm{A}}=G_{\mathrm{B}} $ ($ {G}_{\mathrm{A}} $ ($ \boldsymbol{R}_{\mathrm{A}} $ ))，$ \boldsymbol{C}_{\mathrm{B}}=G_{\mathrm{A}} $ ($ {G}_{\mathrm{B}} $ ($ \boldsymbol{R}_{\mathrm{B}} $ ))。1.4.3 鉴别损失
生成器GA的输入为A域无腧穴点真实图像RA(或由生成器GB输出的A域无腧穴点伪图像FA)，输出为B域有腧穴点伪图像FB(或B域有腧穴点一致性图像CB)；生成器GB的输入为B域有腧穴点真实图像RB(或由生成器GA输出的B域有腧穴点伪图像FB)，输出为A域无腧穴点伪图像FA(或A域无腧穴点一致性图像CA)，因此用L1损失约束输入图像和输出图像，以此来引导生成器进行优化。鉴别损失定义为
$$ {L}_{\mathrm{i}\mathrm{d}\mathrm{t}}({G}_{\mathrm{A}},{G}_{\mathrm{B}}) = \mathrm{E}\left[{\|\left({G}_{\mathrm{B}}\right({{\boldsymbol{R}}}_{\mathrm{B}}\left)\right) - {{\boldsymbol{R}}}_{\mathrm{B}}\|}_{1}\right] + \mathrm{E}\left[{\|\left({G}_{\mathrm{A}}\right({{\boldsymbol{R}}}_{\mathrm{A}}\left)\right) - {{\boldsymbol{R}}}_{\mathrm{A}}\|}_{1}\right] $$ 1.4.4 监督损失
本研究使用成对数据集进行实验，监督损失定义为
$$ {L}_{\mathrm{p}\mathrm{a}\mathrm{i}\mathrm{r}}\left({G}_{\mathrm{A}}\right)=\mathrm{E}\left[{\|\left({G}_{\mathrm{A}}\right({{\boldsymbol{R}}}_{\mathrm{A}}\left)\right)-{{\boldsymbol{R}}}_{\mathrm{B}}\|}_{1}\right] $$ 网络总损失函数为
$$ \begin{gathered} {L}_{\mathrm{T}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}={L}_{\mathrm{G}\mathrm{A}\mathrm{N}}({G}_{\mathrm{A}},{D}_{\mathrm{A}})+{L}_{\mathrm{G}\mathrm{A}\mathrm{N}}({G}_{\mathrm{B}},{D}_{\mathrm{B}})+{L}_{\mathrm{c}\mathrm{y}\mathrm{c}}({G}_{\mathrm{A}},{G}_{\mathrm{B}})+\\ {L}_{\mathrm{i}\mathrm{d}\mathrm{t}}({G}_{\mathrm{A}},{G}_{\mathrm{B}})+\lambda {L}_{\mathrm{p}\mathrm{a}\mathrm{i}\mathrm{r}}\left({G}_{\mathrm{A}}\right) \end{gathered}$$ 式中
$ \lambda $ 为权重系数。2. 实验结果与分析
为验证算法，本研究采集300名志愿者的面部数据构建面部图像数据集(数据采集项目通过了山西中医药大学医学伦理委员会的伦理审查，编号2020LL078，参与者均签署了知情同意书，采集工作在山西中医药大学线下集中进行)。邀请执业10年以上的山西中医药大学针灸专业中医师通过Adobe Photoshop软件在采集好的面部图像上进行腧穴点标定。腧穴点采用相同大小的红点标注，每张图片分别标注阳白、攒竹、鱼腰、丝竹空、太阳、瞳子髎、睛明、承泣、四白，左右各9个腧穴，共计18个。数据采集及预处理过程如图4所示，实验中数据集被随机分为训练集和测试集，容量分别为250和50张。
图 4 数据集构建过程Fig. 4 Schematic of data set construction process下载:
全尺寸图片
本文实验的计算机配置为Ubuntu16.04系统，酷睿i9-9900K(8核16线程)CPU，128 GB内存，GeForce RTX 2080Ti显卡。实验代码通过PyTorch并行计算框架实现。模型训练均使用随机梯度下降(stochastic gradient descent, SGD)优化方法，并通过5倍交叉验证进行效果评估。评估指标采用视觉效果、出点率(output acupoints rate, OAR)与平均坐标误差(average coordinate error, ACE)。OAR是有效穴位点数占总穴位点数的百分比，公式表示为
$$ {O}_{\mathrm{A}\mathrm{R}}=\frac{N{'}}{N}\times 100\text{%} $$ 式中：OAR表示OAR，
$ N $ 表示样本腧穴点总数($ N{\text{ = }} 18 $ )，$ N' $ 为网络生成有效腧穴点的数量($ N' \leqslant N $ )。ACE是18个腧穴点在RB与FB中的坐标平均差，公式表示为$$ {A}_{\mathrm{C}\mathrm{E}}=\frac{1}{N}\sum \mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}({p}_{ij}-{\widehat{p}}_{ij}) $$ 式中：ACE表示ACE，
$ {p_{ij}} $ 是图像RB中腧穴点的坐标，$ {\widehat{p}} _{ij} $ 是图像FB中腧穴点的坐标，$ {\mathrm{dist}}({p_{ij}} - {\widehat {p} _{ij}}) $ 是2对坐标之间的欧氏距离。2.1 对比实验
本文采用不同框架进行面部腧穴定位实验，以验证本文方法的有效性，实验结果如表1所示。
表 1 8种网络的腧穴定位实验结果Table 1 Experimental results comparison of 8 network architectures for acupoint localization网络类别 网络名称 基本框架 生成器 判别器 $ {L}_{\mathrm{p}\mathrm{a}\mathrm{i}\mathrm{r}} $ 迭代次数 OAR/% ACE 对比网络 CNN-UN CNN(U-net) — — √ 10 000 4.33 9.78 CNN-RN CNN(ResNet) — — √ 10 000 39.89 7.80 Pix2pix GAN U-net patchD × 2 000 64.22 6.09 CycleGAN CycleGAN U-net patchD × 2 000 65.67 6.05 本文网络 本文方法 CycleGAN PA-Unet MAN-patchD √ 1 000 75.11 5.25 消融网络 PA-CG CycleGAN PA-Unet patchD × 2 000 71.00 5.56 MAN-CG CycleGAN U-net MAN-patchD × 2 000 71.78 5.58 PA-MAN-CG CycleGAN PA-Unet MAN-patchD × 2 000 73.78 5.32 表1给出了不同结构对50张测试图像共计900个腧穴点定位结果的量化分析值。分析表1可以发现，8种网络按OAR由低到高排序为：CNN-UN、CNN-RN、Pix2pix、CycleGAN、PA-CG、MAN-CG、PA-MAN-CG、本文方法。8种网络按ACE由高到低排序为：CNN-UN、CNN-RN、Pix2pix、CycleGAN、MAN-CG、PA-CG、PA-MAN-CG、本文方法。具体地，2种CNN网络CNN-UN和CNN-RN的实验结果表现逊色于其他GAN类方法。考虑到ResNet中的残差连接更加关注局部特征的传递和融合，可能无法很好地本任务全局上下文特征中的长距离依赖关系，因此，本文方法采用U-net作为生成器。采用不同判别器，GAN网络的性能不尽相同。可以发现，当生成器和判别器相同时，CycleGAN实验结果的指标表现更好。改进判别器的结构可以显著改善网络性能，PA-CG与PA-MAN-CG的区别是判别器不同，当采用改进判别器MAN-patchD后，实验结果的出点率OAR提高2.78百分点。PA-MAN-CG的ACE比MAN-CG的低0.26，这说明对生成器进行改进有助于提高网络性能。此外，对比本文方法与PA-MAN-CG的实验结果可以发现，监督损失的加入对提高出点率起到了积极作用。
为了比较不同网络结构的稳定性，本研究参考文献[31]分析了不同网络对面部不同区域的腧穴定位效果。以2种方式将面部区域分割，首先从水平角度以面部中轴线为分割线，分为左、右眼周；其次从垂直角度划分为眉毛关联区(区域1)、眼睛关联区(区域2)以及眼部以下关联区(区域3)。区域1包括阳白、攒竹、鱼腰和丝竹空；区域2包括太阳、瞳子髎和四白；区域3包括承泣和睛明。表2数据表明在水平左右眼周区域，不同结构的腧穴定位效果排序为：CNN-UN < CNN-RN < Pix2pix < CycleGAN < 本文方法。在垂直区域1、2、3中也存在相同的效果优劣关系。表明本文方法在面部不同区域均可得到最优定位效果。同时，本文方法左右眼周区域OAR相差仅为0.44百分点，ACE相差0.07，表明本文所提方法较为稳定。
表 2 8种结构对不同区域腧穴定位效果指标Table 2 Effect of 8 structures on acupoint positioning in different regions网络类别 网络名称 左眼周区域 右眼周区域 区域1 区域2 区域3 OAR/% ACE OAR/% ACE OAR/% ACE OAR/% ACE OAR/% ACE 对比网络 CNN-UN 3.78 9.81 4.89 9.75 3.50 9.83 3.33 9.83 7.50 9.56 CNN-RN 39.11 7.81 40.67 7.72 50.25 6.92 30.33 8.36 33.50 8.17 Pix2pix 62.44 6.15 66.00 5.64 62.25 6.05 61.67 5.96 72.00 5.10 CycleGAN 62.00 6.27 70.67 5.61 67.75 5.84 56.67 6.70 78.00 4.63 本文网络 本文方法 75.33 5.13 74.89 5.20 74.75 5.16 68.00 5.64 86.50 3.73 消融网络 PA-CG 68.22 5.70 73.78 5.15 69.25 5.65 68.00 5.62 79.00 4.29 MAN-CG 73.33 5.38 70.22 5.62 69.00 5.76 68.67 5.64 82.00 4.10 PA-MAN-CG 73.33 5.20 74.22 5.22 72.25 5.38 69.33 5.47 83.50 4.06 图5给出了采用不同结构进行腧穴定位的整体结果图以及局部放大图，不同网络的腧穴定位视觉效果优劣关系为CNN-UN < CNN-RN < Pix2pix < CycleGAN < 本文方法。CNN-UN和CNN-RN的腧穴定位效果较差，有严重的腧穴点缺失情况。Pix2pix网络作为一种监督型单图像生成模式的GAN网络，结构较为简单，也偶有腧穴缺失情况。而CycleGAN和本文方法则均可定位较多的腧穴点。同时，本文方法作为以CycleGAN网络为基础的创新网络，不但定位的腧穴点最多，且没有黑色伪影，腧穴点形态圆润。综上，本文方法出点率最高、平均坐标误差值最低，且迭代次数最少，故腧穴定位效果最好。
图 5 不同结构腧穴定位视觉效果Fig. 5 Results of acupoint location by different structures下载:
全尺寸图片
2.2 消融实验
为了验证本文网络结构的可行性和有效性，本文设计了消融实验。观察表1中消融网络的结构，PA-CG采用了改进的生成器，其生成器为在U-net结构中增加了腧穴特征感知层的PA-Unet，判别器为传统patchGAN的判别器patchD，未采用监督损失；MAN-CG生成器采用U-net结构，判别器为改进结构，在patchD基础上增加了MAN网络，未采用监督损失；PA-MAN-CG的生成器和判别器均为改进结构，生成器为PA-Unet，判别器为MAN-patchD，未采用监督损失。比较PA-CG和CycleGAN的结果可以发现， 腧穴特征感知层的加入，显著改善了网络的性能，OAR上升近5百分点；比较MAN-CG和CycleGAN的结果可以发现，由于改善了判别器的结构，消融网络判别真假结果的能力提高，网络综合性能上升，OAR和ACE的指标表现均有所改善；比较PA-CG、MAN-CG和PA-MAN-CG的结果可以发现，同时改变生成器和判别器，网络的性能改善情况要优于仅改变生成器或仅改变判别器；比较本文方法和PA-MAN-CG的结果可以发现，监督损失对于改善网络的性能起积极作用。以上结果表明，本文结构在面部腧穴定位中表现良好，可有效提高CycleGAN生成腧穴点的精确度。
2.3 超参数实验结果
考虑到超参数对实验结果的影响，在测试集中随机选择10个样本进行学习率和权重系数
$ \lambda $ 的测试实验。学习率分别取值$ 1 \times {10^{ - 3}} $ 、$ 2 \times {10^{ - 3}} $ 、$ 3 \times {10^{ - 3}} $ 和$ 4 \times {10^{ - 3}} $ 时本文方法迭代1 000次所获结果的OAR和ACE值如表3所示。表 3 学习率与$ \lambda $ 取值不同时本文方法的ACE和OAR值Table 3 ACE and OAR values of the proposed method with different learning rate and$ \lambda $ 评价指标 学习率 $ \lambda $ 1×10−3 2×10−3 3×10−3 4×10−3 1 3 5 7 10 OAR/% 65.56 71.67 67.22 57.22 0 38.89 71.11 47.78 61.67 ACE 6.09 5.54 6.00 6.76 10.00 7.95 5.60 7.37 6.44 表3给出了不同学习率下本文方法迭代1 000次时所获实验结果的OAR和ACE表现情况，当学习率
$ 2 \times {10^{ - 3}} $ 时，ACE低于5.60，其他学习率情况下会在6.00左右甚至高于6.00，且出点率也达到了最高的71.00%，因此本文方法训练的学习率为$ 2 \times {10^{ - 3}} $ 。另一方面，作为本文方法特有的损失函数，监督损失
$ {L}_{\mathrm{p}\mathrm{a}\mathrm{i}\mathrm{r}} $ 对实验结果起重要作用，$ \lambda $ 取值不同时本文方法迭代1 000次所获实验结果的OAR和ACE表现情况如表3所示。分析OAR值可以发现，随着$ \lambda $ 取值的增加，出点率呈先增后减的趋势，当$ \lambda {\text{ = }}5 $ 时本文方法获得最佳出点率。从ACE值分析得出，当$ \lambda {\text{ = }}5 $ 时本文方法的ACE值为5.60，此时OAR值为71.11%，2项指标均为最优，故本文方法选择$ \lambda {\text{ = }}5 $ 。3. 结束语
针灸是中华民族的古老医术，现已被世界各国广泛接受并认可。取穴的精准与疗效的好坏密接相关，而传统人工取穴过程需要医者对腧穴传统定位法极其熟练且熟悉腧穴附近的各种肌肉骨骼肌腱结构，才能精准定位，这无疑限制了针灸技术的推广和发展。人工智能的迅速发展给人类社会方方面面带来了巨大改变，在医工结合的背景下，利用人工智能实现腧穴定位，不仅可使针灸治疗的细节更加量化和标准化，还能有效促进针灸向循证决策模式的发展。比如临床针灸治疗导航系统：通过实时定位面部腧穴结合虚拟现实或增强现实技术，为针灸师提供直观、精确的治疗导航，特别是在治疗面神经麻痹或目赤肿痛等疾病时，提高操作的精确性和治疗效果。个性化针灸方案制定：基于患者面部特征和腧穴分布生成个性化的针灸治疗方案，为不同患者的治疗提供科学依据，提升疗效的一致性。中医针灸教育与培训：将定位算法应用于针灸教学中，通过可视化工具展示腧穴分布规律和定位过程，帮助学员掌握腧穴定位技能并提升学习效率。针灸机器人系统：通过与自动化机械手结合，利用精准的腧穴定位实现全自动或半自动的针灸操作，为无人值守的中医诊疗模式提供可能性。
本文利用CycleGAN实现了面部腧穴的准确定位，将腧穴的自动定位问题转化成面部腧穴图像的生成以及生成含有腧穴图像和真实含有腧穴图像的真假判定2个问题，创新性地将生成对抗网络算法与传统中医腧穴定位进行了结合与尝试，对针灸教学研究具有重要价值和意义，也为针灸理论的研究及针灸定位开辟了新的途径。
基于现有研究成果和方法的局限性，未来的研究工作将从以下几个方面进行改进：1)探索腧穴分布规律与面部几何特征之间的关联性，在网络设计中引入融合腧穴语义信息的模块，从而提高腧穴定位的准确性和算法的可解释性。2)增强网络在不同人群和面部特征下的泛化能力，例如引入跨域学习和自适应机制；3)改进损失函数设计，引入新的约束条件以提升网络在边缘特征上的辨别能力；4)结合多模态数据(如红外热图或超声影像)以辅助腧穴定位，进一步提高模型的鲁棒性和适用性。总之，未来研究将围绕腧穴定位的精确性、自动化和实用性展开，这些改进有望为中医针灸技术的智能化发展注入新动力，为腧穴自动定位技术的广泛应用奠定坚实基础。
-
图 1 基本框架
Fig. 1 Basic framework
下载:
全尺寸图片
图 2 生成器GA和GB的结构
Fig. 2 Architecture of generator GA and GB
下载:
全尺寸图片
图 3 判别器DA和DB的结构
Fig. 3 Architecture of generator DA and DB
下载:
全尺寸图片
图 4 数据集构建过程
Fig. 4 Schematic of data set construction process
下载:
全尺寸图片
图 5 不同结构腧穴定位视觉效果
Fig. 5 Results of acupoint location by different structures
下载:
全尺寸图片
表 1 8种网络的腧穴定位实验结果
Table 1 Experimental results comparison of 8 network architectures for acupoint localization
网络类别 网络名称 基本框架 生成器 判别器 $ {L}_{\mathrm{p}\mathrm{a}\mathrm{i}\mathrm{r}} $ 迭代次数 OAR/% ACE 对比网络 CNN-UN CNN(U-net) — — √ 10 000 4.33 9.78 CNN-RN CNN(ResNet) — — √ 10 000 39.89 7.80 Pix2pix GAN U-net patchD × 2 000 64.22 6.09 CycleGAN CycleGAN U-net patchD × 2 000 65.67 6.05 本文网络 本文方法 CycleGAN PA-Unet MAN-patchD √ 1 000 75.11 5.25 消融网络 PA-CG CycleGAN PA-Unet patchD × 2 000 71.00 5.56 MAN-CG CycleGAN U-net MAN-patchD × 2 000 71.78 5.58 PA-MAN-CG CycleGAN PA-Unet MAN-patchD × 2 000 73.78 5.32 表 2 8种结构对不同区域腧穴定位效果指标
Table 2 Effect of 8 structures on acupoint positioning in different regions
网络类别 网络名称 左眼周区域 右眼周区域 区域1 区域2 区域3 OAR/% ACE OAR/% ACE OAR/% ACE OAR/% ACE OAR/% ACE 对比网络 CNN-UN 3.78 9.81 4.89 9.75 3.50 9.83 3.33 9.83 7.50 9.56 CNN-RN 39.11 7.81 40.67 7.72 50.25 6.92 30.33 8.36 33.50 8.17 Pix2pix 62.44 6.15 66.00 5.64 62.25 6.05 61.67 5.96 72.00 5.10 CycleGAN 62.00 6.27 70.67 5.61 67.75 5.84 56.67 6.70 78.00 4.63 本文网络 本文方法 75.33 5.13 74.89 5.20 74.75 5.16 68.00 5.64 86.50 3.73 消融网络 PA-CG 68.22 5.70 73.78 5.15 69.25 5.65 68.00 5.62 79.00 4.29 MAN-CG 73.33 5.38 70.22 5.62 69.00 5.76 68.67 5.64 82.00 4.10 PA-MAN-CG 73.33 5.20 74.22 5.22 72.25 5.38 69.33 5.47 83.50 4.06 表 3 学习率与
$ \lambda $ 取值不同时本文方法的ACE和OAR值Table 3 ACE and OAR values of the proposed method with different learning rate and
$ \lambda $ 评价指标 学习率 $ \lambda $ 1×10−3 2×10−3 3×10−3 4×10−3 1 3 5 7 10 OAR/% 65.56 71.67 67.22 57.22 0 38.89 71.11 47.78 61.67 ACE 6.09 5.54 6.00 6.76 10.00 7.95 5.60 7.37 6.44 -
[1] 张梦妮, 黄瑶, 张勤修. 面部穴位埋线对变应性鼻炎大鼠模型紧密连接蛋白Claudin-1和Occludin表达的影响[J]. 时珍国医国药, 2020, 31(5): 1279−1282. doi: 10.3969/j.issn.1008-0805.2020.05.081 ZHANG Mengni, HUANG Yao, ZHANG Qinxiu. Effects of catgut implantation at acupoint of face on expression of the Tight Junction Proteins Claudin-1 and Occludin of rats with allergic rhinitis[J]. Lishizhen medicine and materia medica research, 2020, 31(5): 1279−1282. doi: 10.3969/j.issn.1008-0805.2020.05.081 [2] 柳钶, 姜劲峰, 卢圣锋. 针灸调节自主神经研究的效应特点及其途径分析[J]. 针刺研究, 2021, 46(4): 335−341. LIU Ke, JIANG Jinfeng, LU Shengfeng. Effect characteristics and mechanism of acupuncture in autonomic nerve regulation[J]. Acupuncture research, 2021, 46(4): 335−341. [3] 胡艳美, 朱博畅. 张仁教授分期论治难治性面瘫经验[J]. 中国针灸, 2020, 40(8): 865−867,896. HU Yanmei, ZHU Bochang. Professor ZHANG Ren’s experience of stage treatment for refractory facial paralysis[J]. Chinese acupuncture & moxibustion, 2020, 40(8): 865−867,896. [4] 刘鑫, 李珊珊, 宓轶群. 超声在针刺治疗中的应用与研究进展[J]. 中国针灸, 2023, 43(1): 119−122. LIU Xin, LI Shanshan, MI Yiqun. Application and research progress of ultrasound in acupuncture treatment[J]. Chinese acupuncture & moxibustion, 2023, 43(1): 119−122. [5] 刘存志. 针灸治疗心血管疾病的循证医学证据与未来设计思路[J]. 中国中西医结合杂志, 2019, 39(11): 1306−1308. doi: 10.7661/j.cjim.20191015.324 LIU Cunzhi. Evidence-based medical proofs and future design thinking of acupuncture for treating cardiovascular diseases[J]. Chinese journal of integrated traditional and western medicine, 2019, 39(11): 1306−1308. doi: 10.7661/j.cjim.20191015.324 [6] 方智婷, 陈艳焦, 徐玉东, 等. 论针灸医学的传承、挑战及创新发展[J]. 上海中医药杂志, 2022, 56(6): 3−6. FANG Zhiting, CHEN Yanjiao, XU Yudong, et al. On the inheritance, challenges and innovative development of acupuncture and moxibustion medicine[J]. Shanghai journal of traditional Chinese medicine, 2022, 56(6): 3−6. [7] 谢依璇, 闫世艳, 陈波, 等. 新时代针灸的发展[J]. 科技导报, 2023, 41(14): 42−50. XIE Yixuan, YAN Shiyan, CHEN Bo, et al. Development and prospect of acupuncture in the new era[J]. Science & technology review, 2023, 41(14): 42−50. [8] 赵阳, 张涛, 练秋生. 红外面部图像的贝尔面瘫针灸穴位定位算法[J]. 小型微型计算机系统, 2012, 33(7): 1613−1619. doi: 10.3969/j.issn.1000-1220.2012.07.043 ZHAO Yang, ZHANG Tao, LIAN Qiusheng. Acupuncture points localization algorithm about Bell’s palsy on facial infrared images[J]. Journal of Chinese computer systems, 2012, 33(7): 1613−1619. doi: 10.3969/j.issn.1000-1220.2012.07.043 [9] CHANG Menglong, ZHU Qing. Automatic location of facial acupuncture-point based on facial feature points positioning[C]//Proceedings of the 2017 5th International Conference on Frontiers of Manufacturing Science and Measuring Technology. Taiyuan: Atlantis Press, 2017: 545−549. [10] 杨旭明, 彭昊宇, 方琢, 等. 基于Web的针刺面部穴位定位、处方学习和虚拟仿真系统的研发[J]. 中华医学图书情报杂志, 2019, 28(10): 51−56. doi: 10.3969/j.issn.1671-3982.2019.10.007 YANG Xuming, PENG Haoyu, FANG Zhuo, et al. Web-based R & D of facial acupoint locating, prescription learning and virtual simulation system[J]. Chinese journal of medical library and information science, 2019, 28(10): 51−56. doi: 10.3969/j.issn.1671-3982.2019.10.007 [11] LIN Sheng, YI Pinqiao. Human acupoint positioning system based on binocular vision[J]. IOP conference series: materials science and engineering, 2019, 569(4): 042029. [12] LAN Kunchan, HU Minchun, CHEN Yizhang, et al. The application of 3D morphable model (3DMM) for real-time visualization of acupoints on a smartphone[J]. IEEE sensors journal, 2021, 21(3): 3289−3300. doi: 10.1109/JSEN.2020.3022958 [13] 高东雯, 肖沪生, 徐智章, 等. 三维与二维高频超声技术应用于针灸穴位定位的可行性研究[J]. 中国中西医结合影像学杂志, 2013, 11(3): 231−234. doi: 10.3969/j.issn.1672-0512.2013.03.001 GAO Dongwen, XIAO Husheng, XU Zhizhang, et al. Study of locating acupuncture point by high frequency 3-dimensional and 2-dimensional ultrasonic technology[J]. Chinese imaging journal of integrated traditional and western medicine, 2013, 11(3): 231−234. doi: 10.3969/j.issn.1672-0512.2013.03.001 [14] 刘昳, 高渊, 刘小静, 等. 超声引导下精确定位针刺深度电针膈腧穴治疗顽固性呃逆[J]. 中国中医药现代远程教育, 2018, 16(10): 120−122. doi: 10.3969/j.issn.1672-2779.2018.10.053 LIU Yi, GAO Yuan, LIU Xiaojing, et al. Ultrasound guided precise positioning and depth of electroacupuncture at Ge Shu point in treating intractable hiccup[J]. Chinese medicine modern distance education of China, 2018, 16(10): 120−122. doi: 10.3969/j.issn.1672-2779.2018.10.053 [15] 严骄俊, 谯朗, 王政研, 等. 多模态超声成像对针刺温溜穴空间及生物力学特异度的研究[J]. 中国超声医学杂志, 2019, 35(3): 275−278. doi: 10.3969/j.issn.1002-0101.2019.03.026 YAN Jiaojun, QIAO Lang, WANG Zhengyan, et al. Study on spatial and biomechanical specificity of acupuncturing Wenliu point with multimodal ultrasound imaging[J]. Chinese journal of ultrasound in medicine, 2019, 35(3): 275−278. doi: 10.3969/j.issn.1002-0101.2019.03.026 [16] SUN Lingyao, SUN Shiying, FU Yuanbo, et al. Acupoint detection based on deep convolutional neural network[C]//2020 39th Chinese Control Conference. Shenyang: IEEE, 2020: 7418−7422. [17] ZHU Junyan, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//2017 IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 2242−2251. [18] CRESWELL A, WHITE T, DUMOULIN V, et al. Generative adversarial networks: an overview[J]. IEEE signal processing magazine, 2018, 35(1): 53−65. doi: 10.1109/MSP.2017.2765202 [19] ZHAO J, MATHIEU M, LECUN Y. Energy-based generative adversarial network[EB/OL]. (2016−09−11) [2024−10−09]. https://arxiv.org/abs/1609.03126. [20] PEEBLES W, ZHU Junyan, ZHANG R, et al. GAN-supervised dense visual alignment[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 13460−13471. [21] PAN Xingang, DAI Bo, LIU Ziwei, et al. Do 2D GANs know 3D shape? unsupervised 3D shape reconstruction from 2D image GANs[EB/OL]. (2020−11−02) [2024−10−09]. https://arxiv.org/abs/2011.00844. [22] XU Lei, SKOULARIDOU M, CUESTA-INFANTE A, et al. Modeling tabular data using conditional GAN[EB/OL]. (2019−07−01)[2024−10−09]. https://arxiv.org/abs/1907.00503. [23] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Communications of the acm, 2020, 63(11): 139−144. doi: 10.1145/3422622 [24] RONNEBERGER O, FISCHER P, BROX T. U-Net: convolutional networks for biomedical image segmentation[C]//Medical Image Computing and Computer-Assisted Intervention. Cham: Springer International Publishing, 2015: 234−241. [25] 张海川, 彭博, 许伟强. 基于UNet++及条件生成对抗网络的道路裂缝检测[J]. 计算机应用, 2020, 40(S2): 158−161. ZHANG Haichuan, PENG Bo, XU Weiqiang. Road crack detection based on UNet++ and conditional generative adversarial nets[J]. Journal of computer applications, 2020, 40(S2): 158−161. [26] MEI Yiqun, FAN Yuchen, ZHANG Yulun, et al. Pyramid attention network for image restoration[J]. International journal of computer vision, 2023, 131(12): 3207−3225. doi: 10.1007/s11263-023-01843-5 [27] WANG Xiaolong, GIRSHICK R, GUPTA A, et al. Non-local neural networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 7794−7803. [28] PAN Yue, PI Dechang, CHEN Junfu, et al. FDPPGAN: remote sensing image fusion based on deep perceptual patchGAN[J]. Neural computing and applications, 2021, 33(15): 9589−9605. doi: 10.1007/s00521-021-05724-1 [29] FAN Tongle, WANG Guanglei, LI Yan, et al. MA-net: a multi-scale attention network for liver and tumor segmentation[J]. IEEE access, 2020, 8: 179656−179665. doi: 10.1109/ACCESS.2020.3025372 [30] PUNN N S, AGARWAL S. Modality specific U-Net variants for biomedical image segmentation: a survey[J]. Artificial intelligence review, 2022, 55(7): 5845−5889. doi: 10.1007/s10462-022-10152-1 [31] 李超波, 李洪均, 徐晨. 深度学习在图像识别中的应用[J]. 南通大学学报(自然科学版), 2018, 17(1): 1−9. LI Chaobo, LI Hongjun, XU Chen. Application of deep learning in image recognition[J]. Journal of Nantong University (Natural Science Edition), 2018, 17(1): 1−9.
