Scoliosis screening method using lightweight pose estimation network
-
摘要: 脊柱侧弯是一种复杂的脊柱三维畸形，如不及时矫正将对身体健康产生严重影响。通过拍摄X光片或测量人体表面形貌的方法可以对脊柱侧弯进行筛查，但现有方法存在成本高、效率低且不适用于所有人群等缺点。本文提出了一种采用轻量级姿态估计网络的脊柱侧弯筛查方法，首先，将MobileNetV3的前13层作为轻量级人体姿态估计网络的编码器，经过坐标解码得到关键点的二维坐标。其次，利用各关节点的坐标计算人体姿态的空间特征；最后，用3个SVM（support vector machine）二分类器对脊柱侧弯进行详细分级，并将训练好的姿态估计和脊柱侧弯筛查模型移植到嵌入式平台。实验结果显示，该系统可以对4种不同程度的侧弯进行筛查，准确率分别为93.0%、81.7%、81.3%、86.6%。该方法的提出为脊柱侧弯筛查工作提供了一种便捷解决方案，易于在全民健康普测工作中进行推广。Abstract: Scoliosis is an abnormal deformity of the spine, and if left untreated, may eventually lead to severe health problems. X-rays and surface appearance measurements of the human body can be used to screen scoliosis; however, the existing methods pose several limitations, including high cost, low efficiency, and limited suitability for all patients. Herein, a scoliosis screening method is proposed based on a lightweight human pose estimation network. First, using the first 13 layers of MobileNetV3 as the encoder of the lightweight human pose estimation network, the two-dimensional coordinates of coilas can be obtained by coordinate decoding. Second, the coordinates of each coila are used to calculate the spatial features of the human body posture. Finally, scoliosis is graded in detail with three support vector machine binary classifiers, and the trained posture estimation and scoliosis screening models are transplanted into the embedded platform. The experimental results reveal that the system can screen four different degrees of scoliosis, with accuracy rates of 93.0%, 81.7%, 81.3%, and 86.6%. This proposed method provides a convenient solution for scoliosis screening and can be easily disseminated within national health survey work.
-
Keywords:
- scoliosis /
- pose estimation /
- lightweight /
- depooling /
- deconvolution /
- heatmap regression /
- classifier /
- screening system
-
全球约有2%~5%的青少年患特发性脊柱侧弯，这种畸形通常随着脊柱的快速生长而出现，并会影响身体外观、心肺功能，甚至导致瘫痪[1]。美国疾控中心数据显示，早期筛查及时发现脊柱侧弯，能够有效避免该疾病的产生，因此，脊柱侧弯的筛查及早期诊断尤为重要。传统筛查方法是采用目测、Adams前屈试验和脊柱侧弯尺的方法进行初步筛查，再拍摄X光片，并测量Cobb角进行确诊[2]。但这种方法多依赖医师个人经验具有不确定性且效率极低，难以大范围推广。
研究表明，脊柱侧弯疾病与患者肩部、臀部和肩胛骨等的对称性异常有关，近年来大量学者利用双目视觉、深度相机和超声波等方法对人体背部进行三维重建，利用三维数据计算人体背部的对称和非对称度信息，以此衡量脊柱侧弯的程度[3-5]。Yang等[6]利用深度学习开发和建立了基于人体裸露背部图像的脊柱侧弯智能筛查系统，该系统筛查准确率可达人类专家平均水平。但上述方法均需要需脱去衣物检查（不利隐私保护），且设备价格昂贵、效率较低，阻碍了脊柱侧弯筛查在健康普测中大面积应用。
针对以上问题，本文构建了一种较为轻量级的人体姿态估计网络去提取人的关节点坐标，再利用SVM（support vector machine）分类器对脊柱侧弯程度进行分类。实现了在正常环境下准确快速地对脊柱侧弯进行筛查。本文主要研究贡献包括：
1) 利用人体关节点，提出一种全新的脊柱侧弯筛查方法，并通过自制数据集实验验证了该方法的有效性。
2) 将MobileNetV3作为网络模型的主框架，结合反池化反卷积的上采样方法，设计了用于提取人体关节点的轻量级人体姿态估计模型，便于移植到嵌入式平台，推动脊柱侧弯筛查在健康普测中大面积应用。
1. 相关研究
1.1 轻量级姿态估计网络
姿态估计方法可分为基于坐标回归和基于热图检测两种类型，基于热图检测的方法是目前的研究主流[7]，各种优秀的人体姿态估计方法如卷积位姿机[8]、高分辨率网络[9]和沙漏堆叠网络[10]等都是基于热图回归。Zhao等[11]提出一种新的人体位姿估计网络架构，“平行金字塔”网络架构，实现了速度和精度之间的良好平衡。Zhao等[12]还通过在端到端人体姿势学习中添加质量预测块，来提高平均精确率(average precision，AP)值。但由于网络复杂和运算量大的原因，无法布置在移动硬件设备上，限制了这类姿态估计算法的实际应用。
近年来，轻量级姿态估计网络成为研究的热点。Osokin[13]采用轻量级Open Pose网络实现了CPU上的实时2D多人姿态估计，检测速度可达28 f/s；Luo等[14]以Simple Baseline架构为基础，利用深度卷积和注意力机制设计了一个轻量级瓶颈块，使得设计出来的网络模型相比Simple Baseline网络复杂度减少91%，而计算复杂度只有其11%；Ren等[15]在Luo的基础上，将结构相似性度量概念引入轻量级瓶颈块中，用以细化固有特征图的适当比例和减小模型大小，使得计算成本大大降低；Bazarevsky等[16]设计了一种用于人体姿势估计的轻量级卷积神经网络架构Blaze Pose，实现了移动设备上人体姿势估计的实时推理；谷歌提出的MobileNetV3[17]卷积神经网络模型，可以直接将算法搭载到嵌入式开发板中运行；国内也有不少研究者对现有经典网络进行修改使之轻量化，并应用在姿势评估的研究方面[18-20]。
1.2 机器学习在脊柱畸形检测中的应用
机器学习在脊柱畸形检测方面的应用是当今的热门领域。Ramirez等[21]结合人体背部表面形貌图和临床数据，利用支持向量机分类器进行分类，成功将Cobb角的大小分为3类（小于
$30^\circ $ 、$30^\circ $ ~$50^\circ $ 和大于$50^\circ $ ），准确率在69%~85%；Seoud等[22]在Ramirez的基础上成功对脊柱的弯曲类型进行分类，准确率达到72.2%；Sun等[23]利用结构化支持向量回归，实现了从X光片图像中对Cobb角的高精度估算；Zhang等[24]将深度神经网络用于估算X光片的锥体斜率，再由斜率估算Cobb角；类似的还有采用卷积神经网络(convolutional neural network, CNN)[25]、Mask R-CNN[26]以及U-Net[27]等网络的方法对椎骨进行分割、重建和计算脊柱曲率。Tan等[28]使用Unet网络分割X光片中的脊柱，再通过最小外包络矩形不断在局部区域逼近椎体边界，最终拟合出脊柱边界曲线用SVM对脊柱进行分型，实验结果与医生评估的结论相同。2. 基于轻量级人体姿态估计网络的脊柱侧弯筛查算法
图1为本文提出的采用轻量级姿态估计网络的脊柱侧弯筛查算法流程。首先，对采集到的RGB图像进行简单的预处理，再将其输入本文搭建的轻量级人体姿态估计模型获取人体关键点的二维坐标信息。接着，从关键点二维坐标中提取人体姿态的空间特征送进训练好的SVM分类器中完成脊柱侧弯程度的分类。
图 1 脊柱侧弯筛查算法流程Fig. 1 Scoliosis screening algorithm flow
下载:
全尺寸图片
2.1 轻量级姿态估计网络设计
由于MobileNetV3具有体积小、计算量少和精度高的优点，所以本文在设计轻量级姿态估计网络时以MobileNetV3为编码器来构建网络模型。本文设计的模型主要分为3部分：编码器、解码器和坐标解码（即热图回归），如图2所示。
图 2 轻量级姿态估计网络结构Fig. 2 Lightweight pose estimation network architecture下载:
全尺寸图片
网络直接使用MobileNetV3的前13层作为编码器来提取输入图片的特征图，这样做可以在保证模型轻量级的同时减少网络计算量。经过编码器提取的多维特征需要通过上采样的方式进行可视化，为此，采用5层反池化反卷积的上采样方法提取人体各关节点的热图，具体操作如图3所示。最终通过一系列的反池化、反卷积操作预测出各个关键点的热图。反卷积反池化网络的具体结构和参数如表1所示，其中K是关键点的个数。
图 3 反池化反卷积操作Fig. 3 Unpooling-deconvolution operation下载:
全尺寸图片
表 1 反卷积反池化网络结构和参数设置Table 1 Deconvolution depoolerization network structure and parameter settings输入 操作及滤波器大小 步长 滤波器个数 72×3K UnPool, 2×2 2 3K 142×3K DeConv, 3×3 1 3K 142×3K UnPool, 2×2 2 3K 282×3K DeConv, 3×3 1 2K 282×2K UnPool, 2×2 2 2K 562×3K DeConv, 3×3 1 2K 562×3K UnPool, 2×2 2 2K 1122×3K DeConv, 3×3 1 K 1122×K UnPool, 2×2 2 K 2242×K Pw Conv, 1×1 1 — 2.2 坐标解码
在得到关键点的热图后，为了得到各关键点的二维坐标需要将对应的分辨率恢复转换回原始的坐标空间，并预测关节在原始图像坐标空间中的位置，这个过程被称为坐标解码即热图回归。
人体关节坐标按比例编码到热图中可以表示为
$$ {{\boldsymbol{p}}'} = \lambda {{\boldsymbol{p}}} $$ (1) 式中：λ是分辨率降低率，p与p′对应图中及热图中的点坐标。
被预测热图的二维高斯分布表示为
$$ {{\boldsymbol{G}}}({{\boldsymbol{p}}'};{\boldsymbol{\mu}} ,{{\boldsymbol{\varSigma }}}) = \dfrac{1}{{(2{\text{π}}){{\left| {{\boldsymbol{\varSigma }}} \right|}^{\tfrac{1}{2}}}}}\exp \left( - \dfrac{1}{2}{\left({{\boldsymbol{p}}'} - {\boldsymbol{\mu}} \right)^{{\rm{T}}}}{{{\boldsymbol{\varSigma }}}^{ - 1}}\left({{\boldsymbol{p}}'} - {\boldsymbol{\mu}} \right)\right) $$ (2) 式中：µ为待估计关节位置对应的高斯均值；协方差Σ是一个对角矩阵，与坐标编码中使用的矩阵相同。
$$ {{\boldsymbol{\varSigma}} } = \left[ {\begin{array}{*{20}{c}} {{\sigma ^2}}&0 \\ 0&{{\sigma ^2}} \end{array}} \right] $$ (3) 采用二维高斯编码的热图，高斯分布的均值µ所对应的坐标即原图的人体关节点的坐标。解码的过程就是从带有误差的高斯分布中估计均值µ的坐标的过程。
如何获取µ值本文有如下推理：
$$ \begin{gathered} {\boldsymbol P}({\boldsymbol{x}};{\boldsymbol{\mu}} ,{{\boldsymbol{\varSigma}} }) = \ln ({{\boldsymbol{G}}}) =\\ - \ln (2{\text{π} }) - \frac{1}{2}\ln (\left| {{\boldsymbol{\varSigma}} } \right|) - \frac{1}{2}{({\boldsymbol{x}} - {\boldsymbol{\mu}} )^{{\rm{T}}}}{{{\boldsymbol{\varSigma}} }^{ - 1}}({\boldsymbol{x}} - {\boldsymbol{\mu}} ) \end{gathered} $$ (4) 作为极值点，方程满足在x = µ时一阶导数为0，可表示为
$$ {\left. {{\boldsymbol P}'({\boldsymbol{x}})} \right|_{{\boldsymbol{x}} = {\boldsymbol{\mu}} }} = {\left. {\frac{{\partial {{\boldsymbol P}^{{\rm{T}}}}}}{{\partial {\boldsymbol{x}}}}} \right|_{{\boldsymbol{x}} = {\boldsymbol{\mu}} }} = {\left. { - {{{\boldsymbol{\varSigma}} }^{ - 1}}({\boldsymbol{x}} - {\boldsymbol{\mu}} )} \right|_{{\boldsymbol{x}} = {\boldsymbol{\mu}} }} = 0 $$ (5) 再由泰勒展开式可得：
$$ {\boldsymbol P}({\boldsymbol{\mu}} ) = {\boldsymbol P}(m) + {\boldsymbol P}'({\boldsymbol{m}})({\boldsymbol{\mu}} - {\boldsymbol{m}}) + \frac{1}{2}{({\boldsymbol{\mu}} - {\boldsymbol{m}})^{{\rm{T}}}}{\boldsymbol P}''({\boldsymbol{m}})({\boldsymbol{\mu}} - {\boldsymbol{m}}) $$ (6) 其中，
$$ {\boldsymbol P}''({\boldsymbol{m}}) = {\left. {{\boldsymbol P}''({\boldsymbol{x}})} \right|_{{\boldsymbol{x}} = {\boldsymbol{m}}}} = - {{{\boldsymbol{\varSigma}} }^{ - 1}} $$ (7) 将式(5)~(7)联立可得：
$$ {\boldsymbol{\mu}} = {\boldsymbol{m}} - {({\boldsymbol P}''({\boldsymbol{m}}))^{ - 1}}{\boldsymbol P}'({\boldsymbol{m}}) $$ (8) 在得到µ后，再利用式(1)预测原始图像空间中的关节点坐标p。
2.3 人体姿态空间特征提取
为将脊柱侧弯疾病进行详细分级，需要提取人体姿态的空间特征。主要有：X和Y轴上的差值、体态角度。
$$ \Delta x = \left| {{x_i} - {x_j}} \right| $$ (9) $$ \Delta y = \left| {{y_i} - {y_j}} \right| $$ (10) 体态角度分为倾角和夹角，如图4(a)所示，关节点记作p1=[x1 y1]Τ，p2=[x2 y2]Τ，其连线向量为l=[x1−x2 y1−y2]Τ，垂直方向单位向量为e=[0 1]Τ，所以倾角θ的计算公式为
图 4 体态角度和空间特征示意Fig. 4 Schematic diagram of posture angle and spatial characteristics下载:
全尺寸图片
$$ \theta = {\rm{arccos}} \left(\dfrac{{{{\boldsymbol{l}}} \cdot {{\boldsymbol{e}}}}}{{\left\| {{\boldsymbol{l}}} \right\|\left\| {{\boldsymbol{e}}} \right\|}}\right) $$ (11) 如图4(b)所示，关节点记作p1=[x1 y1]Τ，p2=[x2 y2]Τ，p3=[x3 y3]Τ，记l1=p1−p2，l2=p3−p2，所以夹角β的计算公式为
$$ \beta = {\rm{arccos}} \left(\dfrac{{{{{\boldsymbol{l}}}_{1}} \cdot {{{\boldsymbol{l}}}_{2}}}}{{\left\| {{{{\boldsymbol{l}}}_{1}}} \right\|\left\| {{{{\boldsymbol{l}}}_{2}}} \right\|}}\right) $$ (12) 图4(c)和(d)是人体正面和侧面空间特征的具体部位。将上述所得的关节点坐标和人体姿态的空间特征组成体态矩阵，并结合脊柱侧弯的标签，送入SVM分类器进行训练，最终实现脊柱侧弯的分类即脊柱侧弯筛查的目的。
3. 实验结果及分析
3.1 姿态估计实验
本文的实验设备为NVIDIAGTX 1080-Ti, 10 GB内存的计算机，使用的是Tensorflow 2.1.0深度学习框架。在MSCOCO和MPII数据集上进行了实验，用以评估轻量级人体姿态估计网络的性能。MSCOCO数据集由微软公司制作，含25万个人体实例和18个关键点；MPII数据集是从各种真实世界活动拍摄的，对全身的姿态都有注释。
PCP(percentage correct parts)[29]是人体姿态估计评估准确性的常用评价标准，本次姿态估计实验使用该标准作为实验结果的评价指标。另外，用参数量(Params)和计算量(FLOPs)判断网络模型的轻量级。训练时通过随机旋转[
$-45^\circ $ ,$45^\circ $ ]、随机尺度[0.65, 1.35]和翻转的方式对数据进行增强。在优化器的选择上，本文使用Adam优化器，初始学习率设为10−3，经过第90次和120次迭代后分别减小为10−4和10−5。总共迭代次数设置为200次。为进一步验证本文所采用轻量级姿态估计网络的先进性，将该模型与Simple Baseline、Deep Pose和HRNet这3种具有代表性的模型在MPII数据集上进行对比，其结果如表2所示（输入图片大小为224像素×224像素）。
表 2 MPII数据集在不同方法下的参数量、计算量和PCPTable 2 Params, GFLOPs and PCP of MPII dataset under different methods方法 PCP Params/MB GFLOPs/GB 头部 肩部 肘部 腕部 臀部 膝盖 脚踝 平均 Simple Baseline 96.3 94.5 89.6 84.1 87.2 85.9 79.8 89.5 34.0 9.0 Deep Pose 85.7 92.8 88.6 75.4 82.3 80.1 84.5 86.7 20.7 7.6 HRNet 97.3 96.2 90.5 87.0 88.6 87.6 90.3 89.6 28.5 12.4 本文方法 98.2 92.3 89.4 88.5 86.3 91.7 89.6 93.9 10.6 6.5 根据表2所示，本文提出的方法在参数量上相比Simple Baseline、Deep Pose、HRNet分别减少68.9%、48.8%、62.8%，同时在计算量上也分别减少2.5、1.1、5.9 GB。各个关键点的平均识别率也有所提高，可达到93.9%。结果表明本文算法能够很好地对人体关键点进行提取。
3.2 脊柱侧弯分类实验
由于目前国内外没有利用姿态识别进行脊柱侧弯筛查的案例和相应的数据库，所以本文自行采集制作了一个500人的脊柱侧弯数据集，用于验证算法的可行性。利用Kinect相机采集500名年龄在12~15岁中小学生在自然站立下（双手自然下垂，双脚并拢）的正面照和侧面照，其中男生274名，女生226名，无侧弯208人，侧弯Ⅰ度40人，侧弯Ⅱ度180人，侧弯Ⅲ度72人。侧弯程度是由专业的医生利用脊柱侧弯尺和Adams前屈实验，根据《儿童青少年脊柱弯曲异常的筛查标准（GB/T 16133—2014）》[30]判断得到。脊柱侧弯类型分为无侧弯（脊柱侧弯测量仪<
$5^\circ $ ）、侧弯Ⅰ度（$5^\circ $ ≤脊柱侧弯测量仪<$7^\circ $ ）、侧弯Ⅱ度（$7^\circ $ ≤脊柱侧弯测量仪<$10^\circ $ ）、侧弯Ⅲ度（脊柱侧弯测量仪≥$10^\circ $ ），分别用0、1、2、3作为标签方便后续训练。本实验自制数据集的训练集数据和测试集数据如表3所示。图5是不同程度侧弯人群的图片展示。表 3 脊柱侧弯数据集Table 3 Scoliosis datasets数据集 训练集 测试集 正常人 156 52 侧弯Ⅰ度 30 10 侧弯Ⅱ度 135 45 侧弯Ⅲ度 54 18 
图 5 4种不同程度的脊柱侧弯Fig. 5 Four different degrees of scoliosis下载:
全尺寸图片
本文使用SVM分类器对脊柱侧弯疾病进行详细分级，为提高模型的可靠性和泛化能力，本文实验均采用四折交叉验证的方式进行训练。将采集的数据直接输入SVM分类模型进行训练得到混淆矩阵如图6(a)所示，对于4种不同程度的侧弯分类的准确率分别是85.0%、62.0%、74.0%、81.0%。为了进一步提高分类的准确率，本文提出利用3个SVM二分类分类器对脊柱侧弯程度进行细化分级。具体操作为：1)分类器SVMⅠ将侧弯分为无侧弯和有侧弯两类；(2)利用分类器SVMⅡ将有侧弯的分为侧弯Ⅰ度和其他；(3)利用分类器SVMⅢ完成最终分类。训练后得到的混淆矩阵如图6(b)所示，4种不同程度的脊柱侧弯分类的准确率分别为93.0%、81.7% (0.95×0.86=0.817)、81.3% (0.95×0.94×0.91≈0.813)、86.6% (0.95×0.94×0.97≈0.866)，可以更好地完成脊柱侧弯的详细分级。
图 6 脊柱侧弯分类的混淆矩阵Fig. 6 Confusion matrix for scoliosis classification下载:
全尺寸图片
3.3 便携式脊柱侧弯筛查系统设计
将本文训练好的算法模型嵌入到开发板上构建了便携式脊柱侧弯筛查系统，外部RGB图像的采集，使用1080 P高清USB摄像头。该系统具有成本低、携带方便和快速筛查等特点，便于推广到学校和社区大范围应用。图7是便携式脊柱侧弯筛查系统的检测流程，图8是该系统现场的筛查检测结果，在实际筛查中可实现每人20 s的筛查速度。
图 7 嵌入式脊柱侧弯筛查系统算法流程Fig. 7 Embedded scoliosis screening system algorithm flow下载:
全尺寸图片
图 8 脊柱侧弯筛查系统实现Fig. 8 Scoliosis screening system implementation下载:
全尺寸图片
4. 结束语
本研究提出采用轻量级姿态估计网络的脊柱侧弯筛查方法。该网络参数量上相比Simple Baseline、Deep Pose、HRNet分别减少68.9%、48.8%、62.8%，在计算量上分别减少2.5、1.1、5.9 GB，且关键点的平均识别率达到93.9%。在脊柱侧弯分类时采用3个SVM二分类进行详细分级，在4种不同程度的侧弯中准确率分别达到93.0%、81.7%、81.3%、86.6%，比单独采用一个SVM进行四分类时分别高出8.0%、19.7%、7.3%、5.6%。设计开发了便携式脊柱侧弯筛查系统，实际筛查时可实现每人20 s的筛查速度。
本文采集的脊柱侧弯数据集存在一定误差，且数据集的数量相对较少，这些因素对模型训练和评估产生一定影响，后期将通过扩大数据集和引进X光片诊断结果作为标签的方法进一步对该方法进行优化完善。
-
图 1 脊柱侧弯筛查算法流程
Fig. 1 Scoliosis screening algorithm flow
下载:
全尺寸图片
图 2 轻量级姿态估计网络结构
Fig. 2 Lightweight pose estimation network architecture
下载:
全尺寸图片
图 3 反池化反卷积操作
Fig. 3 Unpooling-deconvolution operation
下载:
全尺寸图片
图 4 体态角度和空间特征示意
Fig. 4 Schematic diagram of posture angle and spatial characteristics
下载:
全尺寸图片
图 5 4种不同程度的脊柱侧弯
Fig. 5 Four different degrees of scoliosis
下载:
全尺寸图片
图 6 脊柱侧弯分类的混淆矩阵
Fig. 6 Confusion matrix for scoliosis classification
下载:
全尺寸图片
图 7 嵌入式脊柱侧弯筛查系统算法流程
Fig. 7 Embedded scoliosis screening system algorithm flow
下载:
全尺寸图片
图 8 脊柱侧弯筛查系统实现
Fig. 8 Scoliosis screening system implementation
下载:
全尺寸图片
表 1 反卷积反池化网络结构和参数设置
Table 1 Deconvolution depoolerization network structure and parameter settings
输入 操作及滤波器大小 步长 滤波器个数 72×3K UnPool, 2×2 2 3K 142×3K DeConv, 3×3 1 3K 142×3K UnPool, 2×2 2 3K 282×3K DeConv, 3×3 1 2K 282×2K UnPool, 2×2 2 2K 562×3K DeConv, 3×3 1 2K 562×3K UnPool, 2×2 2 2K 1122×3K DeConv, 3×3 1 K 1122×K UnPool, 2×2 2 K 2242×K Pw Conv, 1×1 1 — 表 2 MPII数据集在不同方法下的参数量、计算量和PCP
Table 2 Params, GFLOPs and PCP of MPII dataset under different methods
方法 PCP Params/MB GFLOPs/GB 头部 肩部 肘部 腕部 臀部 膝盖 脚踝 平均 Simple Baseline 96.3 94.5 89.6 84.1 87.2 85.9 79.8 89.5 34.0 9.0 Deep Pose 85.7 92.8 88.6 75.4 82.3 80.1 84.5 86.7 20.7 7.6 HRNet 97.3 96.2 90.5 87.0 88.6 87.6 90.3 89.6 28.5 12.4 本文方法 98.2 92.3 89.4 88.5 86.3 91.7 89.6 93.9 10.6 6.5 表 3 脊柱侧弯数据集
Table 3 Scoliosis datasets
数据集 训练集 测试集 正常人 156 52 侧弯Ⅰ度 30 10 侧弯Ⅱ度 135 45 侧弯Ⅲ度 54 18 -
[1] 宋艳萍, 姚娜, 沈效平, 等. 功能性训练结合脊柱定点旋转复位法治疗青少年特发性脊柱侧弯的临床研究[J]. 实用医技杂志, 2021, 28(7): 924–926. SONG Yanping, YAO Na, SHEN Xiaoping, et al. Clinical study of functional training combined with spinal fixed-point rotation reduction in the treatment of idiopathic scoliosis in adolescents[J]. Journal of practical medical techniques, 2021, 28(7): 924–926. [2] PINHEIRO A P, COELHO J C, VEIGA A C P, et al. A computerized method for evaluating scoliotic deformities using elliptical pattern recognition in X-ray spine images[J]. Computer methods and programs in biomedicine, 2018, 161: 85–92. doi: 10.1016/j.cmpb.2018.04.015 [3] KOTWICKI T, NEGRINI S, GRIVAS T B, et al. Methodology of evaluation of morphology of the spine and the trunk in idiopathic scoliosis and other spinal deformities-6th SOSORT consensus paper[J]. Scoliosis, 2009, 4(1): 1–16. doi: 10.1186/1748-7161-4-1 [4] JIANG Weiwei, ZHOU Guangquan, LAI Kalee, et al. A fast 3-D ultrasound projection imaging method for scoliosis assessment[J]. Mathematical biosciences and engineering, 2019, 16(2): 1067–1081. doi: 10.3934/mbe.2019051 [5] KOKABU T, KAWAKAMI N, UNO K, et al. Three-dimensional depth sensor imaging to identify adolescent idiopathic scoliosis: a prospective multicenter cohort study[J]. Scientific reports, 2019, 9: 9678. doi: 10.1038/s41598-019-46246-0 [6] YANG Junlin, ZHANG Kai, FAN Hengwei, et al. Development and validation of deep learning algorithms for scoliosis screening using back images[J]. Communications biology, 2019, 2: 390. doi: 10.1038/s42003-019-0635-8 [7] 周燕, 刘紫琴, 曾凡智, 等. 深度学习的二维人体姿态估计综述[J]. 计算机科学与探索, 2021, 15(4): 641–657. ZHOU Yan, LIU Ziqin, ZENG Fanzhi, et al. Survey on two-dimensional human pose estimation of deep learning[J]. Journal of frontiers of computer science and technology, 2021, 15(4): 641–657. [8] WEI Shihen, RAMAKRISHNA V, KANADE T, et al. Convolutional pose machines[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 4724−4732. [9] SUN Ke, XIAO Bin, LIU Dong, et al. Deep high-resolution representation learning for human pose estimation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2020: 5686−5696. [10] NEWELL A, YANG Kaiyu, DENG Jia. Stacked hourglass networks for human pose estimation[C]//European Conference on Computer Vision. Cham: Springer, 2016: 483−499. [11] ZHAO Lin, WANG Nannan, GONG Chen, et al. Estimating human pose efficiently by parallel pyramid networks[J]. IEEE transactions on image processing, 2021, 30: 6785–6800. doi: 10.1109/TIP.2021.3097836 [12] ZHAO Lin, XU Jie, GONG Chen, et al. Learning to acquire the quality of human pose estimation[J]. IEEE transactions on circuits and systems for video technology, 2021, 31(4): 1555–1568. doi: 10.1109/TCSVT.2020.3005522 [13] OSOKIN D. Real-time 2D multi-person pose estimation on CPU: lightweight OpenPose[EB/OL]. (2018−11−29)[2022−03−21].https://arxiv.org/abs/1811.12004. [14] LUO Youtao, GAO Xiaoming. Lightweight human pose estimation based on self-attention mechanism[J]. Advances in engineering technology research, 2023, 4(1): 253–253. doi: 10.56028/aetr.4.1.253.2023 [15] REN Haopan, WANG Wenming, ZHANG Kaixiang, et al. Fast and lightweight human pose estimation[J]. IEEE access, 2021, 9: 49576–49589. doi: 10.1109/ACCESS.2021.3069102 [16] BAZAREVSKY V, GRISHCHENKO I, RAVEENDRAN K, et al. BlazePose: on-device real-time body pose tracking[EB/OL]. (2020−06−17)[2022−03−21]. https://arxiv.org/abs/2006.10204. [17] HOWARD A, SANDLER M, CHEN Bo, et al. Searching for MobileNetV3[C]//2019 IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2020: 1314-1324. [18] 渠涵冰, 贾振堂. 轻量级高分辨率人体姿态估计研究[J]. 激光与光电子学进展, 2022, 59(18): 119–126. QU Hanbing, JIA Zhentang. Lightweight and high-resolution human pose estimation method[J]. Laser & optoelectronics progress, 2022, 59(18): 119–126. [19] 马甜甜, 杨长春, 严鑫杰, 等. 融合知识图谱和轻量级图卷积网络推荐系统的研究[J]. 智能系统学报, 2022, 17(4): 721–727. MA Tiantian, YANG Changchun, YAN Xinjie, et al. Research on the fusion of knowledge graph and lightweight graph convolutional network recommendation system[J]. CAAI transactions on intelligent systems, 2022, 17(4): 721–727. [20] 白健鹏, 王巍, 陈雨溪, 等. 基于轻量型YOLOv5的风机桨叶检测与空间定位[J]. 智能系统学报, 2022, 17(6): 1173–1181. BAI Jianpeng, WANG Wei, CHEN Yuxi, et al. Detection and spatial location of wind turbine blades based on lightweight YOLOv5[J]. CAAI transactions on intelligent systems, 2022, 17(6): 1173–1181. [21] RAMIREZ L, DURDLE N G, RASO V J, et al. A support vector machines classifier to assess the severity of idiopathic scoliosis from surface topography[J]. IEEE transactions on information technology in biomedicine, 2006, 10(1): 84–91. doi: 10.1109/TITB.2005.855526 [22] SEOUD L, ADANKON M M, LABELLE H, et al. Prediction of scoliosis curve type based on the analysis of trunk surface topography[C]//2010 IEEE International Symposium on Biomedical Imaging: From Nano to Macro. Rotterdam: IEEE, 2010: 408−411. [23] SUN Haoliang, ZHEN Xiantong, BAILEY C, et al. Direct estimation of spinal Cobb angles by structured multi-output regression[C]//International Conference on Information Processing in Medical Imaging. Cham: Springer, 2017: 529−540. [24] ZHANG Junhua, LI Hongjian, LV Liang, et al. Computer-aided Cobb measurement based on automatic detection of vertebral slopes using deep neural network[J]. International journal of biomedical imaging, 2017, 2017: 1–6. [25] WANG Liansheng, XU Qiuhao, LEUNG S, et al. Accurate automated Cobb angles estimation using multi-view extrapolation net[J]. Medical image analysis, 2019, 58: 101542. doi: 10.1016/j.media.2019.101542 [26] PAN Yaling, CHEN Qiaoran, CHEN Tongtong, et al. Evaluation of a computer-aided method for measuring the Cobb angle on chest X-rays[J]. European spine journal, 2019, 28(12): 3035–3043. doi: 10.1007/s00586-019-06115-w [27] TAN Zhiqiang, YANG Kai, SUN Yu, et al. An automatic scoliosis diagnosis and measurement system based on deep learning[C]//2018 IEEE International Conference on Robotics and Biomimetics. Kuala Lumpur: IEEE, 2019: 439−443. [28] TAN Z Q. Algorithmic study of Lenke classification of idiopa-thic scoliosis based on U-net[M]. Shenzhen: University of Chinese Academy of Sciences ( Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences), 2019. [29] EICHNER M, FERRARI V, ZURICH S. Better appearance models for pictorial structures[C]//Proc British Machine Vision Conference, London, 2009: 5. [30] 中华人民共和国国家卫生和计划生育委员会. 中国标准书号: GB/T16133-2014, 儿童青少年脊柱弯曲异常的筛查[S]. 北京: 中国标准出版社, 2014.
