2. 日本香川大学 工学部, 日本 高松 761-0396
2. Faculty of Engineering, Kagawa University, Takamatsu 761-0396, Japan
脑血管疾病是一种脑血管发生血液循环障碍(包括脑血管阻塞和脑血管破裂出血)而引起的脑功能障碍疾病[1],是中老年人常见病、多发病, 也是中老年人致死、致残的主要原因之一,严重危害人类的健康。目前,医学CT是医生诊断病情的一种常用手段,它是利用人体内不同组织或器官的密度和厚度对X射线的衰减作用不一样来诊断的。然而,对于密度接近的组织和器官,形成的灰阶影像对比分布图的显示效果就不明显了。目前,三维重建常使用的方法主要是对面或者对体进行绘制,即面绘制和体绘制。面绘制首先在统一的坐标系中构建三维体数据; 然后通过算法有效地提取所需显示区域的表面信息; 根据照明,明暗模型对要显示的像素进行消隐和渲染处理;最后进行回执显示图像,其中面绘制里比较经典的是1987年文献[2-3]提出的移动正方形算法(marching cube,MC),其中还有很多改进MC算法。而体绘制的方法与面绘制相类似,也包括投影、消隐、渲染或合成3个基本步骤。其代表算法主要包括抛雪球法[4](Ray casting)和错切变换法[5](shear-warp)。Kumar等[6]通过使用CUDA技术,结合提出的改进体绘制raycasting算法,获得了不错的成像效果;Senseney等[7]提出了一种基于图像灰度与梯度的重叠三角形技术的多直方图体绘制方法,用于医学图像处理。国内的脑血管的三维重建起步比较晚,但是也取得较大的进步。其中东南大学罗立民带领的影响科学与技术实验室[8], 清华大学计算机系唐泽圣教授的图形学小组[9], 中科院自动化所的田捷博士所带领的研究小组[10]等在医学三维重建方面许多研究成果。
本文采用的预处理工具是Mimics 17.0软件,笔者利用开放的图形处理开发包ActiViz.NET使用C#语言编写了一款针对脑血管CT的三维重建软件,实现断层图像的三维重建模拟。将脑血管的医学CT数据导入到Mimics 17.0中进行处理,结合三维重建算法得到逼真的脑血管的解剖学结构。
1 三维重建系统概述Mimics软件支持DICOM 3.0的数据格式,并针对CT数据进行了优化和处理。Mimics可以通过不同的软件接口输出,并使用不同的有限元软件进行有限元分析[11]。本文的CT数据符合DICOM 3.0的数据格式,为了更好地对CT数据进行分析,本文采用的是计算机断层扫描血管造影(computed tomography angiography,CTA)技术,它是一种结合传统的CT扫描和血管造影方法,使之能够产生人体具体血管细节图像的技术。
本文选择人脑血管模型作为研究对象,将扫描的医学CTA数据导入Mimics,然后利用软件自身的阈值分割,蒙版编辑和区域增长对CT图像进行预处理,之后结合错切变形法三维重建脑血管图像。通过三维图像的平移和缩放重建,可以在所有方向上获得脑血管的准确图像[12]。本方法得到的脑血管三维模型经过数据结构转换,可以灵活地导入到多种三维平台中,具体的系统流程如图 1所示。
Download:
|
|
图像预处理是为了得到最好的显示效果,对影像数据进行各种处理。由于在医学图像采集过程中, 成像装置电子器件有随机干扰,采集的图像将会存在噪声和失真。各种图像系统中的图像传输和转换也将导致图像质量的进一步下降,这将影响组织的分割和提取。未处理图像的使用会影响三维重建结果的质量和图像的准确分析。在使用Mimics软件对医学图像进行预处理后,可以快速抑制所采集的医学图像的噪声,提高图像特征,增强信噪比,这将为后续的三维重建结果带来巨大的优化,使所得到的三维模型更加真实,能够为后续的研究更好地进行提供帮助。
2.1 数据导入日本香川大学提供了本文使用的医学CTA数据,作者选择了其中一段数据,并在在DICOM Image viewer中打开它。医学CTA图像如图 2所示。想要重建的脑血管是图中线条部分,人的头骨为包裹线条部分。
Download:
|
|
Mimics会依据导入的原始断层图片自动计算生成冠状面图和矢状面图。图 4为设置的人体脑部的前后、左右和上下方向。在图 5中,原始的扫描图像是右上角的图,由原始断层图像计算生成的冠状面在左上角,矢状面图像在左下角。右上图中线标记的是横断面图像的位置,左上图中线标记的是冠状面图像的位置,左下图中线标记的是矢状面的位置。
Download:
|
|
Download:
|
|
Download:
|
|
在缩小处理数据范围的时候,我们通常采用阈值分割的方法。在断层图片中,组织不同,所具有的灰度值也不同,在提取不同的结构时,可以通过设置更准确的阈值来区分不同的组织。区域增长是将类型相似的像素集合起来进行三维建模,通过区域增长,可以帮助自动分割与所感兴趣的部位不相连的区域,从而将需要建立三维模型的热区分离出来。本文的选取的阈值范围是119~1 568 HU,是一个较为理想的阈值范围。如图 6所示。然后,采用“区域增长法”(region growing)对脑血管进行增强处理,如图 7所示。
Download:
|
|
Download:
|
|
蒙板是二值蒙板,与原始图像一一对应,并且还组合成一个三维体数据。图像处理的关键点是图像分割,而图形的分割正是Mimics的强项,点击Segmentation Menu中的“蒙版计算三维结构”(Calculate 3-D from Mask), 确定相应蒙罩,Quility用(High*)“高质量”计算方法,重建脑血管的三维图像(图 8)。由于Mimics用于预处理医学CTA数据,因此可以避免由于过多的数据引起的数据和信息的丢失,这种情况在各种其他重建算法的过程中经常出现,这可以确保在后面的重建过程中既可以保证质量,也可以简化处理过程。
Download:
|
|
体绘制方法是一种基于光学映射的方法,依据在物体内部的模拟光线的一系列光学现象,通过三维数据字段中的每个体素的颜色值和不透明度值来合成和显示图像。本文对医学图像处理采用的错切变形法就是基于体绘制的。错切变形法本质上是将重采样的过程从三维降低到二维,达到大大减少计算量的效果。此外,在图像质量没有显著降低的情况下,以接近实时的速度执行渲染。错切变形法的算法实现的步骤如下:
1) 视矩阵是依据设定的方向来确定。不妨设初始视矩阵为单位矩阵,则物体坐标系z0轴正向为其对应的初始射线方向,即设物体坐标系下初始视线方向向量为V0=[0 0 1]T。根据实际观察情况,将观察方向设置成围绕物体坐标系的3个坐标轴旋转特定角度的初始视线的方向矢量,相当于围绕3个坐标轴旋转体数据,实现从不同角度观察的效果。将体数据绕物体坐标系的x0轴旋转α角度,则对应的视矩阵为:
$ {\mathit{\boldsymbol{M}}_{{\rm{view}}}} = \left[ {\begin{array}{*{20}{c}} 1&0&0&0\\ 0&{\cos \alpha }&{ - \sin \alpha }&0\\ 0&{\sin \alpha }&{\cos \alpha }&0\\ 0&0&0&1 \end{array}} \right] $ | (1) |
将体数据绕物体坐标系的y0轴旋转β角度,则对应的视矩阵为:
$ {\mathit{\boldsymbol{M}}_{{\rm{view}}}} = \left[ {\begin{array}{*{20}{c}} {\cos \beta }&0&{\sin \beta }&0\\ 0&1&0&0\\ { - \sin \beta }&0&{\cos \beta }&0\\ 0&0&0&1 \end{array}} \right] $ | (2) |
将体数据绕物体坐标系的z0轴旋转γ角度,则对应的视矩阵为:
$ {\mathit{\boldsymbol{M}}_{{\rm{view}}}} = \left[ {\begin{array}{*{20}{c}} {\cos \gamma }&{ - \sin \gamma }&0&0\\ {\sin \gamma }&{\cos \gamma }&0&0\\ 0&0&1&0\\ 0&0&0&1 \end{array}} \right] $ | (3) |
为了实现关于坐标轴的体数据的连续旋转,可以将相应的矩阵相乘以获得对应于给定观察方向的视矩阵。
2) 由物体坐标系转换成标准物体坐标系。通过视矩阵(视线方向)来确定主轴,校正视矩阵为M′view,实现校正后的视矩阵能够达到由标准物体坐标系到图像坐标系的转换。
3) 计算错切矩阵和变换矩阵。通过分解校正后的视矩阵M′view,获取变形矩阵和错切矩阵。并将变换矩阵采用降维操作,获得二维变形矩阵。
4) 将切片数据错切后作为正投影,合成中间图形。首先,对切片数据进行错切变换操作,并将其变换为错切坐标系,使得所有的视线与错切坐标系的第三坐标轴相平行,也就是与错切后的切片相垂直。然后,沿着视线方向将采样点的颜色值和不透明度值进行合成,即对切片数据作正投影后合成形成中间图像。
5) 在先前步骤中获取的中间图像变形以获得最终投影图像。将二维变形矩阵应用于中间图像,并且使中间图像变形以获得最终投影图像。
3.2 利用算法进行三维重建将经过Mimics预处理完后的脑血管数据与错切变形法结合,处理获得预期的脑血管三维模型,该算法的具体实施过程如下:
1) 计算获取二维变形矩阵和错切矩阵。为确定按观察方向的视矩阵以及主轴,采用函数GetShearWarpMatrices( )进行处理,视矩阵校正后,计算得到平移系数和错切系数,获得二维变形矩阵和错切矩阵。
2) 切片错切后投影合成中间图像。为实现对切片数据进行错切变换后,通过作正投影合成中间图像,采用定义的函数Shear Project( )。
3) 中间图像变形到最终投影图像。误切变形方法的最后一步是根据变形矩阵使中间图像变形。通过写入函数Warp( )来获得最终的投影图像。
三维重建流程图见图 9。
Download:
|
|
本文将人体脑部的CTA数据导入到Mimics17.0中进行三维重建的预处理,然后结合错切变形法对已处理后的体数据进行三维重建,最后得到脑血管的三维重建模型。图 10为三维重建结果,由此产生的三维重建模型可以在平台中执行旋转,平移和缩放等操作,这可以帮助医生进行相关的研究,如手术预处理和模拟手术,而且也可以将所得模型导入到其他的软件平台进行后期的教学及研究。
Download:
|
|
现在通用医学三维重建的方法是将医学图像由ITK读入并简单处理,然后将输入结果连接到VTK的管道模型,在此基础上执行医学图像的三维重建。为了实现人机交互的基本功能,通过Qt编写界面,并将重建的结果嵌入在上边显示[13],图 11为通用的三维重建结果。与本文提出的方法相比,现在通用的方法因为医学图像数据庞大,所以三维重建相对复杂,这就可能导致数据和信息的丢失的情况出现。而本文使用Mimics软件预处理医学图像,并将它们与用于三维重建的三维重建算法相结合。该方法可以快速整合和优化处理数据,达到加快三维重建过程的效果。如图 10所示,其处理所得脑血管具有模型清晰、细节突出的优点,同时所得模型可以进行切割处理,也可以实现任意角度的放大缩小,极大地帮助了后期处理的进行。
Download:
|
|
普通X射线和CT具有使用方便简单,诊断成本相对较低的特点。如果患者的病情复杂,普通的CT图像数据不能全面准确地反映患者的实际情况。这使得患者无法获得最有效的治疗。之前它是由三维软件(如CAD)手动建模的。模型很简单,节点和节点的数量很少。虽然它具有计算量少,速度快的优点,但与实际情况相比,效果差异很大,模拟效果不理想。由于所给的人脑的CT扫描里面血管比较复杂,并且其层数比较多,血管与脑壳之间的连接影响重建的时间,并且处理难度较大,所以要求对相应的图像的细节比较熟悉[14]。本文提出的基于错切变形法的脑血管的三维重建,可以得到符合真实脑血管解刨学结构的三维模型,便于医生进行手术规划和手术模拟,大大提高了手术的成功率。
5 结论本文提出了一种三维重建方法用于脑血管模型。首先将脑血管的医学CTA数据导入到Mimics软件中,然后在Mimics中进行诸如阈值分割、蒙版编辑和区域增长等预处理,最后结合错切变形算法得到脑血管的三维重建模型。
1) 与一般的三维重建方法相比,该方法可以快速提高对采集图像噪声的抑制,强化图像特征,增高信噪比,简化数据处理过程,极大地帮助优化三维重建结果。
2) 其处理所得脑血管具有模型清晰、细节突出的优点,同时所得模型进行切割处理和实现任意角度的放大缩小,这将会使得三维模型更加真实。
3) 对于研究脑血管方面的疾病和医生使用脑血管介入手术训练系统进行训练和模拟具有极大的促进作用,能够在节省成本的基础上达到更好的训练效果。
[1] |
高艳, 李坤成, 杜祥颖, 等. 64层CT血管造影诊断颈内动脉狭窄及内膜切除术或支架置入术后随访的价值[J]. 中华放射学杂志, 2006, 40(9): 948-952. GAO Yan, LI Kuncheng, DU Xiangying, et al. The application of 64 multidetector CT angiography in the evaluation of carotid stenosis and follow-up of carotid endarterectomy and percutaneous transluminal stenting[J]. Chinese journal of radiology, 2006, 40(9): 948-952. DOI:10.3760/j.issn:1005-1201.2006.09.012 (0) |
[2] |
CAMPOS R, GARCIA R, ALLIEZ P, et al. A surface reconstruction method for in-detail underwater 3-D optical mapping[J]. International journal of robotics research, 2015, 34(1): 64-89. (0)
|
[3] |
SINGH R, SRIVASTAVA R, PRAKASH O, et al. Mixed scheme based multimodal medical image fusion using daubechies complex wavelet transform[C]//Proceedings of International Conference on Informatics, Electronics & Vision. Dhaka, Bangladesh, 2012: 304-309.
(0)
|
[4] |
LAUR D, HANRAHAN P. Hierarchical splatting:a progressive refinement algorithm for volume rendering[J]. ACM SIGGRAPH computer graphics, 1991, 25(4): 285-288. DOI:10.1145/127719 (0)
|
[5] |
PARMAR K, KHER R K, THAKKAR F N. Analysis of CT and MRI image fusion using wavelet transform[C]//Proceedings of 2012 International Conference on Communication Systems and Network Technologies. Rajkot, India, 2012: 124-127.
(0)
|
[6] |
KUMAR P, AGRAWAL A. CUDA based interactive volume rendering of 3-D medical data[M]//AGRAWAL A, TRIPATHI R C, DO E Y L. Intelligent Interactive Technologies and Multimedia. Berlin: Springer, 2013: 123-132.
(0)
|
[7] |
SENSENEY J, BOKINSKY A, CHENG R, et al. Java multi-histogram volume rendering framework for medical images[C]//Proceedings of SPIE 8671, Medical Imaging 2013: Image-Guided Procedures, Robotic Interventions, and Modeling. Florida, United States, 2013: 86712J.
(0)
|
[8] |
刘天亮, 罗立民. 基于分割稳健而快速的局部立体匹配及医学应用[J]. 计算机辅助设计与图形学学报, 2010, 22(1): 100-107. LIU Tianliang, LUO Limin. Segmentation-based, robust and fast local stereo matching with medical application[J]. Journal of computer-aided design & computer graphics, 2010, 22(1): 100-107. (0) |
[9] |
黄静, 王希, 齐东旭, 等.基于二值掩码图像的图像合成方法及其应用[J].计算机辅助设计与图形学学报, 2009, 21(5): 674-679. HUANG Jing, WANG Xi, QI Dongxu, TANG Zesheng, et al. Binary mask based image synthesis method and its applications[J]. Journal of computer-aided design and computer graphics, 2009, 21(5): 674-679. (0) |
[10] |
宁楠楠, 刘侠, 邓可欣, 等. 基于多角度光学投影表面重建的三维自发荧光光源定位算法[J]. 自动化学报, 2014, 40(8): 1793-1803. NING Nannan, LIU Xia, DENG Kexin, et al. A 3D location method of bioluminescence light source based on multi-view projection surface reconstruction[J]. Acta automatica sinica, 2014, 40(8): 1793-1803. (0) |
[11] |
王娇, 刘洋, 张晓玲, 等. Mimics软件在医学图像三维重建中的应用[J]. 医疗卫生装备, 2015, 36(2): 115-118. WANG Jiao, LIU Yang, ZHANG Xiaoling, et al. Application of mimics software to 3-D reconstruction of medical image[J]. Chinese medical equipment journal, 2015, 36(2): 115-118. (0) |
[12] |
朱俊杰, 杜小平, 范湘涛, 等. 三种图像分割算法的对比及图像分割方法的改进[J]. 计算机应用与软件, 2014, 31(1): 194-196, 200. ZHU Junjie, DU Xiaoping, FAN Xiangtao, et al. Contrast of three image segmentation algorithms and improvement of image segmentation methods[J]. Computer applications and software, 2014, 31(1): 194-196, 200. DOI:10.3969/j.issn.1000-386x.2014.01.051 (0) |
[13] |
YE Xiufen, ZHANG Jianguo, LI Peng, et al. A fast and stable vascular deformation scheme for interventional surgery training system[J]. Biomedical engineering online, 2016, 15: 35. DOI:10.1186/s12938-016-0148-3 (0)
|
[14] |
DIRAMI A, HAMMOUCHE K, DIAF M, et al. Fast multilevel thresholding for image segmentation through a multiphase level set method[J]. Signal processing, 2013, 93(1): 139-153. DOI:10.1016/j.sigpro.2012.07.010 (0)
|