2. 南京医科大学附属常州第二人民医院放疗科，江苏 常州 213003;
3. 南京医科大学医学物理研究中心，江苏 常州 213003
2. Department of Radiotherapy the Second People's Hospital of Changzhou Affiliated to Nanjing Medical University, Changzhou 213003 China;
3. Central Laboratory of Medical Physics, Nanjing Medical University, Changzhou 213003 China
随着现代电子科学技术的不断发展，医学影像在医生的临床诊断中扮演着十分重要的角色。肿瘤是目前最常见危害人类生命的疾病之一，经过一百多年的不断发展，放疗技术已经能够满足日常癌症病人的治疗，但放疗的精确性仍是当前放疗技术面临的一大难题。精确的放疗可使肿瘤组织得到充分照射，同时最大程度保护正常组织，使正常组织减少射线照射，而一旦射线照射不精确，可能引起肿瘤靶区达不到计划照射剂量，同时使危及器官受到过量的照射从而产生严重损伤[1]。影响放疗精确性的因素之一是设备与物理因素，在磁共振图像引导放疗中无法利用MRI图像来计算电子密度信息。可以利用MRI（磁共振成像Magnetic Resonance Imaging）图像预测出对应的CT（电子计算机断层扫描Computed Tomography）图像来解决这个问题。
CT的成像原理为当X线穿透人体时，X线被组织吸收越多，那么在CT图像中该组织也就越亮，X线被组织吸收的越少，在CT图像中该组织就越暗。因此像骨和钙化灶，对X线吸收明显，在CT图像中成白色，含有大量氧元素的水比含有大量碳元素的脂肪对X线吸收更多，所以在CT图像上脂肪比水更暗。空气基本上不吸收X线，因此在CT图像上呈黑色。不同的软组织对X线的吸收相差不大，在CT图像上难以进行明确的区分[2]。
MRI是一种非创伤性的成像方法，是利用一定频率的射频信号在一外加静磁场内，对人体的任何一个平面，产生高质量的直观切面图像。MRI图像可以清晰的观测到患者的软组织，但对骨头难以区分且成像速度过慢并且受患者活动影响较大，但可以利用磁共振波谱直接观察细胞活动的生理和生化信息，同时不产生电离辐射，对人体更安全[3]。
CT与MRI作为最常用的2种医学图像，MR图像预测CT图像的研究至关重要。不同文献报道的MR图像预测CT图像的方法如表1。
|
表 1 不同文献报道CT图像与MRI图像的跨模态转换方法 Table 1 CT and MRI translation reported in literatures |
在1993年MILLER便已经提出最初的基于图集的方法，图集包含MRI图集与CT图集2个部分，将患者的MRI图像与图集中的MRI图像进行配准，同时将配准所用的变换矩阵或形变场作用在图集中的CT模板上，将该模板转变为新的CT图像[4]。这种方法高度依赖于配准的精确度，忽略了病人之间会存在差异性。在2014年，Burgos等人提出一种使用多图集的方法，该方法的合成图像通过多图谱信息传播方案生成，使用局部图像相似性度量，将MRI衍生的患者形态学匹配到MRI/CT对数据库中，这种方法预测出的CT图像精度显著提高[5]。Burgos等人在2017年提出了一种多图谱信息传播方法，该方法将器官分割并从结构MR图像中生成CT数据，以此来提升图像预测的准确性[6]。Arabi等人在2016年提出了一种分类图谱预测CT的方法，为了减少在配准过程中所需的计算时间，该方法根据局部归一化互相关相似性对共配准图谱数据集与目标MR图像进行排序，为每个部位在图集种选择最相似的图像，因此所需的计算时间会大大缩短[7]。Torrado-Carvajal等人在2016年提出了基于群组图像块的预测方法，该方法先估计伪CT与患者特异性CT容积相似的精度，并假设同一组织类型中的所有体素具有相同的衰减系数[8]。该方法中的处理单元是图像块，可以减少计算时间。
基于图集的方法操作简单，结果明了，但是需要大量成对的数据图集，而且对图集的要求十分严格，因为当患者的病理与图集差异较大时，容易导致预测出的CT图像精度偏低。
2 基于学习的方法基于学习的方法指在原图和靶图之间建立非线性映射，主要包括随机森林、字典学习、稀疏表示及主成分分析等方法，其中多数方法属于机器学习范畴[9]。JOG等采用随机森林非线性回归方法由低分辨率图像合成高分辨率MRI[10]，提高了MRI图像的分辨率。Andreasen等使用随机森林提供来自MRI的局部纹理、边缘和空间特征的信息，并使用自动上下文模型的概念，实现了MR图像跨模态转换为CT图像[11]。Huynh等将MRI图像分成不同的图像块[12]，将结构随机森林的方法应用在每个图像块上，实现了MR图像跨模态转换为CT图像。Yang等在图像块随机森林的基础上提出从配对的训练图像中提取患者特有的解剖特征，并将其作为每个体素的标志，使用特征选择来识别信息量最大的特征来训练随机森林，训练好的随机森林用于预测新患者的CT图像，实现了脑部MR图像跨模态转换为CT图像[13]。Lei等基于迭代细化模型训练一系列交替的随机森林[14]，在训练阶段中，从MRI图像中提取基于补丁的特征，使用特征选择，将最有信息的特征识别为解剖特征；在合成阶段，再将从MRI图像中提取的解剖特征输入到训练有素的森林序列中进行PCT合成，将得到的PCT与原始CT（基本情况）进行比较以定量评估合成准确性。
基于随机森林的方法往往先提取特征表示源图像，后建立映射以生成目标图像，故其性能取决于人工构造的特征及基于提取特征的源图像的质量。
3 基于深度学习的方法近些年深度学习在医学图像领域发展十分迅速，产生了许多新的算法。目前基于深度学习的CT预测以全卷积网络[15]、深度卷积神经网络[16]、对抗生成网络[17]为代表。Kaiser等分别利用U-net网络和pix2pix网络进行MRI合成CT[18]。董国亚等利用U-Net网络结构，引入残差思想，提出了一个深度神经网络（RUN）[1]。整个RUN神经网络结构基于传统的的U-Net网络思想，并引入Res-Net的残差模块，进一步优化U-net网络的训练准确率和训练效果。Nie等应用自动上下文模型（ACM）和全卷积神经网络将MRI合成CT[19]，该方法可以准确稳定地合成出对应的目标图像。Nie等在2016年提出了一种基于3D深度学习的方法，采用全卷积神经网络（FCN）学习从MR图像到CT图像的端对端非线性映射，相比传统的卷积神经网络，FCN能更好的保留预测CT图像的邻域信息，拥有更好的准确性和稳定性[20]。Wolterink等提出用未配对的MR与CT训练生成对抗网络（GAN）图像，该方法具有良好的综合性能，预测出的CT图像与参考CT图像接近[21]。Han等提出了一种新的深度卷积神经网络的方法来实现MRI预测CT的工作[22]，该方法相较于传统方法，其预测精准度更高，实时性强，且所花的时间较少。Chen等提出了一种深度卷积神经网络来实现前列腺部位CT图像的预测工作，在训练完成后，可以在数秒内从常规MR图像预测出高精度的CT图像[23]。Badrinarayanan等提出了一种新的深度卷积神经网络（SegNet），该方法对数据集中的MR图像进行训练，将该图像分割为多类别的模型，再对每个类别分配一致的CT值[24]。
基于深度学习方法的特点是可以直接学习MR图像与CT图像之间的映射关系。但是这些方法需要对大量数据进行训练，且所需要进行的训练数据十分庞大，但可以避免目标图像与图集多次精确配准的难点，可通过神经网络自动抽取高维特征建立映射关系，无需手动设计选取特征[25]。
4 基于图像分割的方法基于图像分割的方法则首先要将MRI图像分成不同的组织结构，对于脑部成像，通常将组织分为：头皮层、颅骨、软组织（脑脊液）、空气等[26]。根据不同的组织结构给这些结构赋予一个特定的CT值，以此方法来将MRI图像转变为CT图像。但在一个磁共振体素中来分割所有的主要组织是很困难的，并且传统的MRI图像不能有效的区分空气和骨头，因此大多数基于分割的方法要用到多个MRI序列。
传统的图像分割方法有阈值分割技术、基于边缘的分割方法、基于区域的分割方法、基于机器学习的分割方法[27]。但是传统的分割算法大多是利用图像的灰度值或者纹理信息等特征进行分割，这种单一的阈值分割并不能满足医学图像这种灰度不均匀的图像分割的需要，所以目前研究者们正在研究新的图像分割算法[28]。
2010年，Krinidis等人提出了一种基于模糊C均值（FCM）的图像聚类算法[29]，这种方法以一种新颖的模糊方式融合了局部空间信息和灰度信息。该算法克服了以往模糊C均值算法的缺点，同时提高了聚类性能，保证了噪声不敏感和图像细节的保留。2014年，Ortiz等人提出了一种完全无监督和自动化的方法来分割MRI脑图像[30]。该方法结合了4个步骤：获取多个MRI体积，提取图像特征，使用模糊C均值聚类和分类组织空间约束，利用SOM进行体素分类和锐利的地图聚类。Hsu等从多个MRI图像分类生成CT图像，该方法首先要获取多个MRI图像体积，利用模糊C均值聚类对组织进行分类空间约束，基于个体组织类在每个体素中存在的概率，根据每个体素中衰减特性的总和生成CT图像[31]。何小海等利用图谱法对脑部MRI图像进行自动分割，该方法的原理是将需要分割的图像利用配准映射到已经分割好的模板上，然后通过逆变换算子将分割结果变换到原图空间，从而获得原始输入图像的分割结果[32]。
因为脑部的医学图像比较复杂，单一的分割算法难以取得较高的分割准确率，所以目前医学图像分割领域常用的方法是将2种或多种分割算法结合起来来弥补单个算法的缺陷。这样将不同的组织结构分离以后，再赋予不同的特征值，将MRI图像转换为CT图像[33-35]。
5 问题与展望通过MR图像预测CT图像为解决临床缺乏的模态图像问题提供了可行的解决办法，但目前通过预测得出的图像与真实图像有一定差距，将预测出的图像用于实际诊断前，要进行严格的预测评估。
目前MR图像预测CT图像的研究结果大多数还停留在理论的阶段，仍需要大量数据对模型进行训练与检验。为使跨模态预测广泛应用，除了要保证预测图像的高质量，还要考虑临床实际中出现的特殊情况（如数据丢失和数据未配对）具有鲁棒性。
6 小 结本文就医学领域中MR图像预测CT图像的应用研究、预测方法做了较为全面的综述。在MRI预测CT的研究中，基于深度学习的预测方法在预测的精度和预测所花的时间效率上都更占优势，且预测出的图像也有更高的图像分辨率和信噪比。
随着深度学习方法的继续发展和更多新算法的研究，MR图像预测CT图像的研究可能会有更进一步的发展。未来也会有更多不同的跨模态预测研究，在更多的数据量训练下，跨模态预测的图像质量会进一步改善。
| [1] |
董国亚, 宋立明, 李雅芬, 等. 基于深度学习的跨模态医学图像转换[J]. 中国医学物理学杂志, 2020, 37(10): 1335-1339. Dong GY, Song LM, Li YF, et al. Cross-modality medical image synthesis based on deep learning[J]. Chin J Med Phys, 2020, 37(10): 1335-1339. DOI:10.3969/j.issn.1005-202X.2020.10.021 |
| [2] |
Karen S. Caldemeyer, Kenneth A. Buckwalter. The basic principles of computed tomography and magnetic resonance imaging[J]. J Am Acad Dermatol, 1999, 41(5): 768-771. |
| [3] |
侯超. 对核磁共振的成像原理及临床应用研究[J]. 影像研究与医学应用, 2017, 1(9): 25-26. Hou C. Imaging principle and clinical application of nuclear magnetic resonance imaging[J]. J Imaging Res Med Appl, 2017, 1(9): 25-26. DOI:10.3969/j.issn.2096-3807.2017.09.015 |
| [4] |
Miller MI, Christensen GE, Amit Y, et al. Mathematical textbook of deformable neuroanatomies[J]. Proc Natl Acad Sci USA, 1993, 90(24): 11944-11948. DOI:10.1073/pnas.90.24.11944 |
| [5] |
Burgos N, Cardoso MJ, Thielemans K, et al. Attenuation correction synthesis for hybrid PET-MR scanners: application to brain studies[J]. IEEE Trans Med Imaging, 2014, 33(12): 2332-2341. DOI:10.1109/tmi.2014.2340135 |
| [6] |
Burgos N, Guerreiro F, McClelland J, et al. Iterative framework for the joint segmentation and CT synthesis of MR images: application to MRI-only radiotherapy treatment planning[J]. Phys Med Biol, 2017, 62(11): 4237-4253. DOI:10.1088/1361-6560/aa66bf |
| [7] |
Arabi H, Zaidi H. Magnetic resonance imaging-guided attenuation correction in whole-body PET/MRI using a sorted atlas approach[J]. Med Image Anal, 2016, 31: 1-15. DOI:10.1016/j.media.2016.02.002 |
| [8] |
Torrado-Carvajal A, Herraiz JL, Alcain E, et al. Fast patch-based pseudo-CT synthesis from T1-weighted MR images for PET/MR attenuation correction in brain studies[J]. J Nucl Med, 2016, 57(1): 136-143. DOI:10.2967/jnumed.115.156299 |
| [9] |
谢凯, 陆正大, 李春迎, 等. 医学图像合成方法研究进展[J]. 中国医学影像技术, 2020, 36(12): 1903-1906. Xie K, Lu ZD, Li CY, et al. Research progresses of medical image synthesis methods[J]. Chin J Med Imaging Technol, 2020, 36(12): 1903-1906. DOI:10.13929/j.issn.1003-3289.2020.12.031 |
| [10] |
Jog A, Carass A, Prince JL. Improving magnetic resonance resolution with supervised learning[J]. Proc IEEE Int Symp Biomed Imaging, 2014, 2014: 987-990. DOI:10.1109/ISBI.2014.6868038 |
| [11] |
Andreasen D, Edmund JM, Zografos V, et al. Computed tomography synthesis from magnetic resonance images in the pelvis using multiple random forests and auto-context features[C]//San Diego: Medical Imaging 2016: Image Processing, 2016. DOI: 10.1117/12.2216924.
|
| [12] |
Huynh T, Gao YZ, Kang JY, et al. Estimating CT image from MRI data using structured random forest and auto-context model[J]. IEEE Trans Med Imaging, 2016, 35(1): 174-183. DOI:10.1109/TMI.2015.2461533 |
| [13] |
Yang XF, Lei Y, Shu HK, et al. Pseudo CT estimation from MRI using patch-based random forest[C]//Orlando, Florida, USA. Medical Imaging 2017: Image Processing. DOI: 10.1117/12.2253936.
|
| [14] |
Lei Y, Jeong JJ, Wang TH, et al. MRI-based pseudo CT synthesis using anatomical signature and alternating random forest with iterative refinement model[J]. J Med Imaging (Bellingham), 2018, 5(4): 043504. DOI:10.1117/1.JMI.5.4.043504 |
| [15] |
Mahanta LB, Hussain E, Das N, et al. IHC-Net: a fully convolutional neural network for automated nuclear segmentation and ensemble classification for Allred scoring in breast pathology[J]. Appl Soft Comput, 2021, 103: 107136. DOI:10.1016/j.asoc.2021.107136 |
| [16] |
Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444. DOI:10.1038/nature14539 |
| [17] |
Li J Jia JJ, Xu DL. Unsupervised representation learning of image-based plant disease with deep convolutional generative adversarial networks[C]//第37届中国控制会议论文集. 武汉:中国自动化学会控制理论专业委员会, 2018: 587-591.
|
| [18] |
Kaiser B, Albarqouni S. MRI to CT Translation with GANs[J]. 2019.
|
| [19] |
Nie D, Trullo R, Lian J, et al. Medical image synthesis with context-aware generative adversarial networks[C]//Med Image Comput Comput Assist Interv, 2017, 10435:417-425. DOI: 10.1007/978-3-319-66179-7_48.
|
| [20] |
Nie D, Cao X, Gao Y, et al. Estimating CT image from MRI data using 3D fully convolutional networks[J]. Deep Learn Data Label Med Appl, 2016, 2016: 170-178. DOI:10.1007/978-3-319-46976-8_18 |
| [21] |
Wolterink JM, Dinkla AM, Savenije MHF, et al. Deep MR to CT synthesis using unpaired data[M]//Simulation and Synthesis in Medical Imaging. Cham: Springer International Publishing, 2017: 14-23. DOI: 10.1007/978-3-319-68127-6_2.
|
| [22] |
Han X. MR-based synthetic CT generation using a deep convolutional neural network method[J]. Med Phys, 2017, 44(4): 1408-1419. DOI:10.1002/mp.12155 |
| [23] |
Chen SP, Qin A, Zhou DY, et al. Technical Note: U-net-generated synthetic CT images for magnetic resonance imaging-only prostate intensity-modulated radiation therapy treatment planning[J]. Med Phys, 2018, 45(12): 5659-5665. DOI:10.1002/mp.13247 |
| [24] |
Badrinarayanan V, Kendall A, Cipolla R. SegNet: a deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Trans Pattern Anal Mach Intell, 2017, 39(12): 2481-2495. DOI:10.1109/TPAMI.2016.2644615 |
| [25] |
周沛, 陈后金, 于泽宽, 等. 跨模态医学图像预测综述[J]. 电子学报, 2019, 47(1): 220-226. Zhou P, Chen HJ, Yu ZK, et al. Review of cross-modality medical image prediction[J]. Acta Electron Sin, 2019, 47(1): 220-226. DOI:10.3969/j.issn.0372-2112.2019.01.029 |
| [26] |
王海鹏, 樊馨, 贠明凯, 等. PET/MRI衰减校正技术研究进展[J]. 中国医学影像技术, 2014, 30(2): 295-299. Wang HP, Fan X, Yun MK, et al. Developments of attenuation correction for PET/MRI[J]. Chin J Med Imaging Technol, 2014, 30(2): 295-299. DOI:10.13929/j.1003-3289.2014.02.025 |
| [27] |
吴艺超. 基于多模态的医学图像分割关键技术研究[D]. 杭州: 浙江大学, 2020. Wu YC. Research on key techniques of medical image segmentation based on multimodality[D]. Hangzhou: Zhejiang University, 2020. |
| [28] |
李梓萌. 脑部MRI图像的分割与识别[D]. 长春: 吉林大学, 2020. Li ZM. Segmentation and recognition of brain MRI images[D]. Changchun: Jilin University, 2020. |
| [29] |
Krinidis S, Chatzis V. A robust fuzzy local information C-Means clustering algorithm[J]. IEEE Trans Image Process, 2010, 19(5): 1328-1337. DOI:10.1109/TIP.2010.2040763 |
| [30] |
Ortiz A, Gorriz JM, Ramirez J, et al. Improving MR brain image segmentation using self-organising maps and entropy-gradient clustering[J]. Inf Sci, 2014, 262: 117-136. DOI:10.1016/j.ins.2013.10.002 |
| [31] |
Hsu SH, Cao Y, Huang K, et al. Investigation of a method for generating synthetic CT models from MRI scans of the head and neck for radiation therapy[J]. Phys Med Biol, 2013, 58(23): 8419-8435. DOI:10.1088/0031-9155/58/23/8419 |
| [32] |
何小海, 梁子飞, 唐晓颖, 等. 图谱法脑部MRI图像自动分割技术发展及应用[J]. 数据采集与处理, 2015, 30(5): 956-964. He XH, Liang ZF, Tang XY, et al. Development and application for atlas-based brain MRI image segmentation technology[J]. J Data Acquis Process, 2015, 30(5): 956-964. DOI:10.16337/j.1004-9037.2015.05.005 |
| [33] |
Su KH, Hu LZ, Stehning C, et al. Generation of brain pseudo-CTs using an undersampled, single-acquisition UTE-mDixon pulse sequence and unsupervised clustering[J]. Med Phys, 2015, 42(8): 4974-4986. DOI:10.1118/1.4926756 |
| [34] |
Zhu JY, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//2017 IEEE International Conference on Computer Vision (ICCV). Venice:IEEE, 2017: 2242-2251. DOI: 10.1109/ICCV.2017.244.
|
| [35] |
Bi L, Kim J, Kumar A, et al. Synthesis of positron emission tomography (PET) images via multi-channel generative adversarial networks (GANs)[C]//Mol Imaging Reconstr Anal Mov Body Organs Stroke Imaging Treat, 2017: 43-51. DOI: 10.1007/978-3-319-67564-0_5.
|