目前，医学图像已经成为临床诊断中重要的诊断依据，广泛应用于肿瘤筛查^[1]、放射治疗、手术方案制定、以及病理诊断中。为了确定某种疾病类型或者病情恶化程度，单模态医学图像不能给出精确的诊断信息。多模态的医学图像能帮助医生做出病情的诊断，但由于多种模态医疗数据庞大，医生通过识别大量的原始医学图像来诊断疾病状况需要丰富临床的经验且会浪费大量时间，极大影响临床诊断结果的时效性与有效性。因此，医学图像融合技术受到广大研究者的关注^[2]。

图像融合是图像处理的子领域，目前是计算机视觉中的热门课题。多模态的医学图像包括磁共振成像（MRI）、计算机断层成像（CT）、正电子发射计算机断层成像（PET）、单光子发射计算机断层成像（SPECT）、超声成像（US）等。由于成像原理不同，不同模态图像显示的人体组织信息和病理信息也不同。单模态医学图像所包含的组织与病理信息是有限的，难以对疾病做出精确诊断。为解决该问题，多模态融合技术应运而生。该技术将多种模态的信息整合在单一融合图像中，能够从单模态图像中得到多种病理信息，有助于病情的诊断与放疗计划的制定。

医学图像融合相关研究主要的关注点是融合图像与源图像之间的差异，通过分析图像之间的细节特征以评价融合方法的性能。本文将融合方法分为2类：（a）传统融合方法；（b）基于深度学习融合方法。并对当前存在的问题以及未来的发展方向进行综述。

1 传统融合方法

对于医学图像的融合，学者们提出了多种传统的图像融合方法，包括不同的特征提取策略和融合规则。根据分解方案，这些方法可以分为5类：（a）多尺度变换（MST）^[3-6]；（b）稀疏表示（SR）^[7-11]；（c）基于子空间^[12-14]；（d）基于显著特征的方法^[15]；（e）混合模型^[16-19]。以上这5类方法被广泛应用于医学图像融合。

基于MST的方法包括多尺度分解、多尺度融合和多尺度重建等步骤。Du等^[3]提出了一种具有多个特征的联合拉普拉斯金字塔方法，将显著特征从源图像准确地转移到单个融合图像中，在标准偏差（STD）等指标相对于其他传统方法提高了10%～15%。Bhavana和Krishnappa^[6]使用高斯滤波技术提高图像质量，然后使用离散小波变换增强融合图像的效果，在3个数据集上测试了正常轴位、正常冠状位和阿尔茨海默症脑疾病的PET和 MRI图像，与现有的融合技术相比，融合结果在平均梯度（AG）和光谱差异（SD）等性能指标上结果准确率提高了80%～90%，颜色失真减少，且不丢失任何解剖信息。Zhang等^[8]的目标是从一组结合一系列稀疏系数的训练图像中学习到的过完整字典中生成融合图像。Zong和Qiu^[9]将已配准的医学图像按照块的几何方向划分为分类块，通过在线字典学习的训练，最后通过稀疏系数和choose-max融合规则相结合生成融合图像，在12对已经配准好的脑部图像进行验证，该方法能有效地将源图像的纹理细节、边缘和颜色信息融合到结果图像中。Li等^[10]使用稀疏表示和邻域能量活动算子将源图像分为基础层和细节层，分别在不同层级进行特征融合，该方法更适用于灰度图和彩色图的融合问题。Li等^[11]提出了一种新的具有组稀疏性和图正则化的字典学习（DL-GSGR），将具有 DL-GSGR 的组稀疏表示应用于 3D 医学图像去噪和图像融合，该方法比多分辨率分析和标准稀疏表示能更有效、更完整地提取出显著特征，在互信息（MI）、通用质量指数（UIQI）等指标与最优的多分辨率分析方法提高了5%～15%。基于子空间的图像融合方法，主要包括主成分分析（PCA）^[12]、独立成分分析（ICA）^[13]和非负矩阵分解（NMF）^[14]。He等^[12]将强度-色调-饱和度变换和主成分分析相结合，以保留更多的空间特征和功能信息，对MRI-PET图像进行配准融合实验，与PCA、离散小波变换（DWT）单一方法进行比较，提出的方法融合性能在MI上提高了10%～20%。Cui等^[13]通过分析CT医学图像的特点，提出一种基于DWT和ICA的图像融合新方法，在信噪比（SNR）、熵值（EN）比单一的DWT、ICA高出了30%，其应用效率也高于拉普拉斯金字塔法。

在多模态医学图像融合领域，传统单一融合方法存在一定的局限性，比如边缘模糊、纹理细节显示不全等情况。所以一些研究者为了解决这个问题提出了混合模型。Maqsood和Javed^[16]提出了一种基于两尺度图像分解和稀疏表示的多模态图像融合框架，克服了单一方法的缺点，该方法能够将更多的细节信息和边缘特征保留到结果图像中，且在EN等指标中与比较的最优方法相比，平均提高了30%。Alseelawi等^[17]采用双树复小波变换（DTCWT）和非下采样轮廓变换（NSCT）的混合融合策略对CT和MRI进行融合，通过消融实验，与单一DTCWT、NSCT、DWT等方法比较，DTCWT和NSCT的混合融合模型在峰值信噪比（PNSR）等指标都高出单一方法2.0～5.0左右，融合图像更接近源图像。

传统方法通过手动设计融合规则来生成权重图，将权重映射和融合策略结合进行融合，最后通过逆变换生成融合结果。由于设计的融合规则和分解方式复杂且费力，另应用场景多样化，融合效果也不太理想。此外，这些方法都是对不同模态图像使用相同的表示，为了保持像高频信息以及边缘信息。但在多模态图像中，这些相同信息展示的效果差异性很大。比如，CT图像的密集结构信息是以不同的灰度表示的，即对比度反映；而PET/SPECT图像中的功能信息却是以颜色表示。因此，对多模态的图像使用相同的表示是不合适的，会大大降低图像融合的性能。

2 基于深度学习融合方法

近几年许多基于深度学习的融合方法已经被广泛提出，以有效地避免手动提取特征所带来表示能力不足的缺点。大部分基于深度学习的融合方法的框架均是基于卷积神经网络（CNN）、生成对抗网络（GAN）与混合深度框架。在多模态图像融合领域，红外和可见光图像的融合与多模态医学图像的融合之间也有共通之处，一些通用融合框架也可相互借鉴。

2.1 CNN

对于多模态图像融合，已经开发了许多神经网络用于获取源图像的权重图。Zhang等^[20]提出一种基于CNN的通用图像融合框架（IFCNN），使用两个卷积层提取特征，采用适当的融合规则融合提取的特征，对融合特征进行重建生成，选用沿着人脑轴向平面扫描的CT和MRI切片进行实验，IFCNN方法能将CT和MRI图像的大部分颅骨和纹理组织特征融合到结果图像中，且泛化能力强于其它通用融合框架。Wang等^[21]提出一种基于NSCT和CNN的多模态医学图像融合方法，将源图像分解为低频和高频子带，利用CNN对不同频率子带生成不同决策图，充分利用了频率子带特征，提高了融合质量，解决了CNN不能直接用于医学图像融合的局限性。Kaur和Singh^[22]提出一种基于多目标差分进化和Xception模型的多模态生物医学融合模型，使用多目标差分进化提取最优特征，利用确定系数和基于能量损失的融合函数增强融合效果，与目前最佳的方法在边缘强度、融合对称性、融合因子、互信息分析等方面分别高出1.6928%、1.1974%、1.3928%、1.8373%。Xia等^[23]使用拉普拉斯滤波器和高斯滤波器将源图像分解，得到高频和低频图像，使用反向传播算法和神经网络进行训练，最后使用合适的融合规则将分解图像进行融合，其融合效果与NSCT、DTCWT、非子采样剪切波变换（NSST）等融合方法相比，具有更高的对比度和清晰度且融合速度更快。Liu等^[24]采用连体卷积网络整合来自两种模态源图像的像素活动信息生成权重图，融合过程以多尺度金字塔方式进行，使融合结果更符合人类视觉感知。Wang等^[25]提出了一种基于CNN和对比金字塔的融合算法，通过多尺度对比金字塔分解方法对不同空间频带图像分量进行融合，并利用局部相似性融合策略提高融合质量，在EN、MI等定量指标分别高出了2.95%、1.8%。Xu和Ma^[26]提出一种基于CNN无监督的增强医学图像融合网络，同时执行表层和深层的约束，以增强信息保存，在与其他深度学习模型中比较中，该方法在功能性医学图像（PET/SPECT）与其他医学图像融合中能够使功能性图像的色度信息得到增强，也能保证MRI图像的高质量纹理细节。Fu等^[27]提出了一种基于CNN重建的拉普拉斯金字塔和局部能量梯度的融合策略，将增强后的源图像利用拉普拉斯金字塔将其分解，再结合所提出的融合规则进行融合，提高了边缘的融合质量，在分析不同的疾病，包括阿尔茨海默病和脑瘤方面具有更好的性能，结果图像中疾病的细节信息非常清晰。Lahoud和Süsstrunk^[28]提出了一种实时图像融合方法，使用预训练的CNN生成包含来自多模态源信息的单一图像，使用基于从CNN提取的深度特征图的新策略融合图像，该方法产生的融合权值对像素中信息的存在比其绝对值具有更高的敏感性，实时融合的时间为0.006，与其最优的实时技术0.05高出了一个数量级。Fu等^[29]提出了由特征提取器、融合器和重构器组成的多尺度残差金字塔注意网络（MSRPAN）用于医学图像融合，在MRI-CT、MRI-PET和MRI-SPECT图像融合实验中，MSRPAN块数量为3时融合结果为最佳，结构相似性（SSIM）和MI分别达到了0.6260和4.5201。

在上述方法中，CNN仅参与特征融合，通常使用预训练的神经网络来测量医学图像像素的活动水平并生成融合权值图。然后，将生成的权重图与传统的分解和重建策略相结合，实现医学图像融合。由于医学图像的特殊性，基于CNN融合方法的普适性较差。

2.2 生成式对抗网络（GAN）

GAN是深度学习中的一种生成模型，与CNN不同的是，GAN通过对抗学习机制进行训练。它由生成器和辨别器构成，它们之间通过相互博弈学习而产生比较好的输出结果。

由于多模态医学图像的特征信息表示不一样，在融合的时候会出现领域差异的问题，为解决这一问题，目前已经开发许多基于GAN网络框架的融合算法，通过GAN的对抗过程实现生成网络的特征自适应，增强融合的效果。Ma等^[30]利用编码器-单解码器框架的生成器提取图像特征，生成融合图像，通过与鉴别器的对抗学习及对抗损失充分保留源图像的细节信息并修正融合图像，在消融实验中论证有对抗损失函数模型的融合结果图细节更多，效果更好。Ma等^[31]提出了一种端到端的双鉴别器条件生成对抗网络（DDcGAN），利用双鉴别器和单生成器进行对抗博弈，让融合图像充分保留源图像的结构信息，在PET与MRI图像融合实验中，DDcGAN能够在结果图像中同时保留纹理信息、形态信息、颜色信息和功能代谢信息。Huang等^[32]提出一种多生成器多鉴别器条件生成对抗网络（MGMDcGAN）融合不同分辨率的多模态医学图像，可以同时保持PET/SPECT的功能信息及MRI/CT的纹理细节和密集结构信息，不存在光谱失真和信息丢失，能够在源图像中保留最大或近似最大的信息量。Tang等^[33]提出一个基于GAN绿色荧光蛋白图像和相位对比图像融合框架，针对功能性和结构性图像的融合问题具有很高通用性。

上述方法是在对抗性训练过程中实现特征自适应，可以根据不同模态医学图像的特征调整对抗损失，不断地优化生成器和辨别器，从而选择合适的融合权重提高图像融合质量。GAN方法在医学图像融合中虽有不错的效果，但也存在一定挑战。如功能图像的像素强度远大于结构图像，纹理细节容易被功能信息掩盖，在对抗博弈过程中也会常常造成不平衡的结果等。

2.3 其他融合算法

除基于CNN和GAN融合框架，基于自动编码（AE）和Transformer等融合框架同样在图像融合取得了不错的效果。Luo等^[34]受自动编码器网络和对比学习的启发，构建了具有对比约束的多分支编码器来学习多模态图像的共同和私有特征，提出一种基于分离表示学习的图像融合框架（IFSepR）。Ma等^[35]提出了一种基于跨域远程学习和Swin Transformer的新型通用图像融合框架（SwinFusion），设计了注意力引导的跨域模块，实现互补信息和全局交互的充分集成，能在多模态图像融合中将最多的特征和边缘信息从源图像转移到融合的图像中，CT-MRI融合中SSIM指数中仅略低于IFCNN。Vs等^[36]通过借助自我注意机制提出了一种基于Transformer的多尺度融合策略（IFT），该策略同时关注局部和远程信息，训练一个自动编码器来提取多个尺度上的深度特征，通过空间转换器（ST）融合策略融合多尺度特征，在多个基准数据集上的大量实验表明，IFT在熵值和相关系数性能指标分别达到了6.4328，0.9463，优于所比较最优方法。此外，通过消融实验分析证明了ST融合策略的有效性。

上述方法，都是通过训练自动编码器提取特征，在融合阶段通过设计的融合策略进行多尺度特征融合。基于AE的方法的融合策略仍使用的是传统且独立于自编码器的融合策略，无法实现适配联动。基于Transformer的方法在强大的特征提取能力和适配的融合策略下表现出了很好的模态融合能力。但Transformer框架需要大量数据集，医学数据获取又并非易事，种种局限性，直接影响了基于AE和Transformer方法在图像融合领域的研究进展了。

3 讨　论

在所有多模态医学图像融合任务中，基于深度学习的融合方法都是假设预先配准好源图像。然而，由于真实场景中视差、尺度差异等因素，源图像都是未配准的。因此，现有深度学习方法中沿空间像素位置的操作不适用于真实的源图像。尽管现在有许多配准算法可以对源图像进行预配准，但依赖配准算法的预处理可能会导致一定的局限性，例如效率低和对配准精度的依赖。另一方面，由于传感器原理的不同，源图像的分辨率也会有所不同。克服分辨率差异，充分利用不同源图像中的信息实现有效融合是一个挑战。

目前多模态医学图像融合的研究进展大多数还停留在理论阶段，仍需要大量数据对模型进行训练与检验。为使多模态医学图像融合在临床中广泛应用，除了要保证融合结果图像具有源图像的显著信息，还要考虑临床实际中出现的特殊情况（如数据丢失和数据未配对）具有鲁棒性。

随着技术的发展，未来的研究方向将趋向于实时和动态图像的融合，以适应动态变化的解剖结构和生物过程，为医生提供实时的诊断和治疗导航。在肿瘤治疗过程中，动态图像可以提供肿瘤的生长、缩小或转移的变化。将动态图像与其他模态的医学图像进行融合，可以实时监测肿瘤的变化，有利于临床评估决策。另一方面，未来可以重点关注自适应融合算法，使图像融合过程能够根据特定的目标和条件进行调整和优化，即医生可以根据不同疾病特征选择不同的融合策略和参数，生成最有价值的融合图像。

4 总　结

本文对多模态医学图像融合的传统方法和深度学习方法做了详细的综述，可为该领域相关研究人员提供一个全面的参考。目前，基于深度学习的多模态医学图像融合算法仍是主流方法，能够从源数据中自动提取出显著的特征，克服了人工设计的困难，比传统方法在融合精度和视觉感知上都更占优势，结果图像也有更高的结构相似性指数、互信息以及纹理信息。另外，最新的方法进展不但运用了深度学习模型，而且在特征提取阶段结合了传统方法以优化细节，提高融合质量。相信随着深度学习方法的不断发展，多模态医学图像融合的研究将会爆发出更强大的张力，使得融合图像质量达到并符合临床要求。