Infrared and visible aerial image fusion via dynamic environmental brightness perception
-
摘要:
为克服现有红外与可见光图像融合方法在无人机航拍环境下的亮度自适应融合及互补特征挖掘不充分的问题，提出一种基于环境亮度动态感知的红外与可见光航拍图像融合方法。设计环境亮度感知模块，实现可见光特征的动态重组，减轻环境亮度变化对网络学习的干扰。构建高低频信息协同注意力，增强模型对红外图像边缘细节特征的捕捉能力，突出融合图像中的显著目标。设计离散小波交叉注意力块，通过让两种模态交叉关注，实现红外与可见光图像互补特征的高效融合。在公开数据集上使用多种评价指标对所提模型进行实验验证，实验结果表明，所提方法能够在无人机航拍环境下实现红外与可见光图像亮度自适应融合，并在定性和定量评价上取得了较好的融合效果，此外，通过实验证明，所提方法生成的融合图像能有效适用于无人机对地目标检测任务。
Abstract:To address the issues of inadequate brightness-adaptive fusion and insufficient mining of complementary features in existing infrared and visible image fusion methods under UAV aerial conditions, this paper proposes a fusion method based on dynamic environmental brightness perception. First, an environmental brightness perception module is designed to dynamically reorganize visible features, reducing the interference caused by varying illumination conditions on network learning. Second, a cooperative high- and low-frequency attention mechanism is constructed to enhance the model’s ability to capture edge details from infrared images and highlight salient targets in the fused results. Finally, a discrete wavelet cross-attention block is introduced to facilitate efficient fusion of complementary features through cross-modal interaction. Extensive experiments on public datasets with multiple evaluation metrics demonstrate that the proposed method achieves adaptive brightness fusion of infrared and visible aerial images under UAV scenarios, yielding superior qualitative and quantitative results. Moreover, it is verified that the fused images generated by our method can effectively enhance ground target detection in UAV applications.
-
随着无人机技术的快速发展，利用其获取特定场景全面信息的需求变得愈发重要，然而，仅配备可见光或红外传感器的无人机只能获取单方面的信息，无法提供对环境的全面理解。因此，红外与可见光图像融合技术应运而生，作为多模态图像融合的重要分支，红外与可见光图像融合的重点是提取、融合并重建来自不同传感器的跨模态特征[1]。
可见光图像具有分辨率高、纹理细节丰富等优势，符合人眼视觉，但成像质量易受光照和天气影响，导致纹理弱化，进而影响图像融合算法准确性。红外图像通过感知物体热辐射获取信息，受环境亮度制约程度很小；然而，红外传感器通常像元尺寸较大，致使分辨率较低且高频细节缺乏[2]。因此，融合红外与可见光图像的目标在于整合可见光图像蕴含的纹理细节与红外图像中的热辐射目标信息，生成信息更全面、视觉效果更佳的融合图像。如何设计先进的融合方法，已成为过去十几年的持续研究热点。
现有红外与可见光图像融合方法可分为传统方法和深度学习方法两大类[3]。传统方法根据采用的理论可分为基于稀疏字典训练的方法[4]、基于多尺度变换的方法[5]、基于低秩表示学习的方法[6]、基于分割或显著性的方法[7], 以及混合建模方法[8]。传统方法的融合结果在目标辨识度方面有一定提升，但融合规则常采用手工方法设计，难以满足复杂环境融合需求。目前，基于深度学习的红外与可见光图像融合方法成为主流，该类方法主要根据网络结构的不同进行分类[9]。例如基于自编码器(autoencoder，AE)的融合方法DenseFuse[10]、基于卷积神经网络(convolutional neural network，CNN)的融合方法IFCNN[11]、基于Transformer的融合方法CrossFuse[12]以及基于生成对抗网络(generative adversarial network，GAN)的融合方法TC-GAN(texture conditional generative adversarial network)[13]等。这类方法在评价指标以及特征提取能力上优于传统方法，但由于卷积感受野的限制、特征融合方式的单一，进而忽视了多模态特征互补性。此外，红外图像通常分辨率较低，自身边缘细节等高频信息较弱，上述方法常包含下采样以提取低频全局信息，这一过程又会主动损失高频细节，难以突出目标边缘信息。
近年来，涌现出一批新的红外与可见光图像融合思路，例如首个利用语义驱动的图像融合方法SeAFusion[14]，该方法在融合网络后级联语义分割网络，通过梯度反向传播为融合网络提供语义需求反馈；同样，Liu等[15]用目标检测网络代替分割网络，提出TarDAL(target-aware dual adversarial learning)，从目标检测的角度约束融合网络保留丰富的语义信息。Gao等[16]提出一种新的多层级跨模态融合网络用于无人机航拍图像融合，该方法有效提高了后续无人机目标检测的性能。Li等[17]提出了CMF(confidence measurement fusion)模块，通过评估红外与可见光模态间的交互置信度，刻画模态特征在当前环境下的可靠性，并据此自适应地调整多模态特征的融合比例，为动态融合提供了重要启示。Tang等[18]通过弱光增强的方式解决昏暗环境下的图像融合。然而，上述方法大都选择性提取亮度稳定状态下的目标与纹理细节特征进行图像融合，未考虑光照波动状态下的亮度自适应图像融合。程一航等[2]通过亮度解耦等方法，有效解决了亮度自适应图像融合问题，但将可见光图像转换为 HSV(Hue, Saturation, Value) 空间可能会导致信息丢失，缺乏对可见光特征的动态处理。王爱侠等[9]通过光感知计算与红外特征分层引导，提出一种夜间恶劣光照下的自适应图像融合方法，但未考虑环境亮度对模态特征质量的影响。Cao等[19]提出一种包含局部到全局专家的亮度自适应融合网络MoE-Fusion，为图像动态融合领域提供了新的解决方案，但专家数量为经验性选择，会影响模型在不同场景下的泛化能力。
为解决上述问题，本文提出一种基于环境亮度感知的红外与可见光航拍图像融合方法。主要工作体现在以下4个方面：
1) 针对受亮度变化影响极大的可见光图像特征，设计了环境亮度感知模块(environment brightness perception module，EBPM)。对可见光特征进行亮度相关通道归一化，结合模态特征质量评估，重组可见光特征通道，消除亮度变化对可见光特征与模型学习的干扰。
2) 为增强模型对红外图像的特征提取能力，设计高低频信息协同注意力(high and low frequency information coordinates attention，HLIC)。在有效提取其边缘特征信息的同时，保留低频全局信息，使融合结果突出显著目标。
3) 为充分挖掘并利用红外与可见光成像互补性，构建离散小波交叉注意力块(discrete wavelet cross-attention block，DWTC)。通过让两种模态交叉学习，结合离散小波公共查询，实现红外与可见光特征的高效融合。
4) 通过实验验证，本文方法的融合结果在环境亮度变化下稳定保留了纹理与边缘细节，并在定性和定量评价上取得了较好的融合效果，实现了在无人机航拍环境下的亮度自适应融合，此外，本文还通过下游目标检测实验证明，所提方法生成的融合图像能有效适用于无人机对地目标检测任务。
1. 本文方法
本章首先介绍网络模型的整体结构。随后将详细解释所提出的3个核心模块：环境亮度感知模块、高低频信息协同注意力和离散小波交叉注意力块。在本章最后，将阐述网络训练涉及的损失函数。
1.1 网络结构概述
为应对无人机航拍环境下的亮度自适应图像融合，本文提出了基于环境亮度动态感知的红外与可见光航拍图像融合网络。网络的总体框架如图1所示。
图 1 基于环境亮度动态感知的红外与可见光航拍图像融合网络Fig. 1 Infrared and visible aerial image fusion network based on ambient brightness perception
下载:
全尺寸图片
对于已配准好的红外与可见光图像对，利用ResNet34[20]骨干网络对其进行编码，得到不同层级的红外与可见光模态特征集，将包含丰富语义信息与纹理细节的多层级特征进行环境亮度自适应调整以应对环境亮度干扰。首先，衡量当前环境下可见光特征在空间维度上的亮度相关成分，评估源可见光特征质量，基于此进行通道二元化筛选，最终实现可见光特征的重组，减轻环境亮度对可见光图像的干扰，实现网络的环境亮度感知。其次，为增强网络对红外图像的高频细节捕捉能力，同时保留低频信息，本文通过多维度Scharr核与多尺度空间金字塔(spatial pyramid pooling，SPP)[21]分别提取高低频特征，通过全局注意力实现二者的信息协同，实现对红外图像的有效特征提取。在特征融合方面，为充分挖掘利用多模态特征的互补信息，本文设计了离散小波交叉注意力块，对红外与可见光特征分别计算其键值对，通过离散小波变换与逆变换得到丰富的层级频域特征共用查询，并基于此指导红外与可见光特征交叉关注，实现高效的互补特征融合。在网络结构的最后，通过解码器完成融合图像的重建。
1.2 环境亮度感知模块
在无人机航拍场景中，环境亮度变化是影响红外与可见光图像融合稳定性的关键因素之一。受光照条件影响，可见光图像在强光、逆光或昏暗环境下容易出现亮度波动、对比度下降以及纹理细节退化等问题，从而导致其特征质量在不同场景下存在较大不确定性。相比之下，红外图像基于目标热辐射成像，其结构信息对环境亮度变化不敏感，在不同光照条件下具有较为稳定的表现。因此，如何在融合过程中准确感知环境亮度对可见光特征的影响，并据此动态调整可见光特征的参与方式，是实现亮度自适应融合的关键问题。
为此，本文提出EBPM，其核心思想是：在红外特征的稳定参考约束下，评估当前环境亮度条件下可见光特征的可靠性，并对可见光特征通道进行动态重组，从而减弱亮度变化对融合过程的干扰。如图2所示，EBPM主要由3个阶段构成：可见光特征亮度归一化、跨模态特征质量差异评估及可见光特征动态重组。
图 2 环境亮度感知模块结构Fig. 2 Structure of ambient brightness perception module下载:
全尺寸图片
首先，为降低环境亮度变化对可见光特征分布的直接影响，本文对可见光特征Fvi进行通道级亮度归一化处理。具体而言，分别计算每个特征通道在空间维度上的均值χb,c与标准差σb,c，计算公式分别为
$$ {\boldsymbol{\chi }}_{b,c}=\frac{1}{H\times W}\sum_{h,w}{\boldsymbol{F}}_{\text{vi}} $$ $$ {\boldsymbol{\sigma }}_{b,c}=\sqrt{\frac{1}{H\times W}\sum _{h,w}{\left({\boldsymbol{F}}_{\text{vi}}-{\boldsymbol{\chi }}_{b,c}\right)}^{2}} $$ 式中：b∈[1,B]，c∈[1,C]，h与w分别为特征高度维度索引与宽度维度索引，B与C分别代表样本数量与特征通道数。随后，利用均值与标准差对可见光特征进行归一化，得到一组亮度归一化后的特征$\boldsymbol{F}_{\text{vi}}^{*} $，公式表示为
$$ _{ } \boldsymbol{F}_{\text{vi}}^{*}=\frac{{\boldsymbol{F}}_{\text{vi}}-{\boldsymbol{\chi }}_{b,c}}{{\boldsymbol{\sigma }}_{b,c}} $$ 经过该处理后，可见光特征在不同环境亮度条件下具有更加稳定的分布形式，更加侧重于反映结构与纹理信息，而非亮度强弱本身。然而，仅通过亮度归一化并不能判断当前环境下应优先保留原始可见光特征，还是采用归一化后的特征。
因此，受CMF[17]启发，本文进一步引入红外特征Fir作为亮度无关的参考信息，对当前环境下2种模态特征的质量差异进行评估。具体地，采用余弦相似度在通道级别衡量可见光特征与红外特征在空间结构分布上的一致性，其公式化表达为
$$ _{ } {\boldsymbol{S}}_{b,c}=\frac{\displaystyle\sum_{h,w}{\boldsymbol{F}}_{\text{vi}}\cdot {\boldsymbol{F}}_{\text{ir}}}{\sqrt{\displaystyle\sum_{h,w}{\left({\boldsymbol{F}}_{\text{vi}}\right)}^{2}}\cdot \sqrt{\displaystyle\sum_{h,w}{\left({\boldsymbol{F}}_{\text{ir}}\right)}^{2}}} $$ 式中Sb,c∈[0,1]。该计算结果可被视为当前环境亮度条件下可见光特征质量的间接度量：当环境亮度较高时，此时可见光图像的纹理与结构信息较为完整，Sb,c值更高；而在低亮度环境下，可见光图像纹理退化，Sb,c值相应降低。
由于离散的Sb,c值难以直接用于稳定的通道选择，本文进一步通过二值化对Sb,c结果进行二值化映射，生成位于[0,1]区间内的通道选择权重，并据此实现可见光特征的动态重组，公式表示为
$$ _{ } \omega =W\left({\boldsymbol{F}}_{\text{vi,s}},{S}_{b,c}\right)=\frac{{\boldsymbol{F}}_{\text{vi}}^{2}+\lambda \cdot {\boldsymbol{S}}_{b,c}}{{\boldsymbol{F}}_{\text{vi}}^{2}+\lambda \cdot {\boldsymbol{S}}_{b,c}+e} $$ 式中：Fvi,s为经过卷积与池化后的中间特征，λ为权重系数，e为极小正数。当环境亮度较强，Sb,c值较高时，二进制权重ω更倾向于取1，此时模块倾向于选用亮度归一化后的可见光特征，以消除亮度波动带来的干扰，反之，则选择亮度影响较弱的源可见光特征通道，保留其稳定的结构和纹理信息。重组Fvi的过程可表示为
$$ _{ } {\boldsymbol{F}}_{\text{vi}}=\omega \odot \boldsymbol{F}_{\text{vi}}^{*}+\left(1-\omega \right)\odot {\boldsymbol{F}}_{\text{vi}} $$ 式中$ \odot $为逐元素相乘操作。基于二进制通道选择的可见光特征动态重组不仅消除了可见光特征中与环境亮度相关的成分，还通过动态调整特征通道的方式，保留了源可见光图像中的结构表示，确保无论是在亮度动态变化的环境中，还是在较暗的环境中，最终融合图像都能有效地保留关键的纹理和目标信息，实现了网络的环境亮度自适应。
1.3 高低频信息协同注意力
为增强融合网络对红外特征高频细节捕捉能力并保留低频上下文信息，突出融合图像中的显著目标信息，本文提出了高低频信息协同注意力，其结构如图3所示。具体来说，对于输入的红外特征Fir$ \in {\mathbb{R}}^{\mathrm{B }\times C\times H\times W} $，首先通过1×1卷积对其进行通道重组，得到嵌入特征$ \boldsymbol{F}_{{\mathrm{ir}}}^{\prime} $$ \in {\mathbb{R}}^{\mathrm{B }\times {{C}^{\prime}}\times H\times W} $，以丰富原特征的表达维度。
图 3 高低频协同注意力结构Fig. 3 High and low frequency collaborative attention structure下载:
全尺寸图片
在图3中，本文采用多尺度空间金字塔分支通过不同尺度的池化结构对$ \boldsymbol{F}_{{\mathrm{ir}}}^{\prime} $进行聚合，该分支的输出作为特征的低频信息。多尺度空间金字塔分支主要用于提取目标的整体结构和上下文信息，对池化结果经过卷积以及双线性插值恢复，避免了单一尺度池化导致的低频信息丢失，有效保留全面的低频特征。整个过程可表示为
$$ _{ } {\boldsymbol{K}}_{\text{glo}}=\text{Concat}{\left(\text{Interp}\left({\text{Pool}}_{i}\left(\boldsymbol{F}_{\text{ir}}^{\prime}\right)\right)\right)}_{i=1,2,3} $$ 式中：${\boldsymbol{K}}_{\text{glo}} \in {\mathbb{R}}^{\mathrm{B }\times \hat{C}\times H\times W} $表示为拼接后的低频信息，$ {\text{Pool}}_{i}\left(\cdot \right) $代表不同尺度的全局池化，$ \text{Interp}\left(\cdot \right) $代表双线性插值恢复操作。另一方面，为弥补注意力机制对局部细节建模能力有限的问题，本文引入Scharr滤波器分支对特征进行提取。具体而言，Scharr滤波器分支由水平方向和垂直方向的Scharr滤波器构成，其核大小均为3×3，用于显式提取特征中的边缘和梯度信息。该设计能够在不引入额外可学习参数的前提下，有效增强目标轮廓与结构边界的表达能力，并提升网络对细节信息的感知能力。具体表示为
$$ _{ } {\boldsymbol{K}}_{{\mathrm{loc}}}=\text{Conv}\left(\sqrt{{\left(\text{Conv}\left({\boldsymbol{F}}_{\text{ir}},{\boldsymbol{S}}_{\text{x}}\right)\right)}^{2}+{\left(\text{Conv}\left({\boldsymbol{F}}_{\text{ir}},{\boldsymbol{S}}_{\text{y}}\right)\right)}^{2}}\right) $$ 式中：$ {\boldsymbol{K}}_{\text{loc}}\in {\mathbb{R}}^{\mathrm{B }\times \hat{C}\times H\times W} $表示为融合后的高频信息，Sx和Sy分别表示水平和垂直Scharr核。将高频信息Kloc与低频信息Kglo拼接后调整空间维度大小，与Fir进行注意力计算，以此强化红外特征内部的关联协同性，使网络同时具备全局结构建模能力与局部细节刻画能力，从而提高整体特征表示的鲁棒性，使融合结果蕴含丰富边缘信息，突出显著目标。最终将注意力图与源红外特征进行拼接并通过3×3卷积，得到高低频信息协同增强后的红外特征$ \boldsymbol{F}_{\text{ir}}^{*} $，其计算过程表示为
$$ \boldsymbol{K}=\boldsymbol{V}=\text{Conv}\left(\text{Concat}\left({\boldsymbol{K}}_{\text{loc}},{\boldsymbol{K}}_{\text{glo}}\right)\right) $$ $$ \boldsymbol{F}_{\text{ir}}'= \text{Conv}\left(\text{Concat}(\text{Softmax}\left(\text{Conv}\left({\boldsymbol{F}}_{\text{ir}}\right)\cdot {\boldsymbol{K}}^{\text{T}}\right)\boldsymbol{V},{\boldsymbol{F}}_{\text{ir}})\right) $$ 1.4 离散小波交叉注意力块
红外与可见光模态特征具备极强的互补性。本文就如何有效挖掘红外与可见光模态间互补信息特征，提出了离散小波交叉注意力块，其详细结构如图4所示。
图 4 离散小波交叉注意力块结构Fig. 4 Discrete wavelet cross-attention block structure下载:
全尺寸图片
受交叉注意力机制[22]的启发，本方法分别提取红外与可见光特征键值对，通过离散小波正逆变换得到公共查询，实现同时对2种差异特征的关联，基于此完成互补特征交叉学习。在交叉注意力机制中，公共查询向量Q的质量直接影响其对不同模态特征的学习效果，进而影响融合结果的清晰度与稳定性。在传统方法中，公共查询Q通常直接由CNN或自编码器从特征中学习得到，该类方法的结构特性，会导致查询向量更偏向整体语义而忽略局部结构细节。本文通过离散小波变换与卷积联合构建公共查询，更好地保留源图像中的纹理与边缘信息，为后续的交叉学习提供了更稳定的源图特征参考。具体而言，对于输入的可见光特征$ {\boldsymbol{F}}_{\text{vi}}\in {\mathbb{R}}^{\mathrm{B }\times C\times H\times W} $和红外特征$ {\boldsymbol{F}}_{\text{ir}}\in {\mathbb{R}}^{\mathrm{B }\times C\times H\times W} $，经过多层卷积处理以初步保留整体的纹理细节与边缘信息特征。传统的并通过离散小波变换整合图像核心信息，得到丰富的层级频域特征，该过程可表示为
$$ _{ } {\boldsymbol{F}}_{\text{D}}=\text{DWT}\left(\text{Conv}\left(\text{Conv}\left(\text{Concat(}{\boldsymbol{F}}_{\text{vi}},{\boldsymbol{F}}_{\text{ir}})\right)\right)\right) $$ 式中FD是经过离散小波变换得到丰富的多层级频域特征。随后，对其进行权重分配与小波逆变换，最后完成空间维度重塑，得到了富含源图像互补特征信息的查询结果Q，该过程可表示为
$$ _{ } \boldsymbol{Q}=\text{Reshape}\left(\text{IWT}\left(\text{Conv}\left(\text{Conv}\left({\boldsymbol{F}}_{\text{D}}\right)\right)\right)\right) $$ 式中$ \boldsymbol{Q}\in {\mathbb{R}}^{\mathrm{B }\times C\times \left(H\times W\right)} $。对于原始输入的可见光与红外特征，通过一系列通道特征融合与模态内聚合，得到各自键值对，并通过之前得到的查询结果，得到各自的注意关注图，该过程可表示为
$$ _{ } {\boldsymbol{K}}_{j}={\boldsymbol{V}}_{j}=\text{PointConv}\left(\text{DepthConv}\left({\boldsymbol{F}}_{j}\right)\right) $$ $$ {\boldsymbol{A}}_{j}=\text{Softmax}\left(\boldsymbol{Q}{\boldsymbol{K}}_{j}^{\text{T}}\right) $$ 式中j用于区分红外特征与可见光特征，当j=vi时，此时Kj、Vj和Aj分别表示为可见光特征的键值对和注意力图。随后，将模态各自的注意图与值相乘，得到具有全局交互信息的特征，将该特征与另一模态原始特征进行残差拼接，得到互补特征Firatt与Fviatt，最终通过拼接得到红外与可见光特征交叉融合特征Ffusion，该过程表示为
$$ _{ } {\boldsymbol{F}}_{\text{fusion}}=\text{Conv}\left(\text{Concat}\left({\boldsymbol{F}}_{\text{viatt}},{\boldsymbol{F}}_{\text{iratt}}\right)\right) $$ 通过这种特征交叉融合机制，充分提升了网络在特征融合阶段对2种模态特有信息的挖掘能力，实现红外与可见光特征的高效融合，使融合结果蕴含丰富纹理细节与热辐射信息。
1.5 损失函数
为提高融合网络在亮度变化环境下的定性主观感知与定量评估性能，本文通过环境感知损失、细节纹理损失以及模态相关性损失形成联合损失函数，指导融合网络生成高质量的环境自适应融合图像，其表达式为
$$ _{ } {L}_{\text{all}}={L}_{\text{env}}+{L}_{\text{tex}}+{L}_{\text{sdmc}} $$ 式中：Lenv代表环境感知损失，Ltex为引入的细节纹理损失，Lsdmc为模态相关性损失。为了增强融合结果中环境的可理解性，约束自适应环境感知门控，本文定义环境感知损失Lenv为
$$ _{ } {L}_{\text{env}}=\frac{{\left|\left|{\boldsymbol{I}}_{\text{vi}}-{\boldsymbol{I}}_{\text{ir}}\right|\right|}_{2}}{{\left|\left|{\boldsymbol{I}}_{\text{vi}}\right|\right|}_{2}+{\left|\left|{\boldsymbol{I}}_{\text{ir}}\right|\right|}_{2}+e} $$ 式中：Ivi和Iir分别代表可见光与红外图像，$ {\left|\left|\cdot \right|\right|}_{2} $表示$ {L}_{2} $范数计算。为了使融合结果保留有效的纹理结构细节与边缘信息，本文引入细节纹理损失Ltex[23]，表达式为
$$ _{ } {L}_{\text{tex}}=\frac{1}{HW}{\left|\left|\nabla {\boldsymbol{I}}_{\text{f}}-\text{max}\left(\left| \nabla {\boldsymbol{I}}_{\text{vi}}\right| ,\left| \nabla {\boldsymbol{I}}_{\text{ir}}\right| \right)\right|\right|}_{1} $$ 式中：If表示融合结果；$ {\left|\left|\cdot \right|\right|}_{1} $表示L1范数计算；$ \left| \cdot \right| $表示取绝对值操作；$ \nabla $代表图像的Sobel梯度算子，计算图像在$ x $和$ y $各自方向上的梯度。为了突出2种模态与融合图像相关性的协同约束，有效保留2种模态的互补信息，本文定义了模态相关性损失Lsdmc，其表达式为
$$ _{ } {L}_{\text{sdmc}}=\alpha -\left(\text{corr}\left({\boldsymbol{I}}_{\text{f}},{\boldsymbol{I}}_{\text{ir}}\right)+{\mathrm{corr}}\left({\boldsymbol{I}}_{\text{f}},{\boldsymbol{I}}_{\text{vi}}\right)\right) $$ 式中：$ \alpha $为可学习参数；If表示融合结果；$ \text{corr}\left(\cdot \right) $表示皮尔逊相关系数，用来衡量融合结果与单模态源图像之间的线性相关度，$ \text{corr}\left({\boldsymbol{I}}_{\text{f}},{\boldsymbol{I}}_{\text{j}}\right) $的具体计算过程为
$$ _{ } \text{corr}\left({\boldsymbol{I}}_{\text{f}},{\boldsymbol{I}}_{\text{j}}\right)=\frac{\displaystyle\sum \limits_{1}^{n}\left({\boldsymbol{I}}_{\text{f}}-\overline{{\boldsymbol{I}}_{\text{f}}}\right)\left({\boldsymbol{I}}_{\text{j}}-\overline{{\boldsymbol{I}}_{\text{j}}}\right)}{\sqrt{\displaystyle\sum \limits_{1}^{n}{\left({\boldsymbol{I}}_{\text{f}}-\overline{{\boldsymbol{I}}_{\text{f}}}\right)}^{2}}\sqrt{\displaystyle\sum \limits_{1}^{n}{\left({\boldsymbol{I}}_{\text{j}}-\overline{{\boldsymbol{I}}_{\text{j}}}\right)}^{2}}} $$ 式中：Ij代表红外图像或可见光图像，$ \overline{{\boldsymbol{I}}_{\text{f}}} $代表融合图像向量均值，$ n $为向量长度。
2. 实验结果与分析
本章在公开数据集上评估所提方法，并与主流先进的红外与可见光图像融合方法进行对比。首先，说明并提供实验数据集、训练参数细节以及评估指标。其次，本章从定性与定量2个维度，在无人机公开数据集上验证融合性能，并进行了面向无人机对地任务的目标检测性能评估。最后，为验证本文所提方法的有效性，本文进行了消融实验。
2.1 数据集与评价指标
2.1.1 数据集
本文在无人机全时红外与可见光融合检测数据集RGBT-Tiny[24]上进行实验评估。RGBT-Tiny数据集是由国防科技大学创建的大型红外−可见光双模态数据集，该数据集包含115对序列、
93000 帧，以及120万个手动标注，涵盖7类目标和8种多样场景，主要用于解决多变亮度下的可见光与热红外图像融合、检测和跟踪问题。数据集创建过程中，使用了DJI Mavic 2无人机进行数据采集，并通过相机校准和同质变换确保图像对齐。为了更客观地验证本文所提亮度动态融合的有效性，后续的部分实验将测试数据集按场景亮度高低进行了划分。具体而言，采用可见光图像的平均亮度作为划分依据：将可见光图像转换为HSV颜色空间，并计算其V通道的平均值作为亮度均值指标。根据该指标对测试样本进行排序，并将其划分为低亮度与高亮度2类亮度场景。2.1.2 评估指标
本文从定性和定量2个方面评估各方法的性能。定性评估是一种主观评估方式，其依赖于人的主观视觉感受，好的融合结果应同时包含红外图像的显著对比度和可见光图像的丰富纹理；定量评估则通过一些统计指标来客观评估融合性能。本文选用了6个在图像融合领域被广泛使用的定量指标，如视觉信息保真度(visual information fidelity，VIF)[25]、信息熵(entropy，EN)[26]、标准差(standard deviation，SD)[27]、空间频率(spatial frequency，SF)[28]、特征互信息(feature mutual information，FMI)[29]、差异信息和(sum of correlation differ-ences，SCD)[30]。VIF值越高，意味着融合结果越符合人类视觉感知；EN值代表图像中包含的信息量，值越高，意味着融合图像包含丰富信息；SD反应图像的对比度及分布，SD值越高代表融合结果具有更好的对比度；SF揭示融合图像的梯度信息，SF值越高代表图像包含丰富的边缘和纹理细节；FMI度量特征传输程度，FMI值越高意味着更多的特征转移到了融合图像中；SCD用于表征融合算法优劣，SCD值越高代表融合图像包含源图像中的信息越丰富。
2.2 实验环境与参数设置
为了验证本文所提图像融合方法的性能，在无人机全时红外与可见光融合数据集RGBT-Tiny上进行实验。所有实验均在NVIDIA GeForce RTX 3060上实施。在网络训练过程中，将输入图像归一化到[0,1]的范围，应用随机梯度下降(stochastic gradient descent，SGD)来更新网络参数，初始学习率设置为0.001，批处理大小设置为16，训练时间为300个epoch。设置二值化函数中的$ \lambda $=0.1；模态相关性损失Lsdmc中$ \alpha $取2。
2.3 对比实验
2.3.1 定性评估
图5给出了本文方法在RGBT-Tiny数据集中2个典型图像对的直观定性评估结果以展示所提方法在亮度变换的航拍环境下的亮度自适应融合优势。图中每2行代表1种环境亮度状态。具体来说，在第1种黄昏亮度环境状态下，从图5(e)、(c)的蓝色框部分可以看出，IFCNN等方法存在房屋纹理细节模糊等问题，说明该融合方法对红外与可见光模态互补特征信息的提取学习能力较弱，相比之下本文的融合结果呈现出更清晰的纹理与目标细节，同时保留了一定的颜色细节，保证融合图像的主观视觉质量，如图5(h)中蓝色框部分。
图 5 各种融合算法在RGBT-Tiny数据集上的定性结果Fig. 5 Qualitative results of various fusion algorithms on the RGBT-Tiny datasets下载:
全尺寸图片
表 1 RGBT-Tiny数据集上对比试验的定量结果Table 1 Quantitative results of comparative experiments on the RGBT-Tiny dataset模型 年份 EN SD VIF SF FMI SCD FusionGAN[31] 2018 5.785 40.530 0.632 7.075 1.047 1.419 IFCNN[11] 2019 5.974 36.528 0.493 7.128 0.904 1.398 U2Fusion[32] 2020 4.968 44.837 0.584 10.147 0.963 1.428 Coconet[33] 2023 5.910 43.940 0.739 10.963 1.075 1.693 PSFusion[23] 2023 6.539 46.816 0.954 11.267 1.167 1.668 CoMofusion[34] 2024 6.544 45.962 0.738 11.379 1.098 1.671 CrossFuse[12] 2025 6.576 45.821 0.817 11.561 1.170 1.685 本文方法 — 6.647 46.367 0.983 12.493 1.239 1.713 注：加粗表示该结果在本列效果最好。 在第2种同场景视角微变的昏暗亮度环境状态下，可见光图像存在成像模糊且纹理信息不均匀等问题，这使得大多数融合方法很难在此类场景中产生令人满意的结果，本文提方法展现了基于环境亮度感知的融合优势。从图5(l)、(m)、(o)红色框部分可以看到，在面对环境质量差的情况下，该类图像融合方法对源可见光图像的纹理细节利用不够，部分方法产生了过渡曝光问题。相比之下，本文的自适应融合方法在差环境下依旧保留了红外与可见光图像的互补特征，有效减轻了环境亮度对图像融合的干扰，从而获得具有高信息的融合图像。
2.3.2 定量评估
为了更加客观地评估本文所提方法在RGBT-Tiny数据集上的性能，同时防止个别融合图像特例对定量评估的影响，本文选取了30张具有代表性的融合图像进行定量分析。所选样本的源可见光图像在环境亮度上具有较大差异，能够体现不同环境亮度条件下融合方法的性能表现。与其他融合方法的各项评估指标对比结果如表1所示。可以看出本文所提方法在EN、VIF、SF、FMI、SCD5项指标上实现了最佳性能，在SD方面获得了次佳性能，这表明，本文所提的融合方法有效保留了源红外与可见光图像各自的互补信息，总之，本文的方法在确保足够的热辐射信息的同时，保留了丰富的目标与纹理细节。
2.3.3 计算效率分析
考虑到本文方法面向无人机航拍应用场景，对计算资源和实时性具有较高要求，本文进一步对近两年融合效果较为突出的融合方法进行计算效率对比分析。实验选取RGBT-Tiny数据集中环境亮度差异较大的40张图像对作为测试样本，评价指标分别为FPS、Params和FLOPs，分别表示推理速度、模型参数量和浮点运算次数。所有方法均在相同硬件环境和输入条件下测试，评估结果如表2所示。
表 2 各模型在测试数据上的计算效率对比Table 2 Comparison of computational efficiency of different models on test data实验结果表明，在保持较高融合性能的同时，本文方法在计算效率方面具有明显优势。具体而言，本文方法在Params和FLOPs 2个指标上均取得了最小值，表明模型整体结构更加紧凑、对硬件算力的需求更低；同时，其推理速度约为43帧/s，在所对比方法中表现最优。上述效率优势主要得益于本文对可见光特征采用通道级动态处理策略，避免了复杂的空间注意力建模，从而有效控制了整体计算复杂度。综上所述，在当前实验配置下，本文方法能够在连续视频流中实时完成融合推理，验证了其在实际无人机平台部署中的可行性与实用价值。
2.4 消融实验
为验证本文方法中提出的各模块的有效性，本文在RGBT-Tiny数据集上进行了消融实验。在高、低2种亮度环境下共设置3组实验，从定性和定量2种角度对本文所提模块有效性进行评估。定性评估结果如图6所示。
图 6 强亮度环境下消融实验定性对比结果Fig. 6 Qualitative comparison results of ablation experiments下载:
全尺寸图片
对比结果显示，由于源可见光图像受不同程度的亮度干扰，在缺少EBPM的情况下，融合图像缺乏纹理细节与语义边缘信息；在加入EBPM后，得益于通道级亮度动态选择，削弱了亮度对网络融合的影响，融合后的图片保留了稳定的源可见光纹理细节。同时，由于仅去除了HLIC，第4列的融合结果存在车辆等红外目标边界不清晰问题；仅去除DWTC的情况下，第5列的融合结果虽然目标边缘特征相对明显，但出现了可见光信息对比度弱化问题，这说明此时网络未充分利用2种模态的互补信息进行特征融合。本文所提方法融合效果在2种亮度环境干扰情况下，整体保持了较高的边缘清晰度，在可见光纹理细节不均匀情况下展现了亮度自适应融合的稳定性，很好地保留了红外与可见光图像的互补特征，融合效果极佳，更符合人眼视觉感知。
为进一步客观验证本文所提各模块的有效性，仍使用对比实验中的客观指标进行定量分析，结果如表3所示。可以看出，相较于去除环境亮度感知模块，本文方法在各项指标均有提升，尤其是在SD方面提升了5.44%，表明模块有效保留了当前光照不均匀环境下的纹理细节；相较于去除小波交叉注意力块，本文方法在EN、SD、FMI指标上分别明显提升了0.457%、3.236%、0.449%，这说明该模块能够充分利用源图像的互补信息，显著提升融合图像的整体质量；相较于去除高低频信息协同注意力模块，本文方法在SF指标上显著提升了2.717%。进一步证明了该模块能有效保留目标边缘细节，提升融合图像的梯度信息。
表 3 消融实验定量对比结果Table 3 Quantitative comparison of ablation experiments模型 EN SD VIF SF FMI SCD HLIC+DWTC 5.695 39.394 0.910 7.315 1.258 1.385 EBPM+DWTC 6.118 44.029 0.931 7.036 1.283 1.492 EBPM+HLIC 5.830 41.598 0.916 9.180 0.922 1.487 EBPM+HLIC+DWTC 6.287 44.834 0.937 9.753 1.371 1.510 注：加粗表示该结果在本列效果最好。 2.5 基于融合图像的目标检测实验
无人机对地检测作为一项通用且关键的高级视觉任务，检测性能能够很好地反映航拍融合图像中所蕴含的目标语义信息。为验证所提方法的融合结果能够有效支撑无人机对地检测任务，本文采用目前先进的预训练目标检测器YOLOv12[35]在RGBT-Tiny数据集上进行目标检测实验，该数据集不仅提供了配准的红外与可见光图像对，还包含多尺度的目标边界框标注信息。基于此，本节分别从定性与定量2个维度分别对源可见光图像、源红外图像和融合图像的目标检测效果进行分亮度场景评估。
2.5.1 定性评估
本文提供了可视化示例，从定性角度来说明所提方法的融合结果能够有效支撑无人机航拍目标检测任务，并选出相对具有代表性的场景检测结果，如图7所示。在该场景下，受光照条件干扰，检测器只能从可见光图像中检测出光照正常区域下的目标车辆，即便如此，仍受算法及环境影响呈现低目标置信度。从图7(c)、(d)可以看到，该方法的融合结果的目标边缘信息锐化不明显，干扰了检测器对显著目标的判别。相反，本文所提方法在保留了丰富纹理细节的情况下，有明显的高频信息，因此，检测器可以从融合结果中检测出相对较多的物体，并且具有所有方法中的最高置信度。值得注意的是，在可视化结果中，包括本文方法在内的所有方法，均出现了一定程度上的漏检现象，这可能与本文选用的检测器性能有关。
图 7 RGBT-Tiny数据集中红外、可见光和融合图像的目标检测结果Fig. 7 Object detection results of infrared, visible and fusion images in the RGBT-Tiny dataset下载:
全尺寸图片
2.5.2 定量评估
本文还从定量角度证明了所提亮度动态融合后的图像能有效支撑亮度变化的无人机目标检测任务。将源红外图像、源可见光图像以及各融合方法生成的融合图像在分别输入YOLOv12检测器，按场景亮度高低划分为两组检测结果，每组亮度场景测试数据均为65张。评价指标均采用平均精度(mean average precision，mAP)作为性能评估指标。评估结果如表4所示(其中mAP@0.5表示IoU阈值为0.5时的mAP值)。
表 4 高、低亮度场景下的目标检测性能Table 4 Object detection performance in low-light scenes方法 船 车 行人 公交车 mAP@0.5 场景 Infrared 0.493 0.539 0.490 0.479 0.500 低亮度 Visible 0.339 0.419 0.379 0.333 0.367 IFCNN[11] 0.498 0.542 0.493 0.482 0.503 FusionGAN[31] 0.496 0.536 0.502 0.480 0.503 U2Fusion[32] 0.509 0.544 0.536 0.513 0.525 CocoNet33] 0.513 0.549 0.532 0.501 0.523 PSFusion[23] 0.521 0.561 0.579 0.519 0.545 CoMofusion[34] 0.511 0.553 0.573 0.510 0.536 CrossFuse[12] 0.514 0.557 0.580 0.513 0.541 本文方法 0.542 0.577 0.601 0.673 0.598 Infrared 0.502 0.541 0.479 0.273 0.448 高亮度 Visible 0.487 0.402 0.258 0.280 0.356 IFCNN[11] 0.519 0.546 0.481 0.291 0.459 FusionGAN[31] 0.518 0.544 0.484 0.281 0.456 U2Fusion[32] 0.525 0.550 0.483 0.274 0.458 CocoNet33] 0.519 0.549 0.498 0.279 0.461 PSFusion[23] 0.541 0.555 0.549 0.391 0.509 CoMofusion[34] 0.538 0.548 0.519 0.313 0.479 CrossFuse[12] 0.547 0.552 0.534 0.337 0.492 本文方法 0.598 0.587 0.591 0.473 0.562 注：加粗表示该结果在本列效果最好。 从表4中可以看出，基于本文融合图像的目标检测性能在各检测指标上均达到了最优水平。具体而言，在2种亮度环境下，源可见光图像目标信息弱化，检测效果不佳，与其他融合方法相比，基于亮度动态融合图像的平均检测精度最高，这说明所提方法更能充分融合红外与可见光的互补特征，保留更多有用信息。值得注意的是，本文所提方法在车类检测效果的领先并不突出，但在具体的公交车类别的检测精度上远高于其他方法，这说明所提方法更好地平衡了亮度干扰，包含更丰富的可见光公交车语义特征。综上所述，本文所提方法生成的融合图像能够有效提升航拍环境下的检测效果。
3. 结束语
本文提出了一种基于环境亮度动态感知的红外与可见光航拍图像融合方法。该方法通过构建环境亮度感知模块，有效减少了环境亮度对可见光图像的干扰；同时，通过高低频信息协同注意力提升了网络对红外高频特征的捕捉能力，最后，通过离散小波交叉注意力块充分挖掘了红外与可见光图像间的交互特征。实验结果表明，本文方法在RGBT-Tiny数据集上的融合性能优于主流方法，尤其在环境亮度变化的无人机航拍场景下，仍能保持融合的稳定性，实现了高质量的亮度自适应图像融合。同时，在RGBT-Tiny数据集上的目标检测实验进一步证明，本文方法的融合结果能够有效促进无人机对地目标检测任务，其平均检测精度显著高于其他方法。消融实验验证了所提3个模块的有效性。然而，由于数据集中包含大量小目标对象，本文方法及其他对比方法的融合结果在检测时均存在一定程度的漏检现象，未来工作将侧重于探索基于多模态融合的航拍小目标检测方向的研究，并提升其在实时应用场景中的竞争力。
-
图 1 基于环境亮度动态感知的红外与可见光航拍图像融合网络
Fig. 1 Infrared and visible aerial image fusion network based on ambient brightness perception
下载:
全尺寸图片
图 2 环境亮度感知模块结构
Fig. 2 Structure of ambient brightness perception module
下载:
全尺寸图片
图 3 高低频协同注意力结构
Fig. 3 High and low frequency collaborative attention structure
下载:
全尺寸图片
图 4 离散小波交叉注意力块结构
Fig. 4 Discrete wavelet cross-attention block structure
下载:
全尺寸图片
图 5 各种融合算法在RGBT-Tiny数据集上的定性结果
Fig. 5 Qualitative results of various fusion algorithms on the RGBT-Tiny datasets
下载:
全尺寸图片
图 6 强亮度环境下消融实验定性对比结果
Fig. 6 Qualitative comparison results of ablation experiments
下载:
全尺寸图片
图 7 RGBT-Tiny数据集中红外、可见光和融合图像的目标检测结果
Fig. 7 Object detection results of infrared, visible and fusion images in the RGBT-Tiny dataset
下载:
全尺寸图片
表 1 RGBT-Tiny数据集上对比试验的定量结果
Table 1 Quantitative results of comparative experiments on the RGBT-Tiny dataset
模型 年份 EN SD VIF SF FMI SCD FusionGAN[31] 2018 5.785 40.530 0.632 7.075 1.047 1.419 IFCNN[11] 2019 5.974 36.528 0.493 7.128 0.904 1.398 U2Fusion[32] 2020 4.968 44.837 0.584 10.147 0.963 1.428 Coconet[33] 2023 5.910 43.940 0.739 10.963 1.075 1.693 PSFusion[23] 2023 6.539 46.816 0.954 11.267 1.167 1.668 CoMofusion[34] 2024 6.544 45.962 0.738 11.379 1.098 1.671 CrossFuse[12] 2025 6.576 45.821 0.817 11.561 1.170 1.685 本文方法 — 6.647 46.367 0.983 12.493 1.239 1.713 注：加粗表示该结果在本列效果最好。 表 2 各模型在测试数据上的计算效率对比
Table 2 Comparison of computational efficiency of different models on test data
表 3 消融实验定量对比结果
Table 3 Quantitative comparison of ablation experiments
模型 EN SD VIF SF FMI SCD HLIC+DWTC 5.695 39.394 0.910 7.315 1.258 1.385 EBPM+DWTC 6.118 44.029 0.931 7.036 1.283 1.492 EBPM+HLIC 5.830 41.598 0.916 9.180 0.922 1.487 EBPM+HLIC+DWTC 6.287 44.834 0.937 9.753 1.371 1.510 注：加粗表示该结果在本列效果最好。 表 4 高、低亮度场景下的目标检测性能
Table 4 Object detection performance in low-light scenes
方法 船 车 行人 公交车 mAP@0.5 场景 Infrared 0.493 0.539 0.490 0.479 0.500 低亮度 Visible 0.339 0.419 0.379 0.333 0.367 IFCNN[11] 0.498 0.542 0.493 0.482 0.503 FusionGAN[31] 0.496 0.536 0.502 0.480 0.503 U2Fusion[32] 0.509 0.544 0.536 0.513 0.525 CocoNet33] 0.513 0.549 0.532 0.501 0.523 PSFusion[23] 0.521 0.561 0.579 0.519 0.545 CoMofusion[34] 0.511 0.553 0.573 0.510 0.536 CrossFuse[12] 0.514 0.557 0.580 0.513 0.541 本文方法 0.542 0.577 0.601 0.673 0.598 Infrared 0.502 0.541 0.479 0.273 0.448 高亮度 Visible 0.487 0.402 0.258 0.280 0.356 IFCNN[11] 0.519 0.546 0.481 0.291 0.459 FusionGAN[31] 0.518 0.544 0.484 0.281 0.456 U2Fusion[32] 0.525 0.550 0.483 0.274 0.458 CocoNet33] 0.519 0.549 0.498 0.279 0.461 PSFusion[23] 0.541 0.555 0.549 0.391 0.509 CoMofusion[34] 0.538 0.548 0.519 0.313 0.479 CrossFuse[12] 0.547 0.552 0.534 0.337 0.492 本文方法 0.598 0.587 0.591 0.473 0.562 注：加粗表示该结果在本列效果最好。 -
[1] 赵佳, 辛月兰, 刘冀钊, 等. 脉冲耦合双对抗学习网络的红外与可见光图像融合[J]. 激光与光电子学进展, 2025, 62(10): 455−466. doi: 10.3788/LOP242143 ZHAO Jia, XIN Yuelan, LIU Jizhao, et al. Pulse-coupled dual adversarial learning network for infrared and visible image fusion[J]. Laser & optoelectronics progress, 2025, 62(10): 455−466. doi: 10.3788/LOP242143 [2] 程一航, 乔正钰, 黄勇, 等. 基于Retinex理论的亮度自适应红外与可见光图像融合[J]. 激光与光电子学进展, 2024, 61(20): 117−130. doi: 10.3788/LOP241637 CHENG Yihang, QIAO Zhengyu, HUANG Yong, et al. Luminance-adaptive infrared and visible image fusion based on retinex theory[J]. Laser & optoelectronics progress, 2024, 61(20): 117−130. doi: 10.3788/LOP241637 [3] 尹海涛, 周昌盛. 基于交叉融合Transformer的红外与可见光图像融合方法[J]. 激光与光电子学进展, 2025, 62(6): 339−349. doi: 10.3788/LOP241049 YIN Haitao, ZHOU Changsheng. Cross-fusion transformer-based infrared and visible image fusion method[J]. Laser & optoelectronics progress, 2025, 62(6): 339−349. doi: 10.3788/LOP241049 [4] LIU Yu, CHEN Xun, WARD R K, et al. Image fusion with convolutional sparse representation[J]. IEEE signal processing letters, 2016, 23(12): 1882−1886. doi: 10.1109/LSP.2016.2618776 [5] LIU Jinyuan, FAN Xin, JIANG Ji, et al. Learning a deep multi-scale feature ensemble and an edge-attention guidance for image fusion[J]. IEEE transactions on circuits and systems for video technology, 2022, 32(1): 105−119. doi: 10.1109/TCSVT.2021.3056725 [6] KONG Weiwei, LEI Yang, ZHAO Huaixun. Adaptive fusion method of visible light and infrared images based on non-subsampled shearlet transform and fast non-negative matrix factorization[J]. Infrared physics & technology, 2014, 67: 161−172. doi: 10.1016/j.infrared.2014.07.019 [7] MA Jiayi, CHEN Chen, LI Chang, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information fusion, 2016, 31: 100−109. doi: 10.1016/j.inffus.2016.02.001 [8] LIU Yu, LIU Shuping, WANG Zengfu. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information fusion, 2015, 24(C): 147−164. doi: 10.1016/j.inffus.2014.09.004 [9] 王爱侠, 胡傲杰, 闫爱云, 等. 基于环境光感知和红外特征分层引导的图像融合网络[J]. 控制与决策, 2025, 40(10): 3177−3189. doi: 10.13195/j.kzyjc.2024.1390 WANG Aixia, HU Aojie, YAN Aiyun, et al. An image fusion network based on ambient light awareness and infrared feature layer guidance[J]. Control and decision, 2025, 40(10): 3177−3189. doi: 10.13195/j.kzyjc.2024.1390 [10] LI Hui, WU Xiaojun. DenseFuse: a fusion approach to infrared and visible images[J]. IEEE transactions on image processing, 2019, 28(5): 2614−2623. doi: 10.1109/TIP.2018.2887342 [11] ZHANG Yu, LIU Yu, SUN Peng, et al. IFCNN: a general image fusion framework based on convolutional neural network[J]. Information fusion, 2020, 54: 99−118. doi: 10.1016/j.inffus.2019.07.011 [12] LI Hui, WU Xiaojun. CrossFuse: a novel cross attention mechanism based infrared and visible image fusion approach[J]. Information fusion, 2024, 103: 102147. doi: 10.1016/j.inffus.2023.102147 [13] YANG Yong, LIU Jiaxiang, HUANG Shuying, et al. Infrared and visible image fusion via texture conditional generative adversarial network[J]. IEEE transactions on circuits and systems for video technology, 2021, 31(12): 4771−4783. doi: 10.1109/TCSVT.2021.3054584 [14] TANG Linfeng, YUAN Jiteng, MA Jiayi. Image fusion in the loop of high-level vision tasks: a semantic-aware real-time infrared and visible image fusion network[J]. Information fusion, 2022, 82: 28−42. doi: 10.1016/j.inffus.2021.12.004 [15] LIU Jinyuan, FAN Xin, HUANG Zhanbo, et al. Target-aware dual adversarial learning and a multi-scenario multi-modality benchmark to fuse infrared and visible for object detection[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 5792−5801. [16] GAO Hongwei, WANG Yutong, SUN Jian, et al. Efficient multi-level cross-modal fusion and detection network for infrared and visible image[J]. Alexandria engineering journal, 2024, 108: 306−318. doi: 10.1016/j.aej.2024.07.107 [17] LI Ruimin, XIANG Jiajun, SUN Feixiang, et al. Multiscale cross-modal homogeneity enhancement and confidence-aware fusion for multispectral pedestrian detection[J]. IEEE transactions on multimedia, 2024, 26: 852−863. doi: 10.1109/TMM.2023.3272471 [18] TANG Linfeng, XIANG Xinyu, ZHANG Hao, et al. DIVFusion: Darkness-free infrared and visible image fusion[J]. Information fusion, 2023, 91: 477−493. doi: 10.1016/j.inffus.2022.10.034 [19] CAO Bing, SUN Yiming, ZHU Pengfei, et al. Multi-modal gated mixture of local-to-global experts for dynamic image fusion[C]//2023 IEEE/CVF International Conference on Computer Vision. Paris: IEEE, 2023: 23498−23507. [20] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770−778. [21] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2015, 37(9): 1904−1916. doi: 10.1109/TPAMI.2015.2389824 [22] CHEN C R, FAN Quanfu, PANDA R. CrossViT: cross-attention multi-scale vision transformer for image classification[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2021: 357−366. [23] TANG Linfeng, ZHANG Hao, XU Han, et al. Rethinking the necessity of image fusion in high-level vision tasks: a practical infrared and visible image fusion network based on progressive semantic injection and scene fidelity[J]. Information fusion, 2023, 99: 101870. doi: 10.1016/j.inffus.2023.101870 [24] YING Xinyi, XIAO Chao, AN Wei, et al. Visible-thermal tiny object detection: a benchmark dataset and baselines[J]. IEEE transactions on pattern analysis and machine intelligence, 2025, 47(7): 6088−6096. doi: 10.1109/TPAMI.2025.3544621 [25] SHEIKH H R, BOVIK A C. Image information and visual quality[J]. IEEE transactions on image processing, 2006, 15(2): 430−444. doi: 10.1109/TIP.2005.859378 [26] VAN AARDT J. Assessment of image fusion procedures using entropy, image quality, and multispectral classification[J]. Journal of applied remote sensing, 2008, 2(1): 023522. doi: 10.1117/1.2945910 [27] RAO Yunjiang. In-fibre Bragg grating sensors[J]. Measurement science and technology, 1997, 8(4): 355−375. doi: 10.1088/0957-0233/8/4/002 [28] ESKICIOGLU A M, FISHER P S. Image quality measures and their performance[J]. IEEE transactions on communications, 1995, 43(12): 2959−2965. doi: 10.1109/26.477498 [29] HAGHIGHAT M B A, AGHAGOLZADEH A, SEYEDARABI H. A non-reference image fusion metric based on mutual information of image features[J]. Computers & electrical engineering, 2011, 37(5): 744−756. doi: 10.1016/j.compeleceng.2011.07.012 [30] ASLANTAS V, BENDES E. A new image quality metric for image fusion: The sum of the correlations of differences[J]. AEU - international journal of electronics and communications, 2015, 69(12): 1890−1896. doi: 10.1016/j.aeue.2015.09.004 [31] MA Jiayi, YU Wei, LIANG Pengwei, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information fusion, 2019, 48: 11−26. doi: 10.1016/j.inffus.2018.09.004 [32] XU Han, MA Jiayi, JIANG Junjun, et al. U2Fusion: a unified unsupervised image fusion network[J]. IEEE transactions on pattern analysis and machine intelligence, 2022, 44(1): 502−518. doi: 10.1109/TPAMI.2020.3012548 [33] LIU Jinyuan, LIN Runjia, WU Guanyao, et al. CoCoNet: coupled contrastive learning network with multi-level feature ensemble for multi-modality image fusion[J]. International journal of computer vision, 2024, 132(5): 1748−1775. doi: 10.1007/s11263-023-01952-1 [34] MENG Zhiming, LI Hui, ZHANG Zeyang, et al. CoMoFusion: Fast and High-Quality Fusion of Infrared and Visible Image with Consistency Model[C]//Pattern Recognition and Computer Vision. Singapore: Springer, 2025: 539−553. [35] TIAN Yunjie, YE Qixiang, DOERMANN D. YOLOv12: attention-centric real-time object detectors[EB/OL]. (2025−02−18)[2025−09−17]. https://arxiv.org/abs/2502.12524.
