Low light image enhancement based on high and low frequency feature fusion
-
摘要: 针对现有低照度图像增强方法中性能与开销不平衡的问题，本文提出一种高低频特征融合的低照度图像增强方法。该方法在多尺度上提取几何特征丰富的低频特征与语义特征丰富的高频特征，经过高低频特征融合得到增强图像，在保证良好图像质量的同时降低开销。为提升低照度环境下的特征提取能力，构建残差混合注意力模块，从像素与通道两方面对重要的局部区域给予更多关注。针对下采样导致的信息丢失问题，提出一种特征合并模块对下采样后的特征进行特征补充。此外，通过多级残差密集连接模块增强特征复用能力。在SID(see-in-the-dark)数据集上的实验表明，该方法峰值信噪比和结构相似度分别达到29.67和0.792，模型参数量仅为1.5×106。Abstract: To address the imbalance between performance and cost in existing low light image enhancement, a low light image enhancement method is proposed based on high and low frequency feature fusion. By integrating multi-scale data, this fusion combines geometrically rich low frequency features with semantically rich high frequency features to obtain enhanced images, thereby reducing cost while guaranteeing good image quality. To enhance the feature extraction ability in a low light environment, the residual mix-attention module is designed to focus more on important local regions from the pixel and channel perspectives. To address the information loss due to downsampling, the feature merging module is used to supplement the features after downsampling. Additionally, a multi-residual dense block module is designed to strengthen the feature-reuse capability. Furthermore, the see-in-the-dark dataset was subjected to experiments. Overall, this method achieved peak signal-to-noise ratio and structural similarity of 29.67 and 0.792, respectively, with only 1.5×106 parameters.
-
Keywords:
- low light /
- image enhancement /
- high frequency feature /
- low frequency feature /
- feature fusion /
- attention /
- multi-scale /
- residual net /
- dense connection
-
随着智能手机夜间拍照、视频监视系统和无人驾驶技术的发展，低照度场景下的成像问题备受关注。在黑暗或弱光条件下，图像容易出现信息丢失，导致噪声、伪影、颜色失真等降质现象。这些现象不仅损害了视觉感知效果，还对高级计算机视觉任务造成不利影响。
尽管先进影像设备可以缓解图像降质问题，但其成本昂贵。现代数码成像通常采用参数调整方法，但会引入噪点并产生图像模糊问题。低照度图像增强(low-light image enhancement, LLIE)在一定程度上克服了上述两种方法的局限性，已成为解决低照度场景应用问题的主要方法[1]。然而，由于低照度图像的信噪比极低，LLIE仍面临巨大挑战性。
围绕LLIE，研究者们提出了大量有效方法[2]。早期方法采用直方图均衡化及其变体来扩展动态范围[3-5]。随着Retinex理论的引入，后续研究将图像分解为照明分量和反射分量，并采用不同方法估算照明分量[6-10]。最近，基于深度学习的方法已成为LLIE研究的主流方向，相关研究在sRGB域[11-15]与RAW域[16-20]都取得了显著进展。相较于sRGB图像，RAW图像在LLIE任务中具有多重优势：1)RAW图像数据几乎直接来自传感器，保留了大量有利于恢复的元数据。sRGB图像则经过针对人类视觉偏好和系统要求的处理，部分信息已经丢失。2)RAW图像数据在不同曝光级别下保持线性关系，而sRGB图像的处理具有非线性关系。3)RAW图像记录的位深度更高，更易于区分低强度信号。这些优势使得基于RAW域的LLIE方法在噪声抑制和色彩复原方面表现更优[21-22]，而且能够对极低照度图像进行增强。
SID(see-in-the-dark)[23]作为开创性工作，相较于传统方法取得了显著进步，同时为基于RAW域的LLIE提出了一个真实配对数据集，极大地推动了LLIE在RAW域上的发展。随后文献[24]对SID方法进行优化，引入小波变换实现上下采样操作，并采用感知损失函数以提升细节恢复效果。DID(denoising in the dark)[25]将SID中的UNet网络替换为残差网络结构，从而更好地保留图像细节。LLPackNet(low-light packing network)[26] 进行了轻量化方向研究，但其恢复效果与其他方法相比存在一定差距。SGN(self-guided network)[27]通过融合多分辨率输入和大规模上下文信息，实现了更精细尺度的图像恢复。MCR(mono-colored raw)[28]通过建立单色原始图像与彩色原始图像的交互机制，有效提升了增强图像质量。DNF(denoising in the dark)[29]通过分解子任务的方式建立从RAW域到sRGB域的映射。
理想情况下，模型应当兼具较小的计算复杂度、较少的参数量以及优异的图像增强效果。当前主流LLIE方法通常通过牺牲训练和推理速度来提高增强后的图像质量，但这种高计算开销的策略不利于实际应用。因此，除了衡量图像质量的峰值信噪和与结构相似度外，衡量模型开销的参数量和计算量也应作为重要指标。高性能与低开销之间常常存在矛盾关系。在低照度图像中，由于同时面临颜色恢复和噪声抑制的双重挑战，这种性能与开销的平衡显得更为困难。
针对上述问题，本文提出一种基于高低频特征融合的低照度图像增强方法，旨在取得与先进方法相近性能的同时降低开销。为降低开销，本文在高尺度上进行大部分特征提取、复用和筛选，在中、低尺度上只进行少量的特征提取操作。为提高性能，本文通过特征合并模块对下采样后的特征进行特征补充；设计残差混合注意力模块以优化特征提取；构造多级残差密集连接模块进一步提取特征，并实现特征的复用。
1. 相关工作
1.1 低照度图像增强数学建模
低照度图像可解释为正常光照图像经过了一次未知的退化函数卷积，并叠加噪声干扰后的退化结果，其数学表达为
$$ {\boldsymbol{I}}\left( {x,y} \right) = {\boldsymbol{f}}\left( {x,y} \right) \cdot {\boldsymbol{g}}\left( {x,y} \right) + {\boldsymbol{\eta}} \left( {x,y} \right) $$ (1) 式中：I(x, y)为低照度图像，
${\boldsymbol{f}}\left( {x,y} \right)$ 为正常光照图片，${\boldsymbol{g}}\left( {x,y} \right)$ 为退化函数，${\boldsymbol{\eta}} \left( {x,y} \right)$ 为引入的噪声影响。相应地，LLIE本质上是利用低照度图像来求解正常光照图像的逆问题。
1.2 基于RAW 域的图像增强
基于RAW域的LLIE方法通常以RAW图像作为输入，以sRGB图像作为输出。RAW图像由单通道的RGB色彩信息组成，其中每个像素仅记录单一颜色分量而非完整的RGB三通道信息。大多数数码相机传感器采用Bayer排列记录图像信息，这使得RAW图像中存在的绿色通道信息占比更大。由于人眼对绿色更敏感，这种占比能够提供更自然、清晰的图像信息，从而为低照度图像增强带来更优秀的清晰度和色彩保真度。
近年来，随着硬件设备的快速发展和摄像需求的持续增长，智能手机的RAW图像处理技术备受瞩目，其在低照度场景下的成像也成为当前的研究热点。
1.3 多尺度网络
多尺度方法能够有效保留低照度图像的细节纹理，其最主要的优势在于能够同时利用图像的高频信息(图像的边缘轮廓信息)和低频信息(图像光滑部位的整体灰度信息)[30]。
在低尺度下，特征图分辨率较高，空间几何特征细节丰富，感受野较小但几何表征能力强；在高尺度下，特征图分辨率较低，感受野较大且语义表征能力强。多尺度方法通过融合不同感受野和粒度下的特征，结合高频与低频特征的优势，充分挖掘RAW图像的潜力，从而实现低光图像增强。
传统UNet结构采用五尺度设计，通过4次下采样和4次上采样完成特征提取与重建。然而，过多的尺度会导致显著的延迟和计算开销，多次上下采样和池化操作则会造成细节信息丢失。
因此，本文放弃部分尺度，仅保留3个尺度，(低尺度、中尺度和高尺度)，其特征大小分别为输入图像的1/2、1/8和1/32。为减少计算开销，大部分特征提取、复用与筛选操作均集中在高尺度上进行。
1.4 多级残差密集连接
早期神经网络存在限制：当网络深度达到一定程度时，性能会随网络深度增加而下降。残差网络通过残差连接实现恒等映射，极大程度增加了网络深度。多级残差提出，将学习输入到输出的映射转变为学习多级残差的映射，即通过长连接将多个连续的短连接残差块整合为单一模块。相较于传统残差连接，多级残差结构具有更好的适应性，在复杂任务处理中具有更好的效果。
密集连接网络的基本思想与残差网络类似，其区别在于密集网络建立了前面所有层与后面层的密集连接。该网络通过特征在通道上的连接来实现特征重用，在参数量和计算成本更少的情况下，具有良好的性能。残差密集网络[31]结合了残差块和密集块的特点，设计了残差密集块。残差密集块由密集连接层、局部特征融合及局部残差组成，多个残差密集块之间形成了连续记忆机制。残差密集网络实现了极高程度的特征复用，有效降低了参数量。
本文将残差密集块与多级残差相结合，并引入特征筛选机制，设计出多级残差密集连接模块，实现特征复用并降低参数量。
2. 网络模型
模型整体结构如图1所示。首先在多尺度上分别获取低频特征与高频特征，随后通过高低频特征融合获得增强图像。
图 1 高低频特征融合的低照度图像增强网络Fig. 1 Low-light image enhancement network based on the fusion of high and low-frequency features
下载:
全尺寸图片
为适应不同分辨率的图片，输入图像统一预处理为512×512大小并作为训练输入，而在检测时使用原始尺寸。对于大小为512×512的图像，通过亚像素卷积操作获得多尺度图像输入
${{\boldsymbol{I}}_1}$ 、${{\boldsymbol{I}}_2}$ 、${{\boldsymbol{I}}_3}$ ，大小分别是原始图像的1/2、1/8、1/32。在低尺度上，
${{\boldsymbol{I}}_1}$ 直接作为输入。在中、高尺度上，${{\boldsymbol{I}}_2}$ 、${{\boldsymbol{I}}_3}$ 经过初步的特征提取后，通过特征合并模块(feature merge，FM)对下采样后的特征进行特征补充。在各尺度上，经过补充后的特征送入残差混合注意力(residual mix-attention，RMA)模块中进行特征提取。RMA从通道与像素两方面，增强对低照度图像重要信息的关注度。
在高尺度上，RMA提取的特征被送入多级残差密集连接模块(multi-residual dense block，MRDB)。MRDB模块进一步对特征进行提取、复用，并筛选有效信息。
最后，经过上采样、特征拼接与卷积等操作实现高低频特征融合，获取增强后的图像。
2.1 残差混合注意力模块(RMA)
鉴于不同通道、不同像素对LLIE的重要性不相同，本文结合通道注意力、像素注意力与残差连接，构建残差混合注意力模块。该模块优化特征提取过程，可以选择聚焦位置，对重要信息给予更多的关注。该模块结构如图2所示，由两个卷积层、通道注意力和像素注意力经过残差连接构成。
图 2 残差混合注意力模块Fig. 2 Residual mix-attention module下载:
全尺寸图片
通道注意力(channel attention, CA)是一种针对通道域的筛选操作，其操作可分为压缩和提取两个阶段。在压缩阶段，通过全局平均池化将尺寸为H×W×C的特征图压缩为1×1×C的特征图，此时压缩后的特征在一定程度上具有全域性的感受野。随后通过卷积层和Sigmoid激活函数预测各通道的重要性权重，最终通过卷积乘为对应通道赋予不同权重。该过程可表示为
$$ {{\boldsymbol{F}}_1} = {\rm{CA}}\left( {{\boldsymbol{\sigma}} \left( {\boldsymbol{X}} \right)} \right) \otimes {\boldsymbol{\sigma}} \left( {\boldsymbol{X}} \right) $$ (2) 式中：X为特征输入，
${{\boldsymbol{F}}_1}$ 为通道卷积输出，${\boldsymbol{\sigma}} $ (·)为卷积特征提取，CA(·)为通道注意力卷积过程。像素注意力(pixel attention, PA)是一种空间域上的筛选操作，能够使重要像素得到更多关注。像素注意力通过卷积、ReLU、卷积完成过滤，经过Sigmoid函数生成像素权重。其中，第1层卷积过滤器深度为8，第2层卷积过滤器深度为1。该过程可表示为
$$ {{\boldsymbol{F}}_2} = {\rm{PA}}\left( {{{\boldsymbol{F}}_1}} \right) \otimes {{\boldsymbol{F}}_1} $$ (3) 式中：PA(·)为像素注意力卷积过程，
${{\boldsymbol{F}}_2}$ 为像素卷积输出。以Y表示残差混合注意力模块输出，则整体流程表示为$$ \begin{gathered} {{\boldsymbol{Y}}} = {{\rm{PA}}} \left( {{{\rm{CA}}} \left( {{\boldsymbol{\sigma}} \left( {\boldsymbol{X}} \right)} \right) \otimes {\boldsymbol{\sigma}} \left( X \right)} \right) \otimes \\ {{\rm{CA}}} \left( {{\boldsymbol{\sigma}} \left( {\boldsymbol{X}} \right)} \right) \otimes {\boldsymbol{\sigma}} \left( {\boldsymbol{X}} \right) + {\boldsymbol{X}} \\ \end{gathered} $$ (4) 2.2 多级残差密集连接模块(MRDB)
在高尺度上，特征输入MRDB中进行特征提取，通过多次特征复用和局部特征融合实现特征的充分利用，随后采用通道注意力机制筛选有效特征。
MRDB结构如图3所示，其主体部分由3个密集块(dense block，DB)、1个通道注意力块，以及多级残差连接构成。深层特征通过3个短连接的DB进行特征提取与复用，然后通过CA进行筛选和获取重要信息，最后通过长连接进行信息交流。
图 3 多级残差密集连接模块Fig. 3 Muti-residual dense block module下载:
全尺寸图片
DB结构如图4所示，由多个卷积与LeakyReLU激活函数组成，通过多次跳跃连接实现特征复用和前后信息交互。LeakyReLU激活函数能够解决ReLU激活函数导致部分神经元失问题，从而减少信息损失。
图 4 密集块Fig. 4 Dense block下载:
全尺寸图片
2.3 特征合并模块(FM)
下采样操作会导致特征丢失部分细节信息，进而影响图像增强效果。为此，本文采用FM对下采样后的特征进行特征补充。FM模块如图5所示。原始输入经过初步特征提取后，首先与下采样特征进行逐元素乘实现特征集成，随后通过两个3×3卷积进行特征转换，最后与下采样后的特征相加完成特征补充。
图 5 特征合并模块Fig. 5 Feature merge module下载:
全尺寸图片
2.4 损失函数
MS-SSIM(multi-scale structural similarity)损失函数相较于其他损失函数能更好地保留高频区域的对比度，使增强图像更符合人类感知。然而，MS-SSIM损失函数对均匀偏差不敏感，从而可能出现亮度与颜色的偏暗。L1损失函数通过计算像素预测值的平均误差幅度，能保留颜色和亮度，却不能产生与MS-SSIM相同的对比度。为了提高增强图像的质量，本文同时使用L1损失函数和MS-SSIM损失函数，计算方式为
$$ {{\boldsymbol{L}}} = \alpha {{{\boldsymbol{L}}} _1} + \left( {1 - \alpha } \right){{{\boldsymbol{L}}} _{{\mathrm{ms}} - {\mathrm{ssim}}}} $$ (5) 式中α为权重参数。
${{\boldsymbol{L}}_1}$ 为L1损失函数，计算过程为$$ {{\boldsymbol{L}}_1} = \left| {{\boldsymbol{Y}} - \hat {\boldsymbol{Y}}} \right| $$ (6) 式中：
${\boldsymbol{Y}}$ 为真实数据，$\hat {\boldsymbol{Y}}$ 为预测图像。${{{\boldsymbol{L}}} _{{\mathrm{ms}} - {\mathrm{ssim}}}} $ 为MS-SSIM损失函数，计算公式为$$ {{{\boldsymbol{L}}} _{{\mathrm{ms}} - {\mathrm{ssim}}}}\left( {{\boldsymbol{Y}},\hat{\boldsymbol{Y}} } \right) = 1 - \mathop \prod \limits_{j = 1}^M { \left(\frac{{2{\mu _{\boldsymbol{Y}}}{\mu _{\hat {\boldsymbol{Y}} }} + {c_1}}}{{\mu _{\boldsymbol{Y}}^2 + \mu _{\hat {\boldsymbol{Y}}}^2 + {c_1}}} \right)^{{\alpha _j}}} \cdot {\left( \frac{{2{\sigma _{{\boldsymbol{Y}}\hat {\boldsymbol{Y}} }} + {c_2}}}{{\sigma _{\boldsymbol{Y}}^2 + \sigma _{\hat {\boldsymbol{Y}} }^2 + {c_2}}} \right)^{{\beta _j}}} $$ (7) 式中：j为不同尺度；
$ {\mu }_{{\boldsymbol{Y}}}、{\mu }_{\hat {\boldsymbol{Y}}} $ 分别为真实图像和预测图像的均值；$ {\sigma }_{{\boldsymbol{Y}}}、{\sigma }_{\hat {\boldsymbol{Y}}} $ 分别为真实图像和预测图像的标准差；${\sigma _{{\boldsymbol{Y}}\hat {\boldsymbol{Y}}}}$ 为真实图像与预测图像的协方差；$ {\alpha }_{j}、{\beta }_{j} $ 为相对重要性；$ {c}_{1}、{c}_{2} $ 为常数项，防止除数为0。3. 实验结果及分析
3.1 实验设置
实验环境配置如下：操作系统采用Ubuntu 18.04.6 LTS，GPU为Tesla V100，CUDA版本11.6。本文将所有图像都随机剪切成大小为512×512的图像块用于训练。将初始学习率设置为1×104，经过
300000 轮次后降至原值的1/10，batchsize设置为8，使用Adam优化器训练模型，训练轮次为106。以5×104为间隔进行测试，结果取最佳轮次。对比方法与本文方法均在相同条件下进行训练。3.2 评价指标
选取峰值信噪比(peak signal to noise ratio，PSNR)和结构相似度指数(structural similarity index，SSIM)衡量图像质量，选取参数量和计算量衡量网络开销。
PSNR通过计算对应像素点之间的误差来判断图像之间的差异，其值越高表明图像失真越小、质量越好。
SSIM是将感知误差的度量转移到对感知结构失真的度量，其值越大表示图像与原图越相似。
参数量受模型影响。参数量越小，则训练时更新参数的开销越少，网络训练速度越快。
计算量受图片大小和模型影响，本文衡量计算量采用统一图像尺寸。理论上，计算量越小，模型推理速度越快(计算另用每秒乘法累加运算次数表示)。
3.3 实验结果及分析
本文在被广泛使用的SID数据集上进行实验，并与多种基于RAW的LLIE模型进行比较，包括SID、DID、SGN、LLPackNet以及MCR。
SID数据集包含短曝光和长曝光的的配对的真实数据，按文献[23]给定建议划分训练集与测试集，其中测试集数量占比约为21%。在测试集中，3张图像的真实图像(ground truth, GT)存在问题，因此在测试阶段按照文献[23]建议丢弃这些图像。
3.3.1 定量分析
本文模型与多种模型的比较结果如表1所示，该模型平衡了性能与开销，在保证图像恢复质量的情况下，降低参数量与计算量。
表 1 在SID数据集上的不同LLIE方法对比实验Table 1 Comparison experiments of different LLIE methods on the SID dataset从数据上看，SID具有较高的参数量。DID与SGN相比SID具有较小的参数量，但推理时的计算量远高于其余方法。LLPackNet具有更低参数量、计算量，但恢复图像较模糊。MCR具有优秀的图像质量，但参数量过于庞大，导致其在应用中存在一定问题。
本文模型在PSNR、SSIM指标与MCR接近的同时，参数量与浮点数运算量分别仅为MCR的10%、17%。与SID、DID相比，本文模型参数量和计算量更小，且PSNR、SSIM指标更高。与SGN相比，本文模型参数量和计算量更小，PSNR高出0.92 dB，SSIM低0.004。与轻量模型LLPackNet相比，本文模型参数方面仅增加0.3×106，但PSNR与SSIM分别提升2.79 dB与0.35。
3.3.2 定性分析
各方法的对比实验可视化结果如图6所示。本文选择4幅图像以展示各环境下的低照度图像。
图 6 对比实验可视化结果Fig. 6 Visualization of comparative experiment results下载:
全尺寸图片
第1幅图像为室内低照度环境，具有色彩、物品种类多的特点。从对比中可以看出，本文方法的结果更接近原始图像(GT)，具有较好的颜色恢复与对比度。DID出现色差问题，例如将蓝色错误地恢复为黄色，同时对比度较低。MCR恢复结果对比度高、颜色饱满，但在红色区域存在不明蓝色污点。SGN同样出现不明蓝色污点，且存在色差。LLPackNet则在对比度、清晰度、色差等方面存在问题。
第2幅图像为室外低照度环境，具有较多阴影区域，但同时出现的颜色种类较少，且包含连续大面积目标。本文方法的结果与真实图像GT最为相近。DID增强图像呈现出比GT更多的阴影。MCR虽然对比度高，但出现了色差。SGN在室外图像上的颜色表现良好，但对比度较低。LLPackNet的增强图像产生比GT更明亮的背景，但图像模糊。
第3幅图像为道路点光源场景，其色彩单一，但点光源照射区域与其他区域照度差距明显，且草丛区域对细节还原要求较高。全部结果在草丛的细节恢复上存在模糊现象，LLPackNet结果的灯光中出现黑点。从远处天空交接处与路面可以看出，本文方法在色彩与对比度方面存在优势。
第4幅图像为偏置微光源场景，其中本文方法和MCR能正确增强指示灯光颜色，而其余算法则将绿色指示灯错误地增强为白色，并在未被灯光照射区域产生噪点。
整体看来，本文提出方法具有色差小、对比度高、细节保留相对完善的特点，对各种环境展现出较好的适应能力。
3.4 消融实验
本文模型在SID数据集上进行消融实验，以验证每个模块的有效性。未使用RMA特征提取的模型仍有必要进行特征提取过程，因此本文使用卷积层作为RMA的替代，消融实验结果如表2所示。
表 2 消融实验Table 2 Ablation experiment序号 方法 PSNR/dB SSIM 1 本文方法 29.67 0.792 2 w/o RMA 28.62 0.790 3 w/o MRDB 29.28 0.786 4 w/o FM 29.05 0.792 5 L→L1 29.35 0.781 6 L→$ {{\boldsymbol{L}}_{{\mathrm{ms}} - {\mathrm{ssim}}}} $ 29.09 0.791 与实验1相比，实验2、3、4分别去除RMA、MRDB、FM模块并对剩余网络进行训练。实验结果表明，当去除上述模块时，PSNR出现不同程度的下降，SSIM出现降低或持平，证明各模块均产生效果。其中，RMA模块对增强图像的PSNR和SSIM影响最大，这是由于RMA模块能给予重要区域更多关注。同等数量的卷积层无法替代RMA模块，而使用过多数量的卷积层则会由于网络深度限制而导致更差的结果，并带来大量的开销。
实验5、6验证了损失函数的有效性，当单独使用L1或
${{\boldsymbol{L}}_{{\mathrm{ms}} - {\mathrm{ssim}}}}$ 时，PSNR与SSIM均产生下降。4. 结束语
针对现有低照度图像增强性能与开销不平衡的问题，本文提出高低频特征融合的低照度图像增强方法，该方法同时利用图像的高、低频特征，优化特征提取与复用方式，实现性能与开销的相对平衡，这对于高级计算机视觉具有实际应用参考价值。但是，增强后的图像仍然存在难以解决的微小物体细节模糊问题。在今后的工作中，将致力于研究微小物体细节恢复，以提高图像细节质量。
-
图 1 高低频特征融合的低照度图像增强网络
Fig. 1 Low-light image enhancement network based on the fusion of high and low-frequency features
下载:
全尺寸图片
图 2 残差混合注意力模块
Fig. 2 Residual mix-attention module
下载:
全尺寸图片
图 3 多级残差密集连接模块
Fig. 3 Muti-residual dense block module
下载:
全尺寸图片
图 4 密集块
Fig. 4 Dense block
下载:
全尺寸图片
图 5 特征合并模块
Fig. 5 Feature merge module
下载:
全尺寸图片
图 6 对比实验可视化结果
Fig. 6 Visualization of comparative experiment results
下载:
全尺寸图片
表 1 在SID数据集上的不同LLIE方法对比实验
Table 1 Comparison experiments of different LLIE methods on the SID dataset
表 2 消融实验
Table 2 Ablation experiment
序号 方法 PSNR/dB SSIM 1 本文方法 29.67 0.792 2 w/o RMA 28.62 0.790 3 w/o MRDB 29.28 0.786 4 w/o FM 29.05 0.792 5 L→L1 29.35 0.781 6 L→$ {{\boldsymbol{L}}_{{\mathrm{ms}} - {\mathrm{ssim}}}} $ 29.09 0.791 -
[1] 许皓, 钱宇华, 王克琪, 等. 高低频通道特征交叉融合的低光人脸检测算法[J]. 智能系统学报, 2024, 19(2): 472−481. doi: 10.11992/tis.202208034 XU Hao, QIAN Yuhua, WANG Keqi, et al. Low-light face detection method based on the cross fusion of high-and low-frequency channel features[J]. CAAI transactions on intelligent systems, 2024, 19(2): 472−481. doi: 10.11992/tis.202208034 [2] 马龙, 马腾宇, 刘日升. 低光照图像增强算法综述[J]. 中国图象图形学报, 2022, 27(5): 1392−1409. doi: 10.11834/jig.210852 MA Long, MA Tengyu, LIU Risheng. The review of low-light image enhancement[J]. Journal of image and graphics, 2022, 27(5): 1392−1409. doi: 10.11834/jig.210852 [3] COLTUC Dinu, BOLON Philippe, CHASSERY J M. Exact histogram specification[J]. IEEE transactions on image processing, 2006, 15(5): 1143−1152. doi: 10.1109/TIP.2005.864170 [4] ARICI T, DIKBAS S, ALTUNBASAK Y. A histogram modification framework and its application for image contrast enhancement[J]. IEEE transactions on image processing, 2009, 18(9): 1921−1935. doi: 10.1109/TIP.2009.2021548 [5] 杨先凤, 蒋欣岑, 杜晶晶. 融合伽马变换及分数阶的低照度图像增强算法[J]. 计算机工程与设计, 2021, 42(3): 762−769. YANG Xianfeng, JIANG Xincen, DU Jingjing. Low illumination image enhancement algorithm based on gamma transformation and fractional order[J]. Computer engineering and design, 2021, 42(3): 762−769. [6] FU Xueyang, ZENG Delu, HUANG Yue, et al. A weighted variational model for simultaneous reflectance and illumination estimation[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 2782−2790. [7] 涂清华, 戴声奎. 基于域滤波的自适应Retinex图像增强[J]. 计算机工程与科学, 2016, 38(9): 1830−1835. doi: 10.3969/j.issn.1007-130X.2016.09.014 XU Qinghua, DAI Shengkui. Adaptive Retinex image enhancement based on domain transform filter[J]. Computer engineering and science, 2016, 38(9): 1830−1835. doi: 10.3969/j.issn.1007-130X.2016.09.014 [8] 欧嘉敏, 胡晓, 杨佳信. 改进Retinex-Net的低光照图像增强算法[J]. 模式识别与人工智能, 2021, 34(1): 77−86. OU Jiamin, HU Xiao, YANG Jiaxin. Low-light image enhancement algorithm based on improved Retinex-Net[J]. Pattern recognition and artificial intelligence, 2021, 34(1): 77−86. [9] GUO Xiaojie, LI Yu, LING Haibin. Lime: low-light image enhancement via illumination map estimation[J]. IEEE transactions on image processing, 2017, 26(2): 982−993. doi: 10.1109/TIP.2016.2639450 [10] 赵明华, 汶怡春, 都双丽, 等. 基于照度与场景纹理注意力图的低光图像增强[J]. 中国图象图形学报, 2024, 29(4): 862−874. ZHAO Minghua, WEN Yichun, DU Shuangli, et al. Low-light image enhancement algorithm based on illumination and scene texture attention map[J]. Journal of image and graphics, 2024, 29(4): 862−876. [11] GUO Chunle, LI Chongyi, GUO Jichang, et al. Zero-reference deep curve estimation for low-light image enhancement[C]//2020 IEEE Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 1777−1786. [12] 江泽涛, 覃露露, 秦嘉奇, 等. 一种基于MDARNet的低照度图像增强方法[J]. 软件学报, 2021, 32(12): 3977−3991. JIANG Zetao, QIN Lulu, QIN Jiaqi, et al. Low-light image enhancement method based on MDARNet[J]. Journal of software, 2021, 32(12): 3977−3991. [13] 谌贵辉, 林瑾瑜, 李跃华, 等. 注意力机制下的多阶段低照度图像增强网络[J]. 计算机应用, 2023, 43(2): 552−559. CHEN Guihui, LIN Jinyu, LI Yuehua, et al. Multi-stage low-illuminance image enhancement network based on attention mechanism[J]. Journal of computer application, 2023, 43(2): 552−559. [14] YANG Wenhan, WANG Shiqi, FANG Yuming, et al. From fidelity to perceptual quality: a semi-supervised approach for low-light image enhancement[C]//2020 IEEE Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 3060−3069. [15] XU Ke, YANG Xin, YIN Baocai, et al. Learning to restore low-light images via decomposition and enhancement[C]//2020 IEEE Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 2278−2287. [16] LAMBA M, MITRA K. Restoring extremely dark images in real time[C]//2020 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2021: 3486−3496. [17] ATOUM Y, YE Mao, REN Liu, et al. Color-wise attention network for low-light image enhancement[C]//2020 IEEE Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 2130−2139. [18] ZHU Minfeng, PAN Pingbo, CHEN Wei, et al. EEMEFN: Low-light image enhancement via edge-enhanced multi-exposure fusion network[C]//AAAI conference on artificial intelligence. New York: AAAI, 2020: 13106−13113. [19] 杨勇, 刘惠义. 极端低光情况下的图像增强方法[J]. 图学学报, 2020, 41(4): 520−528. YANG Yong, LIU Huiyi. The method of image enhancement under extremely low-light conditions[J]. Journal of graphics, 2020, 41(4): 520−528. [20] WANG Y, HUANG H, XU Q, et al. Practical deep raw image denoising on mobile devices[C]//2020 European Conference Computer Vision. Glasgow: ECCV, 2020: 12351. [21] ZAMIR S W, ARORA A, KHAN S. Multi-stage progressive image restoration[C]// 2021 IEEE Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021: 14816−14826. [22] ZOU Yunhao, FU Ying. Estimating fine-grained noise model via contrastive learning[C]//2022 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2022: 12672−12681. [23] CHEN Chen, CHEN Qifeng, XU Jia, et al. Learning to see in the dark. [C]//2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 3291−3300. [24] WANG Y, ZHU X, ZHAO Y, et al. Enhancement of low-light image based on wavelet U-Net[J]. Journal of physics, 2019, 1345(2): 022030. [25] MAHARJAN P, LI Li, ZHU Li, et al. Improving extreme low-light image denoising via residual learning[C]//2019 IEEE International Conference on Multimedia and Expo. Shanghai: IEEE, 2019: 916−921. [26] LAMBA M, BALAJI A, MITRA K. Towards fast and light-weight restoration of dark images [EB/OL]. (2020−11−28) [2024−04−20]. https://doi.org/10.48550/arXiv.2011.14133. [27] GU Shuhang, LI Yawei, VAN LUC Gool, et al. Self-guided network for fast image denoising[C]//2019 IEEE International Conference on Computer Vision. Seoul: IEEE, 2019: 2511−2520. [28] DONG Xingbo, XU Wanyan, MIAO Zhihui. et al. Abandoning the bayer-filter to see in the dark[C]//2022 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2022: 17410−17419. [29] JIN Xin, HAN Linghao, LI Zhen, et al. DNF: decouple and feedback network for seeing in the dark[C]//2023 IEEE Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE, 2023: 18135−18144. [30] REN Wenqi, LIU Sifei, MA Lin, et al. Lowlight image enhancement via a deep hybrid network[J]. IEEE transactions on image processing, 2019, 28(9): 4364−4375. doi: 10.1109/TIP.2019.2910412 [31] ZHANG Yulun, TIAN Yapeng, KONG Yu. Residual dense network for image super-resolution[J]. IEEE transactions on image processing, 2022, 22: 1391−1405.
