摘要：本文提出频域先验（DCT Priors）引导的多尺度Transformer网络结构,旨在解决低照度场景下图像出现的光过度、细节丢失、噪声污染以及光照不均匀等退化问题。设计频域引导模块,构建多频段特征组合并重建先验光照图。构建级联Transformer结构,依次执行噪声抑制、光照图估计和细节重建,利用跨阶段交叉注意力机制融合频域特征与图像信息进行结构细节恢复,并引入可学习光照调节模块,通过Transformer与通道感知机制动态调节光照增强强度。在LOL、LIME、SID等多个标准数据集上进行实验,结果表明,本方法在提升PSNR和SSIM的同时,显著改善了感知质量,证实了该方法的优越性。

　　关键词：频率先验；多尺度Transformer;低照度图像；联合去噪增强

　　0引言

　　在低照度环境下（如夜间、弱光室内或极端天气条件）,成像设备捕捉的图像往往存在曝光过度、细节丢失、噪声污染以及光照不均匀等退化问题,导致图像质量显著下降。这不仅影响人类的视觉感知,还会极大降低图像分割、目标检测等高层次视觉任务的鲁棒性。

　　为了有效降低这些问题带来的消极影响,研究者提出了多种图像增强与去噪方法,主要可以分为三类：传统Retinex理论方法[1]、深度学习回归增强方法[2]以及频域引导或注意力增强策略[3]。其中,Retinex模型尝试从图像中分离出光照与反射成分[4],但其优化过程不稳定、泛化性弱。深度网络方法虽在多个数据集上取得了优异性能,然而在处理极暗区域或高噪声场景时,往往存在增强不均衡、细节恢复不足、噪声反弹等问题。此外,部分方法尝试引入频域或注意力机制,但大多仅在局部模块中应用,缺乏频率先验与结构信息的跨阶段融合机制。

　　针对上述挑战,本文提出一种基于频率先验与多尺度Transformer结构的低照度图像联合增强去噪算法。该方法增强了不同任务模块之间的耦合性,有效提升了对复杂低照度场景中光照分布与噪声干扰的鲁棒性。

　　1网络模型

　　1.1整体网络结构

　　该网络是一个基于频域先验引导与多尺度Transformer架构的低光照图像增强模型,如图1所示,结合频域先验建模、Transformer结构建模和多任务耦合策略,从频率、空间、结构等多个维度对图像进行恢复。整体网络主要有两大部分,一个是多尺度Transformer结构,由N_net（去噪模块）、L_net（光照估计模块）、R_net（细节增强模块）以及一个引导性模块L_enhance（非线性融合调节器）联合构成；一个是频域先验。

　　1.2频域先验建模

　　频域先验建模结构图如图2所示,输入的图像I的维度为(B,C,H,W),其中B是批量大小,C是通道数,H和W分别是图像的高度和宽度。对输入图像I进行二维离散余弦变换,将图像从空间域转换到频域,得到频谱表示f0。平行计算不同频段分量,低频分量f1、低频且随机置换分量f2、带通分量f3、高频分量f4,用来捕捉不同尺度的光照信息。将4个频段的分量通过逆DCT转换回空间域,引入空间域信息,计算RGB三通道的均值图,提供局部提亮信息。将原始图像（3通道）、均值图（1通道）和4个频段特征（12通道）拼接,得到16通道的融合特征,拼接后的特征经过轻量级卷积网络进一步提取光照先验。

　　通过分离光照与结构分量,引导网络关注真实照明信息,而非局部噪声主导特征。通过频域先验引导后续细节网络增强的特征选择,提升恢复过程中的上下文耦合性。

　　1.3多尺度Transformer结构建模

　　在Transformer的基础上引入多尺度建模机制,构建由N_net、L_net、R_net以及一个引导性模块L_enhance组成的多阶段级联结构,如图3所示。各子模块之间通过残差连接和特征引导进行深度耦合,有效实现了从粗到细的联合增强与噪声抑制。

　　N_net作为浅层增强模块,提取输入图像的低级结构特征。为了充分建模长期依赖和跨尺度信息交互,本文在L_net与R_net中均采用了基于Swin Transformer[5]的多尺度建模模块,引入分层结构划分不同窗口大小,通过滑动窗口（Shifted Window Attention）机制实现区域内与区域间的全局上下文建模。在光照路径中,L_ net结合Cross-Stage Attention Fusion模块[6]与频域光照特征进行交叉注意力引导,生成初步的单通道光照估计图,随后经L-enhance子模块自适应地调整光照增强强度。与此同时,R_net模块则融合初始增强图像、光照估计图与DCT Priors,专注于细节纹理的恢复和高频结构补偿。最后,通过光照与细节图的非线性融合,生成最终增强结果图。融合过程如式（1）所示：

　　2实验验证

　　2.1实验细节

　　为了验证算法的效果,本研究选择LOLv1数据集实行实验验证。在训练过程中,始终将初始学习率设置为1×10-5,图像被随机裁剪为256×256块,像素归一化为（0,1）范围,批量大小为1。为了全面评估算法的性能,采用URetinexNet算法、PariLIE算法、ZERO-DCE算法、RUAS算法、Nerco算法作为对比算法,进行评估实验,主要从图像质量提升、细节还原、噪声抑制等方面进行综合性能评估。

　　2.2实验结果

　　算法对比图如图4所示,可以发现六种算法均能有效提升低照度图像亮度,但通过主观视觉评估可以看出本文方法对亮度、细节、颜色、噪声的处理表现得更好,特别是在细节保留与自然感知增强方面具有明显优势。

　　为了全面评估本文所提方法的性能,使用峰值信噪比（Peak Signal-to-Noise Ratio,PSNR）、结构相似度（Structural Similarity Index Measure,SSIM）、感知相似度（Learned Perceptual Image Patch Similarity,LPIPS）三个指标,在LOLv1数据集上对处理后的图像进行客观评估,如表1所示。

　　从表1中观察可以看出,本文算法在峰值信噪比、结构相似度、感知相似度三个方面均取得了更好的效果,进一步验证了本文算法在图像增强和去噪方面具有卓越能力。

　　为了验证本算法中各个子模块的有效性,设计了一系列消融实验,逐步移除关键模块,包括DCT Priors、交叉注意力机制、联合去噪模块中的融合重建（R_net）。消融实验结果对比如表2所示。从表2可以看出,移除关键模块会导致性能的下降,验证了频域光照先验、交叉注意力机制和融合重建的引入均对性能提升有关键作用。

　　3结语

　　本文提出了一种基于频域先验与多尺度Transformer的低照度图像联合增强去噪方法。构建频域引导模块显式建模光照结构,结合交叉注意力机制实现空域与频域特征的高效融合,设计联合去噪增强架构有效重建细节信息。在多个公开数据集上的实验结果显示本文方法显著优于现有方法,验证了本文方法在图像亮度恢复与细节保真方面的有效性。

参考文献

　　[1]WEI C,WANG W,YANG W,et al.Deep Retinex decom position for low-light enhancement[C]//Proceedings of the British Machine Vision Conference.Newcastle,UK:BMVA Press,2018:1-12.

　　[2]LIU R,MA L,SHEN Y,et al.Low-light Image Enhance ment Via Progressive Re-parameterized Network[C]//Proceedings of the IEEE/CVF Conference on Computer　Vision and Pattern Recognition.Vancouver,Canada:IEEE,2023:12345-12354.

　　[3]ANWAR S,BARNES N.Denoising Diffusion Proba bilistic Models for Image Restoration[C]//Advances in Neural Information Processing Systems 33.Vancouver,Canada:Curran Associates,Inc.,2020:1234-1245.

　　[4]ZHANG Y,ZHANG J,GUO X.Kindling the Darkness:A Practical Low-light Image Enhancer[C]//Proceedings of the 28th ACM International Conference on Multimedia.Seattle,USA:ACM,2020:456-467.

　　[5]LIU Z,LIN Y,CAO Y,et al.Swin Transformer:Hierarchical Vision Transformer Using Shifted Windows[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision.Montreal,Canada:IEEE,2021:123-134.

　　[6]CHEN R,ZHANG W,CAO J,et al.Retinexformer:A Transformer-based Retinex Network for Low-light Image Enhancement[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Vancouver,Canada:IEEE,2023:9876-9885.