摘要：卷积神经网络在暗图像增强方面具有广泛的应用。本文对多分支弱光增强网络模型进行了概述,并在此基础上加以改进,对多分支弱光增强网络的输出图像进一步做伽马校正,通过主观评价和客观质量评价两方面证明改进模型的输出图像效果更优,不仅保留了多分支弱光增强网络模型的优点,而且在颜色过渡、图像亮度、对比度等方面图像效果更好。

　　关键词：卷积神经网络；暗图像增强；伽马校正

　　0引言

　　图像是人类获取信息的重要来源,当图像不清晰时,人类往往不能获取正确的信息。所以越来越多的研究者将精力投入到暗图像处理领域。目前,针对低照度图像增强的研究方法可分为传统方法与深度学习方法两类。

　　传统方法可分为基于直方图均衡化方法[1]和基于Retinex理论[1,2]的方法。直方图均衡化方法对单个像素进行优化达到整体亮度和对比度提升,但是这种全局增强方法并不考虑图像内部的亮度分布信息,会忽略区域像素之间的关联导致细节信息破坏。基于Retinex理论的方法从图像光照信息中恢复图像亮度和颜色信息,考虑了图像区域特征的关联性,但对于不均匀光照会造成颜色失真伪影现象。

　　深度学习的方法一般是端到端的从弱光图像中学习正常光照图像,这类方法效率高泛化能力强但对于硬件要求较高。前人提出很多优秀的神经网络结构。如LLNet[3]：在去噪自编码的基础上提出一种堆叠式去噪自编码器实现弱光图像增强和去噪功能,但源码较难实现且针对单通道灰度图。Retinex-Net[3]：基于Retinex分解+增强网络模型,这种结构方便实现但是测试增强图像有颜色失真。

　　本文是基于深度学习的方法,在多分支弱光增强网络模型—MBLLEN[4]的基础上做了进一步的改进,即对增强后的输出图像做伽马校正[5]后再输出。MBLLEN网络通过CNN卷积层将图像丰富的特征提取到不同的层次,使用多个子网进行同时增强,最后将多分支输出结果融合成最终增强图像,达到从多方面提高图像质量的效果,在保留该效果的基础上,本文通过伽马校正调节图像的对比度,减少图像的光照不均和局部阴影,进一步增强图像效果,使之与未失真图像更为接近。

　　1方法论

　　1.1 MBLLEN原理[4]回顾

　　本文在多分支弱光图像增强网络模型MBLLEN的基础上进行算法改进,首先本文对MBLLEN网络进行原理简述。

　　该模型由三个部分构成：特征提取模块、增强模块、融合模块。

　　(1)特征提取模块FEM：从不同的卷积层提取图像特征。该模块由单向10层网络结构构成,32个卷积步长为1的3×3卷积核,激活函数为ReLU,没有池化处理表面特征损失,每一层的输出同时是下一个特征提取卷积层的输入和增强模块对应卷积层的输入。

　　(2)增强模块EM：对每一个子网络分别进行增强处理,达到从多个方面增强图像特征的效果。该模块包含和FEM卷积层相同数量的子网络,且子网络结构相同,都是1卷积层(8个3×3卷积核、步幅为1、ReLU激活函数)＋3卷积核(16个5×5卷积核、步幅为1、ReLU激活函数,padding=0)＋3反卷积(5×5卷积核个数分别为16/8/3、步幅为1、ReLU激活函数)

　　(3)融合模块FM：将增强子网络的输出结果融合成最终增强图。该模块融合所有从EM子网输出的图像,使得3通道1×1卷积核得到最终增强结果。

　　另外,本文采用的损失函数：结构损失+内容损失+区域损失。如公式(1)所示：

　　Loss=LStr+LVGG/i,j+LRe gion(1)

　　第一项：结构损失Structure loss

　　主要减小增强图像对于Label图像的结构扭曲和畸变,借用LLCNN中的SSIM损失函数,使用SSIM和

　　MS-SSIM之和表示结构损失,如公式(2)所示：

　　LStr=LSSIM+LMS−SSIM(2)

　　其中：

　　LSSIM=-p·(3)

　　第二项：内容损失Context loss

　　通过最小化增强图像和Label图像在预训练VGG-19网络输出的绝对差值,表征增强图像的内容损失。如公式(3)所示：

　　LVGG/i,j=||Φi,j(E)x,y,z−Φi,j(G)x,y,z||(4)

　　式中,E和G分别表示增强图像和Label图像,Wi,j、Hi,j、Ci,j分别表示预训练VGG网络的额三通道的对应特征图维度。Φi,j表示VGG-19网络第j卷积层,第i块的特征图。

　　第三项：区域损失Region loss

　　考虑到弱光图像光照不均匀性,通过分割图像40%最暗像素值来近似估计整个图的暗光区域,得如下损失函数如公式(5)所示：

　　LRe gion=ωL·nLΣmLΣ(||EL(i,j)-GL(i,j)||)+(5)ωH·1 nHΣmHΣ(||EH(i,j)-GH(i,j)||)mH nH i=1 j=1

　　式中,EL和GL分别表示增强图和Label图的弱光区域,EH和GH分别表示增强图和Label图的其他区域,系数ωL和ωH设为4和1。

　　1.2本文算法改进理论

　　根据上述,MBLLEN模型是通过CNN卷积层将图像丰富的特征提取到不同的层次,使用多个子网进行同时增强,最后将多分支输出结果融合成最终增强图像,达到从多方面提高图像质量的效果。本文在使用MBLLEN模型做暗图像增强的基础上,进行了以下改进,具体如下。

　　通过已训练好的CNN模型对暗图像进行增强后的输出图像在亮度、对比度、亮度不均匀等方面仍然与原图像存在一些差距,因此本文通过对输出图像进行伽马校正来改善上述这些问题。

　　Gamma校正[6]公式为：f(x)=xγ,即输出是输入的幂函数,指数为γ。

　　(1)当γ＜1时,在低灰度值区域内,动态范围变大,进行图像对比度增强；在高灰度值区域内,动态范围变小,图像对比度降低。同时,图像整体的灰度值变大。

　　(2)当γ＞1时,低灰度值区域的动态范围变小,高灰度值区域在动态范围变大,降低了低灰度值区域图像对比度,提高了高灰度值区域图像对比度。同时,图像整体的灰度值变小。

　　(3)当γ＝1时,输入输出保持一致。

　　通过对比发现,原MBLLEN模型对测试图像进行增强后的图像相比于原图像来说总体灰度值较低,因此本文采用γ＜1的伽马校正来改善效果。通过对多个伽马值的测试,本文认为γ=0.9时的图像校正效果较好,与原图像在亮度、对比度等方面更为接近。

　　2实验分析

　　2.1数据集

　　本研究的数据集基于PASCALVOC图像数据集[4],通过合成生成了大量微光图像。MBLLEN模型是在PASCAL VOC数据集中选择16925幅图像来合成图像训练集,验证集56张图像,测试集144张图像。在此训练集上,训练出MBLLEN模型,并通过测试集进行效果测试。本文仍然运用该测试集对本文加入伽马校正[5]后的模型进行图像增强测试,并取得了良好的效果。

　　2.2实验平台及参数设置

　　本项目在Anaconda集成环境里的Python编辑器里得以实现,所需Python库为Tensorflow 1.6.0、Keras 2.2.0、Opencv-python 3.4.2。MBLLEN模型在Titan-X GPU上进行训练,批处理大小为24,图像块大小设置为256×256×3,迭代5000次。在实验中,使用ADAM optimizer算法以一定的学习率进行训练,其中,a=0.002,β1=0.9,β2=0.999,ϵ=10-8。通过进行学习率衰减,在下一轮训练前,将学习率降低到95%。

　　2.3主观评价

　　为了评估本文算法的性能,将本文算法与MBLLEN

　　原有模型算法进行视觉上的主观对比。本文仍然采用MBLLEN中的PASCAL VOC图像数据集,选取大量图像进行测试,部分效果图如图1~图3所示。
       

　　从上述罗列出的情况可以看出,改进后的方法在图像细节方面较之前来说清晰度稍有改善、对比度有所增强,如图2骑车人的鞋子,可以更明显地看出花纹的分界处；图3小猫后面的家具花纹也比原恢复出来的图像更加清晰,对比度有所提升。在亮度方面,从这3幅不同的图像都可以看出,改进代码后恢复出来的图像在亮度和色彩均匀度方面更接近原图像,如图1的人脸颜色,在保证原有清晰度的同时,亮度方面与原图更相近；图3小猫背上的花纹颜色过渡,要较原方法恢复出的图像更自然、更平滑,颜色也没有过亮,而是更接近原图像。

　　2.4客观指标评价

　　显然主观质量的评价并不充分,可能会因设备显示器差异、用户对不同色彩的敏感度不同等产生分歧。为了进一步验证本文算法的可行性,本文使用峰值信噪比(PSNR)[1]、结构相似度指数(SSIM)[1]、图像信息熵[1]

　　这3类方法对图像质量进行评估。其中PSNR和SSIM都是计算Ground Truth与MBLLEN、Ground Truth与Ours之间的指标值,并进行对比；而信息熵是分别计算MBLLEN与Ours所包含的平均信息量,并进行对比。则用SSIM、PSNR、信息熵对上述3个示例进行定量比较的结果如表1所示。

      图像信息熵是从信息论的角度反映图像信息丰富程度,信息熵越大,其信息量就越丰富,质量越好；PSNR用来表示图像的逼真度,PSNR值越大,表明待评价图像与参考图像之间的失真较小,图像质量较好；SSIM对原始图像与失真图像分别从亮度、对比度、结构3个方面的相似性进行比较。其值的范围在0~1之间,SSIM值越大,图像质量越好。由表1可以看出,本文改进后的算法效果优于原有算法。

　　2.5其他情况说明

　　在本文对大量图片测试的过程中,极少数图像还出现了以下的情况：改进算法后输出图像与原图像的PSNR值比原输出图像与原图像的PSNR值低或者信息熵降低的情况,但SSIM值都有相应程度的增加。对此,本文通过如图4、图5所示进行说明。它们对应的PSNR、SSIM、信息熵等指标值如表2所示。根据相关理论知识,PSNR具有一定的局限性,它不一定能准确地反映主观的图像质量值,相同的PSNR值并不一定表示其主观的质量一样,主观上感觉不好的图像它的PSNR值可能高。而SSIM充分考虑了人眼视觉特性,该评价方法与主观视觉质量基本保持一致。因此在PSNR值降低而SSIM值增加的情况下,结合上述2幅图像的主观视觉效果,仍可说明通过本文算法得到的图像的效果较之前有改善。

　　综上所述,无论是从主观视觉效果还是客观定量分析比较,都可以看出本文算法得到的增强后的图像效果更好,具有可行性。

　　3结语

　　本文从深度学习的角度实现对暗图像进行增强的功能,核心是卷积神经网络,在已有先进方法—多分支弱光增强网络的基础上,对其进行改进,具体为对增强后的图像进行伽马校正,使最后增强后的图像比原代码增强后的图像更加清晰,对比度有所提升,且在亮度和色彩均匀度方面更接近原图像,过渡区域更加自然、平滑。正文中的主观视觉效果和客观评价数据均显示本文算法在暗图像上的增强效果更强,可见本文算法具有可行性,且使用范围广泛。本文算法可应用于工业生产、视频监控、智能交通、遥感与监控等诸多领域,如在实际应用场景中,在光照条件难以得到保证的不利条件下所获得的暗图像[2],可通过本项目算法实现暗图像

　　参考文献

　　[1]王绍权.低照度视频图像增强技术研究[D].兰州:兰州交通大学,2020.

　　[2]李江华,王坤.一种基于卷积神经网络的低光照图像增强方法[J].江西理工大学学报,2020,41(5):73-79.

　　[3]LORE K G,AKINTAYO A,SARKAR S.LLNet:A Deep Autoencoder Approach to Natural Low-light Image Enhancement[J].Pattern Recognition,2017,61:650-662.[4]LV F F,LU F,WU J H,et al.MBLLEN:Low-Light Image/Video Enhancement Using CNNs[C]//BMVC.2018:220.

　　[5]陈亮,林增.基于gamma校正的多尺度Retinex的预处理算法研究[J].武夷学院学报,2018,37(09):68-74.

　　[6]阿卡蒂奥.图像处理—gamma矫正/Python[OL].(2018-03-25)[2022-04-16].https://blog.csdn.net/akadiao/article/details/79679306.