基于改进 DCGAN 的 XLPE 电缆局放数据增强方法*论文

2023-05-27 15:02:59 来源: 作者:xieshijia
摘要:针对深度卷积生成对抗网络(DCGAN)在扩充XLPE电缆局部放电样本时存在的训练不稳定、收敛速度较慢等问题,从算法和模型结构两方面对DCGAN进行改进,并提出一种基于Wasserstein距离的深度残差生成对抗网络。在算法方面,使用带梯度惩罚优化的Wasserstein距离代替JS散度,提升模型训练的稳定性;在模型结构方面,使用残差网络构建模型的生成器,加快模型的收敛速度;最后使用Inception Score、弗雷歇距离、识别准确率等评估指标衡量所提模型生成样本的质量。实验结果表明,与原始DC⁃GAN生
摘要:针对深度卷积生成对抗网络(DCGAN)在扩充XLPE电缆局部放电样本时存在的训练不稳定、收敛速度较慢等问题,从算法和模型结构两方面对DCGAN进行改进,并提出一种基于Wasserstein距离的深度残差生成对抗网络。在算法方面,使用带梯度惩罚优化的Wasserstein距离代替JS散度,提升模型训练的稳定性;在模型结构方面,使用残差网络构建模型的生成器,加快模型的收敛速度;最后使用Inception Score、弗雷歇距离、识别准确率等评估指标衡量所提模型生成样本的质量。实验结果表明,与原始DC⁃GAN生成样本相比,所提新模型的生成样本在Inception Score、弗雷歇距离等评估指标上的得分优化率均大于6.0%,并使AlexNet模型的识别准确率提高了4.0%,有效提升了DCGAN对于XLPE电缆局部放电样本的数据增强效果。
关键词:数据增强;XLPE电缆;DCGAN;局部放电
引言
交联聚乙烯(XLPE)电缆是城市配电网的重要设备之一,及时发现并处理XLPE电缆缺陷隐患对保障配电网稳定运行具有重要意义[1]。对XLPE电缆进行局部放电模式识别是获知绝缘缺陷类型的主要方法,可为工作人员制定检修计划提供依据[2]。随着深层神经网络的发展,许多专家选择在图像识别领域表现出色的卷积神经网络,作为电气设备局部放电模式识别的分类器,并取得了良好的识别效果[3]。然而,XLPE电缆正常运行时发生绝缘缺陷的频率较低,难以获取大量局部放电样本数据。虽然在实验室环境下可模拟制作XLPE电缆绝缘缺陷,但允许采集的局放样本依旧有限。卷积神经网络模型的训练离不开数量充足的样本[4],因此,选择合理的数据增强方法扩充局部放电数据集,是提高卷积神经网络模型在XLPE电缆局放识别领域应用效果的关键。
传统的数据增强方法主要是改变图像的数据形态,例如随机裁剪、图像旋转或翻转、缩放变形以及仿射等[5],但利用这些方法生成的样本过于单一。为了增加生成样本的多样性,研究者们通过对图像样本进行随机擦除、变化颜色、添加噪声来实现数据增强[6]。针对某些类型的样本数目过少而导致的不平衡数据集问题,CHAWLA N V[7]提出了SMOTE方法,该方法通过人工合成少数类样本使数据集趋于平衡,并成功应用于多个领域。生成对抗网络作为一种无监督的数据增强方法,是目前数据增强领域的研究热点[8]。该方法通过学习真实样本分布而产生大量与之相似的新样本,有效缓解了样本不足或样本分布不均等问题。
为了提高XLPE电缆局放生成样本的质量,本文提出了一种基于改进DCGAN的XLPE电缆局放数据增强方法。首先搭建XLPE电缆局部放电试验平台获取4类常见绝缘缺陷的局部放电,经预处理后得到局部放电二维灰度图;其次在DCGAN模型的基础上引入带梯度惩罚优化的Wasserstein距离和残差网络;最后,选择Inception Score(IS)、弗雷歇距离(FID)、识别率等评估指标验证本文所提新模型生成样本的质量。
1 DCGAN原理概述
深度卷积生成对抗网络(Deep convolutional genera⁃tive adversarial networks,DCGAN)是在生成对抗网络(Generative Adversarial Networks,GAN)基础上发展而来的一种新模型,主要由生成器和判别器两部分构成,如图1所示。其中,生成器的作用是获取样本数据分布并尽力地生成与真实样本相似的样本;判别器的作用是判断输入的样本是否为真实样本;生成器与判别器相互竞争,最终达到纳什均衡[9]。
式中:x为真实样本数据;Pr(x)为x的概率分布;E为数学期望;z为随机变量;Pg(z)为z的概率分布;D(·)为判别器判定该样本来自于真实样本分布的概率;V(D,G)为判别器和生成器的值函数。
理想状态下希望判别器的值函数取得最大值,生成器的值函数取得最小值,生成器与判别器的损失函数分别为:
在训练过程中,生成器和判别器交替迭代更新,先固定生成器训练判别器,更新判别器中的参数,然后再更新迭代生成器的网络参数,不断重复这个过程,直到两者达到纳什均衡。与GAN不同的是,DCGAN模型利用步长卷积代替上采样层,充分发挥卷积层能够提取样本深层次特征的优点,更利于生成器的训练。DCGAN模型摒弃了池化层并使用了批标准化技术,缓解了模式崩溃问题,有效提升了模型训练时的稳定性。
2 DCGAN的改进方法
2.1损失函数的改进
JS散度是生成对抗网络中常用的一种衡量真实分布与生成分布的方法,但JS散度存在一定的缺陷。当真实分布与生成分布没有重叠时,JS散度就会变成常数,导致模型训练不稳定。Wasserstein距离是一种新的分布度量距离,又被称作Earth-Mover(EM)距离[10]。Wasser⁃stein距离具有平滑性的优点,可以反映真实分布与生成分布之间的距离。Wasserstein距离越小,真实分布与生成分布之间的相似度就越高,如下所示:
2.2模型结构的改进
为了缓解DCGAN模型收敛速度较慢的问题,本文在DCGAN的生成器模型中引入残差结构,改进后的生成器模型结构如图2所示。改进后的生成器模型主要由噪声输入层、反卷积层、残差卷积层与图像输出层组成。其中,反卷积层1将输入尺寸为4×4×256的随机数据反卷积后,输出尺寸为8×8×256的数据至残差卷积层1;残差卷积层1包括恒等映射层、输出尺寸为8×8×128的卷积层1与输出尺寸为8×8×256的卷积层2;反卷积层2将输入尺寸为8×8×256的数据反卷积后,输出尺寸为16×16×128的数据至残差卷积层2;残差卷积层2包括恒等映射层、输出尺寸为16×16×64的卷积层3与输出尺寸为16×16×128的卷积层4;反卷积层3将输入尺寸为16×16×128的随机数据反卷积后,输出尺寸为64×64×128的数据至卷积层5;最后由卷积层后输出尺寸为128×128×3的图像。
判别器对输入的图像进行真假判断,并根据判断结果分别对生成器和判别器进行参数更新。本文设计的判别器模型由4个卷积层和1个全连接层组成。判别器模型结构示意图如图3所示。
2.3 WDRGAN模型
通过对DCGAN的算法和模型结构两方面进行改进,提出了结合梯度惩罚优化的Wasserstein距离的深度残差生成对抗网络(Wasserstein-Deepresidual Generative Adver⁃sarial Networks,WDRGAN),模型结构如图4所示。WDRGAN模型的生成器引入了残差结构,可将随机噪声转换为生成样本,并具有较高的收敛速度;WDRGAN模型的判别器用以判断输入的图像是真实样本还是生成样本;WDRGAN模型通过计算带有梯度惩罚的Wasserstein距离,并将结果反向传播,更新迭代生成器与判别器的网络参数。
3实验结果与分析
3.1获取局放数据
本文搭建的XLPE电缆局部放电试验如图5所示,该试验主要由升压部分、局部放电检测部分、XLPE电缆绝缘缺陷模型、示波器构成。在XLPE电缆上制作外半导电层爬电、绝缘内部气隙、主绝缘外表面划痕、主绝缘表面金属污秽等4种典型绝缘缺陷。
采集不同缺陷下的局部放电,并提取相应的工频相位φ和放电量q、放电次数n。将连续200个周期的局部放电信号转换为一张局部放电灰度图,最终得到700张局部放电灰度图,4种绝缘缺陷各占175张,转换后的4种绝缘缺陷灰度图如图6所示。
3.2结果及分析
3.2.1模型参数设置及训练
Wasserstein距离是描述WDRGAN模型训练过程的重要指标之一,可以衡量生成样本与真实样本的相似程度。为了验证本文所提模型的有效性,同时搭建了DCGAN模型与WDRGAN模型,将WDRGAN模型生成器的学习率设为0.000 1、迭代训练次数为500、BatchSize大小为16、采用Adma优化器和批标准化技术。
两种模型的Wasserstein距离的变化情况如图7所示。由图可知,两种模型的Wasserstein距离在训练期间均呈下降趋势,且WDRGAN模型在训练过程中的Wasserstein距离始终小于DCGAN模型。与DCGAN相比,WDRGAN模型的Wasserstein距离没有较大的波动,经过少次迭代后就具有了较小的数值。随着迭代次数的增加,WDRGAN模型的Wasserstein距离逐渐稳定在0值附近。
3.2.2数据增强效果分析
为了验证WDRGAN模型对XLPE电缆局部放电样本的增强效果,选取IS、FID,以及生成样本在经典卷积神经网络下的识别准确率3种评价指标,衡量两种模型生成样本的质量。
IS和FID是在图像数据增强领域中常用的生成样本评价指标。其中,IS值越大,表明生成样本的质量越好;FID值越小,表明生成样本的质量越好。两种模型生成样本的IS和FID得分数值如表1所示。由表可知,WDRGAN生成样本的IS得分在6.09左右,要高于DC⁃GAN的5.74,且得分优化率大于6.0%;WDRGAN生成样本的FID得分在18.13左右,要低于DCGAN的24.75,且得分优化率大于26.0%。
图8所示为两种模型生成样本的FID值的变化情况。由图可知,两种模型的FID值均随着模型训练次数的增加而减少,但两种模型经100次迭代后,其FID值趋于稳定。与DCGAN模型生成样本相比,WDRGAN模型生成样本的FID值的下降趋势更明显。
为进一步验证本文所提新模型对电缆局部放电灰度图的数据增强效果,将经典深度学习模型的识别率作为生成样本的评价指标之一。首先将局部放电灰度图的真实样本按5∶2的比例分为训练样本与测试样本,即700张真实样本被分为500张训练样本与200张测试样本;其次分别利用WDRGAN与DCGAN对500张训练样本进行扩充,得到两个样本数目为1 000的训练样本集,即WDRGAN训练样本集与DCGAN训练样本集;然后利用这两种训练样本集分别对AlexNet、VGG-Net、GoogLeNet、ResNet进行训练;最后利用数目为200测试样本集对这4种分类模型进行测试,得到识别率如表2所示。由表可知,使用WDRGAN生成的训练样本集训练4种深度学习模型,AlexNet、VGG-Net、GoogLeNet、ResNet四种模型的识别准确率分别为92.0%、85.0%、93.5%、94.5%;与DCGAN模型相比,分别提高了4.0%、5.5%、3.5%、1.5%,表明WDRGAN模型的生成样本,可以略微提高这4种经典深度学习模型对于XLPE电缆局部放电灰度图样本的识别准确率。
4结束语
针对DCGAN在扩充XLPE电缆局部放电样本时存在的训练不稳定、收敛速度较慢等问题,本文从算法和模型结构两方面对DCGAN进行改进,从而提出了一种WDRGAN新模型。在算法方面,WDRGAN模型使用带梯度惩罚优化的Wasserstein距离替代原网络中的JS散度,优化了判别器的损失函数;在模型结构方面,WDRGAN模型使用残差网络构建模型的生成器,提升了模型的收敛速度。最后通过设置IS、FID、识别准确率3种评价指标,多角度地评价了WDRGAN模型生成样本的质量。实验结果显示,WDRGAN模型在训练时的收敛速度更快,WDRGAN生成样本在IS、FID上的得分优化率均大于6.0%,验证了WDRGAN模型对于XLPE电缆局部放电样本的数据增强效果。
参考文献:
[1]王治.电力电缆绝缘状态在线监测研究进展[J].机电工程技术,2021,50(11):215-219.
[2]唐志国,唐铭泽,李金忠,等.电气设备局部放电模式识别研究综述[J].高电压技术,2017,43(7):2263-2277.
[3]朱煜峰,许永鹏,陈孝信,等.基于卷积神经网络的直流XLPE电缆局部放电模式识别技术[J].电工技术学报,2020,35(3):659-668.
[4]周飞燕,金林鹏,董军.卷积神经网络研究综述[J].计算机学报,2017,40(6):1229-1251.
[5]林成创,单纯,赵淦森,等.机器视觉应用中的图像数据增广综述[J].计算机科学与探索,2021,15(4):583-611.
[6]朱晓慧,钱丽萍,傅伟.图像数据增强技术研究综述[J].软件导刊,2021,20(5):230-236.
[7]Chawla N V,Bowyer K W,Hall L O,et al.SMOTE:synthetic mi⁃nority over-sampling technique[J].Journal of artificial intelli⁃gence research,2002,16(1):321-357.
[8]梁俊杰,韦舰晶,蒋正锋.生成对抗网络GAN综述[J].计算机科学与探索,2020,14(1):1-17.
[9]曹仰杰,贾丽丽,陈永霞,等.生成式对抗网络及其计算机视觉应用研究综述[J].中国图象图形学报,2018,23(10):1433-1449.
[10]Arjovsky M,Chintala S,Bottou L.Wasserstein GAN[J].arXiv:1701.07875,2017.
