基于YOLOv5-GM的雾天环境下输电线路异物检测论文

2024-06-01 11:50:06 来源: 作者:zhoudanni
摘要:针对雾天条件下,输电线路上的异物图像分析和识别能力差,误报或遗漏关键信息的风险增加,提出一种基于YOLOv5的改进算法——YOLOv5-GM。采用暗通道先验去雾算法对雾天环境下的数据集进行去雾处理,将去雾处理后的数据集作为YOLOv5模型的输入;将YOLOv5算法的Neck网络替换为GFPN网络架构,在GFPN的基础上,在特征融合模块中引入CSPStage代替原始的3*3卷积操作,以提升特征融合效果。在实时检测过程中,去除了额外的上采样步骤,在不增加计算量的情况下实现更高的检测精度;基于优化后的Neck网
摘要:针对雾天条件下,输电线路上的异物图像分析和识别能力差,误报或遗漏关键信息的风险增加,提出一种基于YOLOv5的改进算法——YOLOv5-GM。采用暗通道先验去雾算法对雾天环境下的数据集进行去雾处理,将去雾处理后的数据集作为YOLOv5模型的输入;将YOLOv5算法的Neck网络替换为GFPN网络架构,在GFPN的基础上,在特征融合模块中引入CSPStage代替原始的3*3卷积操作,以提升特征融合效果。在实时检测过程中,去除了额外的上采样步骤,在不增加计算量的情况下实现更高的检测精度;基于优化后的Neck网络中在CSPStage模块添加CBAM注意力机制,提高模块的泛化能力。结果表明:在输电线路多类异物检测上,YOLOv5-GM模型的准确度P提高了2.5%,类别平均精度mAP提高了4.3%,F1得到显著提高,验证了所提模型的有效性。
关键词:暗通道先验,YOLOv5,GFPN,CBAM
0引言
输电线路作为电能的主要传输通道,长时间暴露在户外环境中,成为了多种外部干扰的目标[1]。由于风吹雨打和人类活动的干扰,垃圾袋、风筝、气球甚至是鸟巢[2]等异物,都可能在不经意间附着或悬挂在线路上[3]。这些看似微小的外部因素,如果不加以及时清理和管理,很可能导致线路发生短路或火灾等严重故障。因此,对输电线路的常态管理和维护,特别是对于可能附着在线路上的异物进行定期排查和清理,显得尤为关键和紧迫。
近年来,随着深度学习技术的迅速演进,卷积神经网络(CNN)等先进算法在目标检测领域的应用日益成熟和广泛。Zhao W等[4]基于RCNN采用特征金字塔网络(FPN)对Faster RCNN模型进行改进,提出了一种绝缘子识别与故障监测模型,对选定的目标区域进行背景噪声裁剪,并利用HSV色彩空间的自适应阈值算法进行有效的图像分割,结合线检测和图像处理技术,实现绝缘子故障智能检测与分析。Guo等[5]基于ZFNet、VGG-1021-M以及VGG16这3种特征提取网络与Faster RCNN算法的结合效果进行了深入的实验对比。经过详尽地分析与测试,在所有组合中Faster RCNN与VGG16的联合配置表现最为出众,实现了最高水平的平均精度,为目标检测领域带来了新的研究启示。Liu X等[6]提出了一种创新的SSD(Single Shot Multibox Detector)算法,专为输电线路绝缘子和间隔物的高效检测而设计。在特征提取部分,该算法整合了轻量级的MnasNet网络以生成高质量的特征图,同时采纳了2种先进的多尺度特征融合策略,有效地结合了不同层次的特征信息,该算法有效提高了绝缘子的监测准确率。Li J等[7]提出了一种改进YOLOv3算法,使其可以很容易地部署到嵌入式平台上而不会损失性能,首先将MobileNet网络替换YOLOv3的骨干网,其次对YOLOv3检测头进行优化,简化检测头结构,避免检测头冗余问题,最后在输电线路异物检测中引入轻量级网络,使得模型具有先进的检测性能。Qiu Z等[8]提出一种名为YOLOv4-EDAM的轻量级目标检测模型,专为可见光图像中的异物检测而设计。该模型采用SENet的MobileNetV2作为特征提取网络,使用深度可分离卷积(DSC)和卷积块注意力模块(CBAM)来优化模型结构,从而实现了更高的计算效率和检测准确性。Zhang D等[9]提出一种基于深度学习的轻量级检测网络,即YOLOv5-IC-ST算法,该算法通过改进YOLOv5模型中的CSPDarknet,将Swin Transformer集成到YOLOv5中,有效增强了模型的特征提取能力,减少了参数数量。
YOLOv5是目前应用最广泛的算法,近年来,研究者们通过改进YOLOv5模型的网络结构、添加模块等方法提升模型性能,但上述工作对于实际场景下异物检测还存在局限性,对模型复杂度、目标检测精度等因素缺乏考虑。针对此类问题,本文提出的YOLOv5-GM模型主要有如下优势。
(1)本文采用传统的暗道先验(Dark Channel Prior,DCP)去雾算法对原始数据集进行去雾处理,增加数据集图像的可见度和质量。
(2)引入一种新的广义FPN网络(Generalized FPN,GFPN)替换颈部网络,在GFPN的基础上进行改进和调整,提高网络的特征表示能力和计算效率,从而进一步提高目标检测的精度和速度,同时克服计算成本较高的问题。
(3)在CSPStage网络卷积层和Batch Normalization(BN)层的结构中进行重参数化和多分支融合后,引入CBAM(Convolutional Block Attention Module)注意力机制,注意力机制可以使网络更加关注重要的特征,抑制不重要的特征,从而提高检测精度。
1暗通道先验去雾算法
雾天环境下输电线路异物目标难以检测,识别精度较低,针对这一问题,本文使用暗通道先验算法[10],基于大气散射模型对图像进行去雾处理,通过仔细观察和对比大量雾天图像和无雾天图像,利用它们之间的映射关系对有雾图形进行逆运算以达到恢复清晰图像的效果。对于任意一张输入图像,定义其暗通道的数学表达式为:
式中:JC为J的颜色通道;Ω(X)为以X为中心的局部区域;X为光源和接收器之间的距离;上标C表示R、G、B 3个通道。对于非天空区域的无雾图像的暗通道趋于0。
1.1大气散射模型
大气散射模型广泛适用于图像处理的各大领域中,是经典的去雾模型。大气散射模型如图1所示。
物体反射光线进入摄像机中,但在进入摄像机的过程中物体反射光线将被雾吸收,导致物体发出光线不能全部发射到摄像机,到达摄像机的部分用透射率t(X)表示,A表示大气光照强度,I(X)表示待处理的雾图像,J(X)表示无雾图像,其模型公式为:
由式(2)可知大气散射模型将图像分解为场景光和大气光成像。其中,透射率t(X)的表达式为:
式中:β为散射系数;d(X)为景物深度。
透射率越小,雾越浓,大气光照入射到摄像机的光照就越强,图像将呈现泛白效果。
设全局大气光值A已知,每个窗口的透射率t(X)为常数,对式(2)两边进行变换并最小化处理,如式(4)所示。
传统论文中引入了常数ω(0<ω≤1),这个值的设置保留了一定程度的雾气以营造更贴近实际观感的效果。这样的处理不仅提高了图像的自然度,还使人们能够感知到景深的存在,进一步提升了视觉体验。具体为:(X)=1-ωmn[y由式(2)变换形式可知,当(X)趋于0时,分母为0,为了防止出现分母为0的情况,限制暗通道先验算法下界t0=0.1,表示在雾非常密集的区域,会保留少量的雾气,具体为:
由式(2)变换形式可知,当(X)趋于0时,分母为0,为了防止出现分母为0的情况,限制暗通道先验算法下界t0=0.1,表示在雾非常密集的区域,会保留少量的雾气,具体为:
1.2去雾处理
在不同环境条件下拍摄的输电线路含雾异物图像具有雾气浓度的显著变化,给图像去雾带来了挑战。由式(9)可知传统暗通道去雾算法使用固定的0.95透射率阈值,可能导致每张图像的去雾效果不一致。为了解决这个问题,通过实验验证选择了最佳透射率参数,确保在各种雾气浓度下都实现最佳去雾效果。对不同参数取值进行了对比,展示了不同阈值下的去雾效果,ω分别取0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95,不同阈值ω的去雾效果如图2所示。由图可知,将阈值设为0.95时,图像边缘及其异物部分的亮度明显减弱,并出现红色的过度饱和,可能影响视觉效果。而将阈值进一步降至小于0.9时,图像边缘显现出轻微的雾化,影响去雾处理和图像清晰度。因此,选择阈值为0.9,以确保图像清晰并最优化去雾效果,满足实际应用的高标准需求。
2 YOLOv5-GM算法
在雾天环境中,识别输电线路上的异物变得尤为困难。为此,在YOLOv5算法的基础上,创新性地提出了一种名为YOLOv5-GM的改进版本。该算法的核心改动包括对Neck网络的替代升级以及对替换后的C3模块进行精细化改进。研究旨在显著提高在雾天场景下输电线路异物的识别能力,进一步增强算法的鲁棒性和实用性。
2.1 YOLOv5算法
YOLOv5算法与历代YOLO算法相似,使用了网络概念,将图像分成多个网格,每个网格都可以产生一个预测框,用于负责预测一个或多个目标,确定真实框中心的坐标,并将其归一化到图像宽度和高度的范围内,将归一化坐标乘以网格数量以获得中心点所在的网格坐标,中心点所在网格坐标的整数部分即为真实框。YOLOv5算法承接了前4代YOLO算法的优点,模型体积较小、处理速度较快且检测精度有了很大的提升。YOLOv5的模型结构图如图3所示,其网络结构由Backbon主干网络、Neck网络和Head头部网络3个部分构成。
2.2 YOLOv5-GFPN
在特征金字塔网络结构中,多尺度特征融合的目标是整合主干网络中提取的各种分辨率特征。FPN(Fea-ture Pyramid Network)[11]是一个自顶向下的金字塔结构,YOLOv5的Nexk网络在此基础上引入了一个自底向上的路径以进一步增强特征金字塔网络的性能,其结构如图4所示。尽管FPN和PAN[12](自适应特征融合网络)组件金字塔在增强语义特征和定位特征方面展现出显著的优势,有效提高了目标检测在多尺度变化下的准确性,然而当应用于输电线路异物目标检测时,这种组合仍然存在某些明显的局限性。
因此引入GFPN[13]特征金字塔网络,它包含跳跃层和跨尺度连接。在GFPN网络中同一级别使用log2 n跳层连接,而在不同级别块之间进行跨尺度连接。跳层连接是GFPN中一种重要的连接机制,它在网络的不同层级之间建立了直接连接,包含Dense-link和log2n-link。GFPN中的跨尺度连接是一种连接不同尺度特征图的机制。图5所示为GFPN网络结构。
log2 n-link中最多log2 l+1层级联,在级别k中,第lth层从最多log2 l+1个先前层接收特征图,而这些输入层是以2为底,深度i为指数展开的,表示为:
为了更精确地捕捉输电线路异物在不同尺度下的特征,选择GFPN来替代YOLOv5的Neck网络结构。GFPN在处理不同尺度特征图时,为每个特征图分配特定的通道数,从而更好地适应各自的尺度特性。然而,尽管GFPN具有这些优势,但当直接用其替换时,基于卷积的跨尺度特征融合的性能仍显不足。
因此,本研究进一步对GFPN进行优化和调整。首先,精简了Queen-Fusion中的上采样操作,以减少计算复杂性并提高效率。其次,采用CSPNStage连接来替代原有的基于卷积的特征融合方法,这种更新的连接机制能够更有效地捕捉和整合不同尺度下的特征信息。通过这些改进,GFPN在异物特征学习中达到了更高的精度和鲁棒性。改进后的Neck网络如图6所示。
2.3 CSPStage模块优化
在特征融合模块中,本文使用图7所示的CSPStage模块替代了原始网络Neck网络中的C3模块,通过CSP-Stage层成功地融合了来自不同层级以及不同尺度的特征信息。CSPStage结构中BasicBlock_3×3_Reverse网络由RepConv[14]类构成,RepConv是RepVGG[15]网络中的一个关键组件,由标准卷积层(Conv)、批量归一化(BN)和修正线性单元(ReLU)组成。
与RepVGG整体设计一致,RepConv类可能还包括多分支结构,使得网络能够在不同的分支上学习不同层次的特征。本文采用两分支结构,将Conv层和BN层融合,通过简化网络结构、提高推断速度,并在不影响准确性的前提下减少参数数量,从而实现更高效的计算和更轻量级的模型。结构重参数化多分支融合结构图如图8所示。
式中:O为输出特征图;I为输入特征图;K1为3×3卷积层Channel的权重;B1为3×3卷积层Channel的偏置;K2为1×1卷积层Channel的权重;B2为1×1卷积层Channel的偏置;⊗为卷积运算。
BN的核心思想是对每个mini-batch的输入进行归一化,W(3)∈RC2×C1×3×3表示具有C 1输入通道和C 2输出通道3×3卷积层的内核投入渠道。W(1)∈RC2×C1表示具有C 1输入通道和C2输出通道1×1卷积层的内核投入渠道。μ(3)、σ(3)、γ(3)、β(3)作为3×3卷积后BN层的累积平均值、标准差和学习的比例因子和偏置。μ(1)、σ(1)、γ(1)、β(1)作为1×1卷积后的BN值。M(1)∈RN×C1×H1×W1作为输入,M(2)∈RN×C2×H2×W2作为输出。本文使用的是两分支结构,无单位分支,因此∀1≤i≤C2:
式中:M:,i,:,:为通过BN层输入特征图对应第i个通道的值;μ、σ、γ、β分别为BN层的累积平均值、标准差、学习平方因子和偏置;等式前面的i表示BN层之后第i个通道数据。
为了增强输电线路异物检测任务相关的特征通道,提高模型的区分能力和检测准确性,本文在RepConv中引入了CBAM注意力机制。CBAM结合了通道注意力和空间注意力两大机制,以实现对网络中特征图的自适应优化。通道注意力首先利用全局平均池化来提取每个通道的全局特征描述,随后通过全连接层和激活函数来计算每个通道的权重,进而实现对特征图的加权调整。与此同时,空间注意力采用最大池化和平均池化来提取特征图的最大值和平均值特征。然后,通过特定的卷积操作将这2种特征结合,生成1个反映图像空间结构信息的权重图。通过这种综合的注意力机制,CBAM能够更加精细地调整和优化特征图,从而提升模型在各种计算机视觉任务中的性能和鲁棒性。优化后其模型如图9所示。
3实验结果分析
3.1评价指标
为确保对算法性能进行深入、全面的评估,采纳了一系列评价标准。具体而言,这些评价指标包括精确度P(Precision)、召回率R(Recall)和平均值平均精度PmAP(mean Average Precision)。这些标准被广泛认为是衡量目标检测算法性能的有效指标,它们能够准确地描述算法在不同场景和条件下的识别准确性。为了精确评估,本文引用以下4个参数,用来计算目标检测算法的性能指标:NTP(Truth Positive)为被预测为正例的正样本数;NTN(Truth Negative)为被预测为负例的正样本数;NFP(Flase Positive)为被预测为正例的负样本数;NFN(Flase Negative)为被预测为负例的正样本数。
3.2消融实验
为深入探究CBAM模块在CSPStage模块中的优势,进行一系列消融实验。首先,在基础模块BasicBlock_3×3_Reverse中分别集成了4种不同的注意力机制:SE(Squeeze-and-Excitation)[16]、CA(Channel Attention)[17]、ECA(Efficient Channel Attention)[18]以及CBAM[19],与YO-LOv5-GFPN构成了YOLOv5-GFPN-SE、YOLOv5-GFPN-CA、YOLOv5-GFPN-ECA和YOLOv5-GM共4种改进模型,将这5种改进后的模型与YOLOv5和YOLOv5-GFP在同一数据集上进行了对比实验。结果如图10和图11所示。
3.3实验结果对比分析
基于去雾数据集对多种目标检测模型进行全面的对比实验,与目标检测模型Faster-RCNN[20]、SSD[21]、YO-LOv3以及YOLOv4相比,结果如表1所示。尽管Faster-RCNN在检测防振锤这一特定类别上略领先于本文算法,但在其他多个类别上,包括P、PAP和PmAP,本文算法均实现了更高的准确性和性能。实验结果充分证明了本文算法的有效性和优越性,使得它在目标检测任务中展现出显著的整体效果和潜力。
由表1可知,本文YOLOv5-GM算法的PmAP为94.5%,相较于Faster-RCNN、SSD、YOLOv3、YOLOv4和YOLOv5算法分别提高了8.82%、36.13%、23.4%、9.98%和4.3%。虽然防振锤的P和绝缘子的PAP略低于YOLOv5,但其他类别的P和PAP均高于其他算法,仍能保证本文算法在输电线路异物检测中检测性能最佳。
为进一步说明改进算法的有效性,将改进前后类别的F1值进行比较。F1是评估模型在检测任务中的精确度和召回率的一个综合指标,一般取值在0到1之间,数值越接近1越好,说明模型能够在检测任务中取得较为平衡的表现。其计算公式如式(15)所示。
改进算法F1对比如图12所示。由图可知,本文YO-LOv5-GM算法相比于其他传统算法每个类别的F1值均有不同程度的提高,表示本文算法在输电线路异物检测中具有较高精度和够召回率。
4结束语
针对雾天环境下输电线路异物检测中普遍存在的误检和漏检问题,提出了一种基于YOLOv5的检测算法YOLOv5-GM。首先,采用暗通道先验去雾算法对原始数据进行预处理,从而显著提升了数据集的质量和清晰度。其次,采用GFPN结构替换YOLOv5中的Neck网络,并对GFPN网络进行优化和调整,以提高其在不同尺度特征融合方面的效果。最后,为进一步优化模型的性能,在CSPStage模块中引入SE、CA、ECA、CBAM注意力机制进行对比分析,得出最优结果,以更加精细地捕获和关注关键信息。通过以上创新和优化,本文算法在雾天环境下的输电线路异物检测任务中P、PAP、PmAP和F1都有所提升,为异物检测领域的研究和应用提供了更为强大和可信的工具。在未来的研究工作中,将持续深入研究和探索目标检测算法,在更为复杂和挑战性的环境条件下,进一步提升输电线路异物检测的准确性和精度。
参考文献:
[1]杨利波,杨嘉妮,贺学敏.基于YOLO目标检测算法的输电线路检测[J].电力信息与通信技术,2022,20(8):99-105.
[2]赵霖,王素珍,邵明伟,等.基于改进YOLOv5的输电线路鸟巢缺陷检测方法[J].电子测量技术,2023,46(3):157-165.
[3]陈杰,唐占元,安之焕,等.基于无人机采集图像的输电线路异常检测方法研究[J].电测与仪表,2023,60(7):122-127.
[4]ZHAO W Q,XU M F,CHENG X F,et al.An insulator in trans-mission lines recognition and fault detection model based on im-proved faster RCNN[J].IEEE Transactions on Instrumentation and Measurement,2021,70:5016408.
[5]GUO S Q,BAI Q L,ZHOU X X.Foreign object detection of transmission lines based on faster R-CNN[C]//KIM K,KIM HY.Information Science and Applications.Singapore:Springer,2020:269-275.
[6]LIU X,LI Y,SHUANG F,et al.ISSD:improved SSD for insula-tor and spacer online detection based on UAV system[J].Sen-sors,2020,20(23):6961.
[7]LI J,NIE Y H,CUI W P,et al.Power Transmission Line Foreign Object Detection based on Improved YOLOv3 and Deployed to the Chip[C]//Proceedings of the 2020 3rd International Confer-ence on Machine Learning and Machine Intelligence.September 18-20,2020,Hangzhou,China.ACM,2020:100-104.
[8]QIU Z B,ZHU X,LIAO C B,et al.A lightweight YOLOv4-EDAM model for accurate and real-time detection of foreign ob-jects suspended on power lines[J].IEEE Transactions on Power Delivery,2023,38(2):1329-1340.
[9]ZHANG D S,ZHANG Z G,ZHAO N,et al.A lightweight modi-fied YOLOv5 network using a swin transformer for transmission-line foreign object detection[J].Electronics,2023,12(18):3904.
[10]HE K M,SUN J,TANG X O.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.
[11]SHIN S,HAN H,LEE S H.Improved YOLOv3 with duplex FPN for object detection based on deep learning[J].The Interna-tional Journal of Electrical Engineering&Education,2021:002072092098352.
[12]JIANG P Y,ERGU D J,LIU F Y,et al.A review of yolo algo-rithm developments[J].Procedia Computer Science,2022,199:1066-1073.
[13]JIANG Y Q,TAN Z Y,WANG J Y,et al.GiraffeDet:a heavy-neck paradigm for object detection[EB/OL].2022:arXiv:2202.04256.http://arxiv.org/abs/2202.04256.
[14]SOUDY M,AFIFY Y,BADR N.RepConv:a novel architecture for image scene classification on Intel scenes dataset[J].Interna-tional Journal of Intelligent Computing and Information Scienc-es,2022:1-11.
[15]DING X H,ZHANG X Y,MA N N,et al.RepVGG:making VGG-style ConvNets great again[C]//2021 IEEE/CVF Confer-ence on Computer Vision and Pattern Recognition.Nashville:IEEE,2021:13728-13737.
[16]HU J,SHEN L,SUN G.Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake:IEEE,2018:7132-7141.
[17]BASTIDAS A A,TANG H L.Channel attention networks[C]//
2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.Long Beach:IEEE,2019:881-888.
[18]ZHAO H Y,KONG X T,HE J W,et al.Efficient image super-resolution using pixel attention[M]//Computer Vision–ECCV2020 Workshops.Cham:Springer International Publishing,2020:56-72.
[19]WOO S,PARK J,LEE J Y,et al.CBAM:convolutional block at-tention module[C]//European Conference on Computer Vision.Cham:Springer,2018:3-19.
[20]ZHANG L,WANG M Y,DING Y H,et al.MS-FRCNN:a multi-scale faster RCNN model for small target forest fire detec-tion[J].Forests,2023,14(3):616.
[21]SEHWAG V,CHIANG M,MITTAL P.SSD:a unified frame-work for self-supervised outlier detection[EB/OL].2021:arXiv:2103.12051.http://arxiv.org/abs/2103.12051.
