学术论文投稿/征稿

欢迎您!请

登录 注册

手机学刊吧

学刊吧移动端二维码

微信关注

学刊吧微信公众号二维码
关于我们
首页 > 学术论文库 > 理工论文 基于决策级融合的曳引钢带表面缺陷检测方法论文

基于决策级融合的曳引钢带表面缺陷检测方法论文

16

2024-07-16 11:52:24    来源:    作者:zhouxiaoyi

摘要:由于电梯曳引钢带的工况环境恶劣,钢带表面容易出现缺陷,而复杂昏暗的环境导致缺陷识别和定位困难。为此,提出了基于决策级融合的曳引钢带缺陷检测方法,利用迁移学习的方法微调YOLOv4及SSD的预训练模型,并将其应用于曳引钢带缺陷检测,得到不同的原始检测结果,利用所提方法在决策级融合YOLOv4及SSD模型的原始检测结果,以此提高钢带表面缺陷识别和定位的准确率。

  摘要:由于电梯曳引钢带的工况环境恶劣,钢带表面容易出现缺陷,而复杂昏暗的环境导致缺陷识别和定位困难。为此,提出了基于决策级融合的曳引钢带缺陷检测方法,利用迁移学习的方法微调YOLOv4及SSD的预训练模型,并将其应用于曳引钢带缺陷检测,得到不同的原始检测结果,利用所提方法在决策级融合YOLOv4及SSD模型的原始检测结果,以此提高钢带表面缺陷识别和定位的准确率。利用东北大学钢带表面缺陷公开数据集对所提方法的有效性和可靠性进行测试,缺陷识别和定位结果表明所提方法能够充分利用YOLOv4和SSD模型的原始检测结果,通过决策级融合初始检测结果取得较高的缺陷识别和定位准确性,准确率和召回率提高约15%,交并比达到0.6左右,这对于电梯曳引钢带的缺陷检测和维修保养有重要意义,并进一步保证电梯能够安全可靠运行。

  关键词:曳引钢带;表面缺陷;缺陷检测;决策级融合;图像识别

  0引言

  电梯曳引钢带内部有若干平行布置的钢丝绳芯,并通过外部包裹的高分子聚合材料包覆层保护内部钢丝并提高钢带的性能,从而减少维护保养成本[1]。电梯曳引的工况复杂且载荷多变,曳引钢带在长时间运行过程中表面及内部极易产生各种损伤,不及时准确检测损伤则会进一步扩展,并产生安全隐患[2]。因此,曳引钢带表面缺陷检测对于维护曳引系统、保障电梯稳定运行具有重要意义。

  随着深度学习、机器学习等技术的发展,基于图像的钢带缺陷检测方法被广泛研究[3-4]。Chen等[5]基于深度学习提出一种适用于钢带的缺陷区域检测和分类方法,集成缺陷区域的检测结果和缺陷特征提取,并应用与自动化检测。Zhao等[6]提出一种钢带表面损伤的轻量级识别模型,用浅层特征增强模块来代替骨干网络中的第一个卷积结构,并引入协调注意机制,以保持模型的轻量级。Liang等[7]开发一种用于准确快速检测表面缺陷的轻量级检测网络,使用轻量级骨干网络提取特征,并利用深度动态卷积作为网络的基本结构,在自适应提取有效特征的同时降低了计算复杂度。

  其中,YOLO系列[8]和SSD模型[9]作为单阶段目标检测器,能以较高速度直接识别和定位缺陷,在电梯曳引钢带表面缺陷检测方面应用广泛[11]。但是,此模型训练困难,且检测速度和精度受图像质量影响大[12]。为解决此问题,本文提出基于决策级融合的曳引钢带表面缺陷检测方法,通过迁移学习微调YOLOv4及SSD预训练模型,以此得到钢带缺陷原始检测结果,利用所提方法在决策级融合YO⁃LOv4及SSD模型的原始检测结果,从而提高钢带表面缺陷识别和定位的准确率,最后利用钢带表面缺陷数据集进行训练和测试,以此验证所提方法的有效性和可靠性。

  1曳引钢带表面缺陷检测方法
  1.1检测系统

  电梯曳引钢带表面缺陷检测系统包括摄像头、图像传输系统、图像存储系统、缺陷识别与显示系统和相应的软件系统,如图1所示。

image.png

  利用摄像头采集钢带图像,并利用图像传输、图像存储系统传输到上位机,结合软件部分进行缺陷识别与定位,并将最终结果通过显示系统进行显示,方便操作人员及时发现缺陷,并采取相应的处理措施,从而维护电梯曳引系统安全稳定运行。

  1.2检测方法

  由于YOLOv4和SSD模型结构庞大、训练困难,从原始开始训练模型耗时长且精度不高。为此,基于庞大公开数据集得到的预训练YOLOv4和SSD模型,结合钢带表面缺陷数据集对预训练模型进行微调和扩展训练,从而提高YOLOv4和SSD预训练模型的泛化性能[13]。其中,YOLOv4使用基于Microsoft COCO数据集的轻量化预训练模型,包含80个类别20万张图像[14],而SSD则是使用基于ImageNet的预训练模型,包含1 000个类别100万张图像[15]。将迁移后的YOLOv4和SSD预训练模型分别应用于钢带表面缺陷检测,得到两种原始检测结果。

  根据两个模型原始检测结果的分布和重叠情况,将YOLOv4和SSD模型的结果进行决策级融合,以此提出基于决策级融合的曳引钢带缺陷检测方法。通过交并比来衡量原始检测结果的重叠情况,计算如下:

image.png

  式中:RIOU是交并比率;AY和AS分别为YOLOv4和SSD模型的最大化可靠区域。

  对于RIOU大于50%的区域进行合并,而RIOU大于0而小于50%的区域则将重叠区域对等拆分,对于未重合的区域则分为两个区域,以此产生决策级融合的检测区域,并实现YOLOv4和SSD模型的决策级融合,如图2所示。

image.png

  2钢带表面缺陷数据集

  东北大学(NEU)公开了热轧钢带表面缺陷数据集,包括轧制氧化皮(Rolledin Scale)、斑块(Patches)、开裂(Crazing)、点蚀表面(Pitted Surface)、夹杂物(In⁃clusion)和划痕(Scratches)6种缺陷。该数据库包括1 800个灰度图像,每种缺陷的样本有300个,每个样本图像的尺寸为200×200,部分样本图像如图3所示[16]。

image.png

  为了方便样本中缺陷识别和定位的训练和测试,该数据集提供了缺陷注释,指示每个图像中缺陷的类别和位置,使用绿色框标注了缺陷的位置及其标签信息。为了训练YOLOv4和SSD模型并对其性能进行分析与测试,按照7∶3的比例将东北大学的钢带表面缺陷数据集划分训练和测试数据集,这样每类样本分别有210和90个训练和测试样本,总训练和测试样本包括6类,最终分别有1 260和540个训练和测试样本。

  3结果分析与讨论

  将训练样本输入到YOLOv4和SSD的预训练模型中,并以此进行迁移学习,模型参数如表1所示。其中,优化器使用的是SGDM(Stochastic Gradient Descent with Momentum)是在随机梯度下降(Stochastic Gradient De⁃scent,SGD)的基础上引入了动量机制,这样在参数更新时,不仅仅减去当前迭代的梯度,还减去了前一次迭代的梯度的加权。SGDM是当前迭代的梯度和之前迭代的累积梯度的加权影响,因此参数更新就可以保持之前更新趋势,而不会卡在当前梯度较小的点。

image.png

  此外,初始学习率为0.001,初始学习率能够满足让损失尽可能快地降低,且在后续的训练过程中根据实际的结果进行调整。由于训练样本不是特别多,单次训练的样本数控制在16个,以此单次训练达到78次以上,从而实现小批量训练和测试。为了满足训练次数和达到收敛,训练周期为40次,结合单次训练78次,一共训练3 120次。

  训练完成后,利用测试集分析缺陷识别和定位效果。以某斑块缺陷为例,原始YOLOv4和SSD模型的检测结果如图4所示。其中,红色框和蓝色框分别为YOLOv4和SSD模型结果,绿色框实际结果。可以看出,YOLOv4原始结果覆盖面积较大,且部分结果相互重叠,而SSD模型的原始结果覆盖面略小,且分布较为分散。此外,YOLOv4原始结果有两个检测框,SSD原始结果有4个检测框,这都与实际3个检测框的结果不同。

image.png

  利用所提方法将原始检测结果进行决策级融合,融合后的结果用黄色框表示,如图5所示。在决策级融合后,检测框变成了3个,这与实际的结果一致,且结果更为集中可靠,此结果证明了所提方法的有效性。

image.png

  此外,根据检测结果与实际结果的IOU,计算决策级融合前后的准确率和召回率,以此定量分析所提方法的有效性,并能根据实际检测框与模型检测框的相近程度定量确定缺陷识别和定位的准确性和可靠性。其中,对于重叠率大于50%的结果,此结果与实际真实值有超过一半以上的重叠,此结果能视为有效。而对于重叠率小于50%的结果,则视为结果是无效的,综合统计所有检测结果中不同检测框与实际检测框的重叠率,以此得到准确率和召回率,此计算如下所示[17]:

image.png

  式中:RPr和RRr分别为准确率和召回率,TP、FP和FN分别为真正结果、假正结果和假负结果。

  以图4~5为例,分别计算决策级融合前后缺陷检测结果的准确率、召回率和重叠率,结果如表2所示。可以看出,由于直接对图像进行检测,YOLOv4和SSD模型得到的原始检测区域与实际检测框之间存在较大的偏差,导致检测的准确率分别为50%和75%,是所有结果中最低的准确率。相较于原始结果,经过最大化可靠处理后,虽然YO⁃LOv4模型最大化可靠区域的召回率和重叠率有所下降,但是准确率有所提高。相对的,利用所提方法求解SSD模型的最大化可靠区域,与实际结果对比,准确率和召回率保持不变,但是最大化可靠区域的重叠率有所提高,达到了75%。

image.png

  此外,利用所提决策级融合方法处理YOLOv4模型和SSD模型的最大化可靠区域后,得到了决策级融合结果,经过计算发现此结果的准确率、召回率和重叠率3个指标全部提高,其中准确率和召回率达到100%,准确率分别较YOLOv4模型和SSD模型提高了50%和25%,而召回率则分别较YOLOv4模型提高了66.67%,验证了所提方法对于钢带表面缺陷识别的准确性。另一方面,经过决策级融合后,所提方法的得到的决策级融合结果的重叠率也超过90%,此结果进一步证明所提方法的有效性和可靠性。

  基于测试数据集,采用上述3个指标分别计算不同样本的检测结果,并以平均结果评价不同样本的检测准确率,最终平均结果如表3所示。

image.png

  可以看出,YOLOv4和SSD模型在不同类型样本中的表现不同,YOLOv4模型在开裂、点蚀表面、轧制氧化皮3类准确率高,在斑块、轧制氧化皮两类上召回率和重叠率高,而SSD模型则相反。此外,YOLOv4和SSD模型的原始结果表现不佳且不稳定,这不利于钢带缺陷的识别。与之相对,所提方法在经过决策级融合后,充分结合两种模型的检测结果,并在所有类型样本中取得最高的准确率、召回率和RIOU。其中,准确率和召回率提高约15%,RIOU则达到60%左右,这有利于钢带表面缺陷的识别和定位。

  4结束语

  本文设计了电梯曳引钢带表面缺陷检测系统,在分析钢带表面缺陷特点的基础上,结合迁移学习研究了YOLOv4和SSD预训练模型,利用钢带表面缺陷数据集进行预训练模型的微调,并以此提出了基于决策级融合的曳引钢带表面缺陷检测方法,将其在钢带表面缺陷数据集进行了应用和测试,结论如下。

  (1)本文使用YOLOv4和SSD预训练模型提出了基于决策级融合的曳引钢带表面缺陷检测方法,并将其应用于钢带表面陷数据集,结果表明此方法能有效提高不同类型缺陷识别和定位的准确率和可靠性。

  (2)所提方法根据不同模型原始检测结果的重叠情况进行决策级融合,实现钢带表面缺陷的准确定位,检测结果较单一模型更加准确。

  (3)将所提方法应用于钢带表面缺陷数据集,结果表明决策级融合后缺陷检测准确率、召回率和RIOU大幅提高。准确率和召回率提高约15%,RIOU则达到60%左右,这有利于曳引钢带的检测、维修保养,并保证电梯的安全可靠运行。

  由于电梯曳引钢带环境恶劣,一旦钢带出现缺陷会在短时间内加剧并影响钢带性能,钢带表面的缺陷会导致包覆层的断裂,进而导致钢带钢丝绳芯的腐蚀、老化,对电梯的运行带来安全隐患。电梯曳引钢带实际工作过程种的缺陷图像采集较为复杂,未来需要继续完善缺陷图像采集的方式、方法,利用更丰富的实验数据进一步对所提方法的有效性和可靠性进行研究分析与性能测试。

  参考文献:

  [1]颜绍军.一种电梯钢带探伤仪的结构设计[J].机电工程技术,2021,50(6):229-231.

  [2]武向鹏.便携式电梯曳引钢带缺陷检测装置设计[J].工业控制计算机,2022,35(3):83-85.

  [3]LI Y S,XU S B,ZHU Z F,et al.EFC-YOLO:An Efficient Sur⁃face-Defect-Detection Algorithm for Steel Strips.[J].Sensors,2023,23(17):7619.

  [3]胡玉茹,葛爽,夏晓毛.基于图像识别和大数据预测的备品备件管理系统[J].机电工程技术,2022,51(1):164-167.

  [4]Chen H,Lin H,Xu Q,et al.Cross-domain transfer learning for galvanized steel strips defect detection and recognition[J].Jour⁃nal of Computing and Information Science in Engineering,2024,24(1):011006.

  [5]Zhao H,Wan F,Lei G,et al.LSD-YOLOv5:a steel strip surface defect detection algorithm based on lightweight network and en⁃hanced feature fusion mode[J].Sensors,2023,23(14):6558.

  [6]Liang Y,Li J,Zhu J,et al.A lightweight network for defect detec⁃tion in nickel-plated punched steel strip images[J].IEEE Trans⁃actions on Instrumentation and Measurement,2023,72:3505515.

  [7]KOU X P,LIU S J,CHENG K Q,et al.Development of a YO⁃LO-V3-based model for detecting defects on steel strip surface[J].Measurement,2021,182.

  [8]阎馨,杨月川,屠乃威.基于改进SSD的钢材表面缺陷检测[J].现代制造工程,2023(5):112-120.

  [9]王艳玲,苏盈盈,罗妤,等.基于SSD模型的钢带表面缺陷检测系统设计[J].重庆科技学院学报(自然科学版),2021,23(3):95-98.

  [10]Juan Terven,Diana Margarita Córdova Esparza,Julio Alejandro Romero González.A Comprehensive Review of YOLO Architec⁃tures in Computer Vision:From YOLOv1 to YOLOv8 and YO⁃LO-NAS[J].Machine Learning and Knowledge Extraction,2023,5(4):1680-1716.

  [11]郭必奔,邵鹏,郑波,等.面向曳引钢带缺陷检测的径向磁化电磁传感器仿真研究[J].传感器技术学报,2021,34(8):1021-1026.

  [12]张立,王桂棠,陈建强,等.迁移学习在热轧钢带表面缺陷分类中应用研究[J].机械设计与制造,2022(5):220-224.

  [13]刘昌平,刘海.基于两种分类标准的目标检测算法综述[J].计算机应用研究,2023,38(9):2582-2589.

  [14]TANG B,CHEN L,SUN W,et al.Review of surface defect de⁃tection of steel products based on machine vision[J].Iet Image Processing,2022,17(2):303-322.

  [15]ZHAO W L,SONG K C,WANG Y Y,et al.FaNet:Feature-aware network for few shot classification of strip steel surface defects[J].Measurement,2023,208.

  [16]胡挺峰.基于ML-kNN算法的大数据分类系统设计[J].信息与电脑(理论版),2022,34(1):71-73.