基于CNN算法的电表箱巡视自动导航及缺陷识别系统论文

2023-09-22 17:15:24 来源:SCI论文网 作者:wangye
摘要:针对现有的现场人工巡检电表方式难以快速、准确、及时地判断出电表箱是否存在缺陷的问题,提出一种基于CNN算法的电表箱巡视自动导航及缺陷识别系统。对表箱历史缺陷数据的特征进行抽取及分析,利用神经网络算法模块对上传的表箱图片的特征值进行细粒度的信息提取;通过整合目标的状态识别信息及其位置坐标信息,实现对表箱不同缺陷的识别分析和自动巡航定位。整体外观的完好度、箱门状态、视窗状态、门锁状态、电表箱下螺丝的情况等的智能化识别率分别达到了81.67%、83.12%、90.20%、87.37%、92.23%。结果表明:利
摘要:针对现有的现场人工巡检电表方式难以快速、准确、及时地判断出电表箱是否存在缺陷的问题,提出一种基于CNN算法的电表箱巡视自动导航及缺陷识别系统。对表箱历史缺陷数据的特征进行抽取及分析,利用神经网络算法模块对上传的表箱图片的特征值进行细粒度的信息提取;通过整合目标的状态识别信息及其位置坐标信息,实现对表箱不同缺陷的识别分析和自动巡航定位。整体外观的完好度、箱门状态、视窗状态、门锁状态、电表箱下螺丝的情况等的智能化识别率分别达到了81.67%、83.12%、90.20%、87.37%、92.23%。结果表明:利用所设计的系统可以减少表箱寻找时间及台账手动更新时间,降低辖区内表箱存在问题误判和漏判概率,提升工作效率,提高企业的服务和管理能力。
关键词:卷积神经网络;电表箱;自动巡视;自动导航;缺陷识别
Automatic Navigation and Defect Recognition System for Ammeter Box Inspection based on CNN Algorithm
Shu Chengye,Zhang Jianshu,Yang Jian,Hu Weijun,Jiang Rong,Liu Zhishuai
(State Grid Zhejiang Electric Power Company Jinhua Power Supply Company Wucheng Power Supply Branch,Jinghua,Zhejiang 321000,China)
Abstract:It is difficult to judge whether the ammeter box has defects quickly,accurately and timely by using the existing manual inspection method of on-site inspection personnel.Therefor,an automatic navigation and defect recognition system for ammeter box inspection based on convolutional neural network(CNN)algorithm was proposed.The feature of the historical defect data of the ammeter box was extracted and analyzed,and the neural network algorithm module was used to extract the fine-grained information of the feature value of the uploaded ammeter box pictures;by integrating the state identification information of the target and their position coordinate information,the identification and analysis of different defects in the ammeter box and automatic cruise location were realized.The intelligent recognition rate of the overall appearance of the integrity,the state of the door,the state of the window,the state of the gate lock,the situation of the screw under the meter box reached 81.67%,83.12%,90.20%,87.37%,92.23%respectively.The results show that by using the designed system,the time of finding the ammeter box and the manual update time of the ledger can be reduced,the probability of problem miscalculation and omission in the ammeter box within the jurisdiction can be reduced,improve the work efficiency,and the service and management ability of the enterprise can be improved.
Key words:convolutional neural network;ammeter box;automatic inspection;automatic navigation;defect recognition
0引言
智能电表[1-2]作为一种计量工具,已被广泛应用于社会生产生活的各个领域,发挥着重要的作用,而电表箱作为保护电表的重要组成部分起到了很大的作用。由于表箱在长时间使用后很容易出现破损或者人为原因造成的一些问题而导致现场电表巡检工作人员难以快速、准确、及时地判断出电表和电表箱是否存在问题,会发生缺陷漏判、错判的情况,导致安全隐患无法及时消除,存在安全事故发生的危险,也不利于提质增效和精益化管理。常规的主要依靠人工巡检的模式,由于巡检人员技术水平参差不齐、检测困难等原因已经无法满足当前电表箱安全、高效的运维需求,因此迫切需要通过新一代信息化技术手段来提升电表箱缺陷识别的智能化水平,提高服务和管理能力。随着计算机图像视觉技术的爆发式增长和产业化,图像视觉技术在经济社会发展中的作用日益凸显。在此背景下,针对电表箱缺陷识别问题,通过图像方式快速获取有效信息并进行分析,对于提高工作效率具有非常重要的意义。目前,将图像识别技术和神经网络算法应用于电表箱方面的研究较少。文献[3-6]通过研究图像识别技术,提出基于图像处理技术的电表检测方法。文献[7-15]提出利用深度学习方法进行电表箱识别与检测,其中,文献[10]提出了基于BP神经网络的机械式电表数字自动识别方法,通过预处理自动定位电表图像中的数字区域并实现单个数字的切分,对每个数字图像提取一组具有较高区分度且计算简单的典型网格特征,通过设计BP神经网络作为数字分类器实现电度表显示值快速自动识别。针对传统抄表方式存在的识别精度低、识别效果差的问题,文献[11]提出了基于区域卷积神经网络(Region-based Convolutional Neural Network,R-CNN)的智能电表数值识别方法,通过R-CNN网络对预处理后的图像进行自动识别。利用R-CNN网络可以同时自动识别表盘位置信息和表盘读数信息,很大程度上减少了人工识表的压力,提高了表计识别精度。检测不准确的智能电表并对其进行更换可以节省大量资源。为此,文献[14]提出了一种基于长短时记忆(LSTM)和改进的卷积神经网络的深度学习方法,基于历史数据预测电力使用轨迹。目前,尚未查到关于采用先进人工智能方法来提高巡检智能化的相关研究。
针对电表箱巡检自动检测需求,本文提出基于卷积神经网络(Convolutional Neural Network,CNN)算法的电表箱巡视自动导航及缺陷识别系统。通过CNN算法实现电表箱问题的自动识别和警示,便于现场巡检人员快速、精准识别表箱所在位置和存在的问题,提升工作整体效率,保障人民群众的生命财产安全,避免损失,同时可提升企业的社会公众形象;可将该算法推广至用户端,实现用户电表安全隐患点自动提醒功能。
1系统总体架构
根据巡检需求,电表箱巡视自动导航及缺陷识别系统需要具备设备定位和倒焊、表箱智能识别等主要功能。为此,设计基于CNN算法的电表箱巡视自动导航及缺陷识别系统,主要实现表箱定位、自动记录轨迹、自动导航、集成拍照、缺陷识别、故障录入、表箱位置录入等功能,包括四大主要模块,每个模块的功能如下:
(1)电表箱图片输入:现场巡检人员通过手持终端对电表箱进行拍照并上传至识别系统;
(2)电表箱关注区域提取模块:对上传的电表箱原始图片进行初步处理,提取电表箱关注位置区域,以进一步进行各部分的缺陷信息识别;
(3)特征提取模块:利用大量电表箱图片标签数据集训练过的CNN网络对新上传的电表箱图片进行缺陷信息识别;
(4)电表箱巡检报告:根据识别结果,形成电表箱巡检报告以供现场巡检工作人员参考。报告内容包括表箱位置、表箱基本信息、缺陷类别、缺陷内容及缺陷位置等。
2基于CNN算法的电表箱缺陷识别模块及自动巡航
智能检测识别模块是系统的核心模块,能够基于机器学习/深度学习对图像或视频进行智能检测。通过机器学习算法模块对传输过来的图片进行特征抽取以进行检测识别,判断出电表箱的状态,各个部件的数量、位置以及状态等重要信息,然后将这些检测信息形成巡检报告提交给平台进行综合分析处理。与传统的图像处理方法相比,CNN以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性[16],可以并行学习,满足处理高维数据的需求。所提出的基于CNN算法的电表箱巡视自动导航及缺陷识别系统算法流程如图2所示。
该算法模块采用卷积神经网络对电表箱图像进行分析处理。当手持终端摄像头获取并转换好1帧RGB图像后,经过初步处理后将它送入卷积神经网络模块进行预处理,预处理步骤包括将RGB图像缩放到神经网络所需的尺寸,再进行归一化处理,转成神经网络所需要的张量形式,使没有可比性的数据变得具有可比性,同时保持相比较的数据之间的相对关系,最后作为神经网络的输入。
为更好地利用CNN进行缺陷识别,针对图像数据和其他数据分别采用零均值图像归一化和批归一化算法进行预处理。
图像归一化就是通过一系列变换,将待处理的原始图像转换成相应的唯一标准形式,该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性。文中采用零均值(Zero-mean)归一化算法,即让所有训练集图片中每个像素的均值为0,使得图像像素以0为中心,范围为[-128,127]像素。这是为了在CNN的反向传播中加快网络中每一层权重参数的收敛。
批归一化Batch Normalization(BN)算法[6]针对每一批数据{x1,x2,…,xn}进行归一化,这个数据可以是网络的输入也可以是网络中间某一层的输出数据。传统归一化操作一般都在数据输入层,对输入的数据进行求均值、求方差做归一化,而批归一化可以在网络中的任意一层进行归一化处理。批归一化过程如下:
通过式(1)~(2)分别计算批处理数据的均值和方差;利用式(3)进行数据的规范化;通过式(4)进行尺度变换和偏移,最后返回参数值γ和β。
预处理后的数据流通过神经网络的主干层提取粗粒度信息后,传递到更深的特征提取层进行细粒度的信息提取。最后的分类和检测层根据前面几步得到的信息进行特征分类和位置坐标的计算,再整合这些计算结果得出检测目标的状态识别信息以及其位置坐标,将这些结果构造成相应格式的张量作为神经网络的输出。业务程序根据数据结构的形式提取该输出张量,封装成业务场景需求的数据格式并进行传输和处理。根据不同的场景需求,还可以定制不同的神经网络算法模块以适应不同的识别需求。
根据不同算力大小需求的场景,该算法模块可以区分为前端算法模块和后端算法模块。前端算法模块主要运行在智能手机,嵌入式手持设备等算力较低的设备上。后端算法模块主要运行在带显卡(GPU)等主机或服务器上,主要应用在对算力要求较高的场景。这些场景包括系统平台有时候会接收来自各种设备传输过来的高精度图像数据流,这些高精度图像数据流需要进行二次检测处理,所以需要算力能力更好的后端神经网络算法模块对这些数据流进行处理以满足图像处理速度、精度等要求。后端神经网络模块与前端神经网络模块的总体结构和预处理机制类似,不同的是骨干结构神经网络层的深度不同。后端神经网络模块因为要处理高精度数据,所以网络结构会比较深。在一定范围内,较深的神经网络的数据处理准确率更高。
基于CNN算法的电表箱缺陷识别核心算法的特点:(1)将图像智能化识别技术应用到表箱缺陷识别上,通过机器识别算法模块对电表箱图像进行特征抽取并识别检测,提高巡检工作的效率和效果:(2)通过自主巡航技术,可以结合待检表箱的坐标信息快速定位到有缺陷表箱对应的位置,便于巡检人员进行后续维护工作的开展。
3识别和导航样例及算法性能分析
(1)识别和导航样例
通过基于CNN算法的电表箱缺陷识别和自动导航,可以获得如图3~4所示的电表箱识别信息与导航信息。
(2)算法性能分析
利用基于CNN算法的电表箱缺陷识别系统,对金华市某区内常见的几款电表箱进行识别实验。识别类型包括电表箱的整体外观、箱门、视窗、门锁、表箱下螺丝等。结果表明:整体外观完好度、箱门状态、视窗状态、门锁状态、电表箱下螺丝情况的智能化识别率分别为81.67%、83.12%、90.20%、87.37%、92.23%。
针对不同的学习样本数量,进行了相应的识别率分析,结果如图5所示。由图可知,随着学习样本数量的提升,不同的表箱缺陷识别率也逐渐提升。
4结束语
为解决现有表箱巡视方法存在的问题,本文提出一种基于图像识别算法的表箱缺陷检测分析方法。对表箱历史缺陷数据进行特征抽取以及分析,利用神经网络算法模块对上传的表箱图片的特征值进行粗粒度的信息提取,传递到更深的特征提取层进行细粒度的信息提取;在分类和检测层根据所得到的信息进行特征分类和位置坐标计算;整合所得计算结果,得出检测目标物的识别状态及其位置坐标;将这些结果构造成相应格式的张量作为神经网络的输出,业务程序根据数据结构的形式提取该输出张量,封装成业务场景需求的数据格式进行传输和处理,实现了对表箱不同缺陷的识别分析。
表箱巡视自动导航及缺陷识别系统可以减少表箱巡检人员寻找表箱的时间、减少表箱台账手动更新时间、降低辖区内表箱存在问题误判及漏判情况的发生概率,减少因为问题错判导致的问题表箱无法及时上报统计而导致无法排期更换的情况发生,提升公司整体经济效益。采用该系统可以减轻对巡检人员的培训压力,缩短培训周期。同时,问题表箱线上自动统计汇总功能减少了统计人员收集和整理信息的时间,提升了工作人员的工作效率。
[1]丁明瑞,施松新,左广巍.基于ZigBee的智能电表网络化发展及应用[J].机电工程技术,2014(9):49-51.
[2]李谦,施松新,左广巍.基于物联网的智能电表的功能及其设计实现[J].机电工程技术,2014(10):48-52.
[3]丁超,张秋雁,胡厚鹏,等.基于改进深度学习的电表终端故障图像识别方法[J].电工技术,2020(10):4.
[4]罗世刚,安旭东,周盛成,等.基于机器学习的图像识别技术在电能表中的应用[J].电子世界,2020(20):3.
[5]张芹,夏水斌,郭鹏.图像识别技术在智能电表计量误差检测中的应用[J].电子设计工程,2017(19):4.
[6]黄珍,潘颖,苑毅.基于改进神经网络的图像融合技术[J].机电工程技术,2021,50(7):161-163.
[7]夏小晴,李轩.低压配电网拓扑自动识别系统研发及应用[J].内蒙古电力技术,2021,39(6):23-28.
[8]赵卫东,陈凤,黄汉成,等.基于深度学习的电表字符缺陷检测方法[J].安徽工业大学学报(自然科学版),2021,38(1):76-81.
[9]张百川,赵佰亭.结合批归一化的轻量化卷积神经网络分类算法[J].哈尔滨商业大学学报(自然科学版),2021,37(3):300-306.
[10]胡立夫,齐胜男,张海军.基于神经网络的电表数字识别技术研究[J].沈阳航空航天大学学报,2011,28(2):43-45.
[11]向映红,廖勇,代学武.基于R-CNN的智能电表数值识别方法[J].机床与液压,2019,47(24):87-91.
[12]ANIS A,KHALILUZZAMAN M,YAKUB M,et al.Digital electric meter reading recognition based on horizontal and verti⁃cal binary pattern[C]//Proceedings of International Conference on Electrical Information and Communication Technology.IEEE,2017:1-6.
[13]ELREFAEI L A,BAJABER A,NATHEIR S,et al.Automatic electricity meter reading based on image processing[C]//Pro⁃ceedings of 2015 IEEE Jordan Conference on Applied Electri⁃cal Engineering and Computing Technologies(AEECT).IEEE,2015:1-5.
[14]SHUO H,YU X M,LV D H,et al.Digital recognition of electric meter with deep learning[C]//Proceedings of 2019 14th IEEE In⁃ternational Conference on Electronic Measurement&Instru⁃ments(ICEMI).IEEE,2019:600-607.
[15]孙艳玲,何毓函,翟晓卉,等.全球定位技术在智能电表检测系统中的应用[J].机电信息,2016(6):61.
[16]肖璞,黄海霞.基于CNN算法的深度学习研究及应用[J].现代计算机,2019(35):27-32.
