摘要：传统机器视觉用于检测车载触摸屏缺陷存在效率低、功能单一等问题，设计了一种新型车载触摸屏检测系统，实现了单台视觉检测设备对多尺寸、多种类缺陷的自动检测。首先对产品图像进行指数灰度变换以增强对比度，采用中值滤波实现图像降噪；运用Canny算法进行轮廓提取，利用金字塔模板匹配法进行匹配，得到偏移信息后，利用仿射变换对图像进行矫正；然后采用动态阈值分割法提取字符等信息；最后通过建立合格样品模型库与透过率转换关系图，实现表面缺陷和透过率的即时一体化检测。实验表明，针对220 mm×180 mm尺寸的车载触摸屏的检测，处理速度达8片/min，是人工检测速度的3倍，缺陷检出率达97.5%，单片检测时间仅0.43 s，该系统实现了对车载触摸屏的高速、高精度、多目标检测。

　　关键词：车载触摸屏；机器视觉；缺陷检测；图像强化

　　0引言

　　随着车载触摸屏功能的多样化发展以及分辨率不断提高，触摸屏的制造工艺越发精密复杂，在制造过程中容易出现各类缺陷，如：点缺陷、线缺陷与Mura缺陷等。为了保证产品的质量，需要对车载触摸屏全面检测，传统的缺陷检测方法主要依靠人工裸眼检测，存在检测效率低、准确性差的缺点，且在检测过程中易损伤显示屏。因此，研究精准化、自动化的新型检测设备实现对触摸屏的缺陷检测具有重要意义。机器视觉检测是目前最为常用的检测方法，汕头大学与汕头超声显示器有限公司合作共同开发在汽车触摸屏领域的机器视觉质量检测设备，针对不同工序的质量要求，形成了自动化检测质量控制系统。本文内容作为广东省科技计划项目的重点建设内容，对研究方向具有积极推动意义。

　　20世纪50年代机器视觉技术起源于美国，到21世纪，机器视觉自动化检测技术快速发展[1]，从早期简单的二维图像分析发展到如今图像的分割、识别和在工业中的应用。采用机器视觉检测系统代替人工检测的方法对屏幕缺陷进行检测，图像可以被精准采集、分割和识别，实现缺陷的识别与分类。Jian等[2]提出了一种改进的MPSG缺陷识别和分割检测算法，可以更加准确地分割MPSG中的表面缺陷。Otsuki等[3]运用视觉系统将亮度和表面粗糙度等表面质量数据进行可视化，来评价零件表面加工质量。周晶等[4]开发了一种基于图像识别的异型玻璃表面质量全检测设备，提高了异型玻璃表面和边缘全检测效率。Wang等[5]开发了一种用于LCD背光屏的检测装备，实现背光屏的漏光、变形、划痕等缺陷的检测。彭赶等[6]设计了一种手机屏幕缺陷在线检测系统，但在实际生产过程中，存在检测速度慢、正面拍摄无法准确抓取缺陷特征的问题。罗根等[7]基于最小二乘法较准确地检测出手机屏幕玻璃尺寸和崩边。周国栋[8]提出一种改进的SIFT算法，在凹陷类和斑点类缺陷的检出率上有明显的优势，但在检测时间方面，比神经网络慢了近一倍。

　　为满足车载触摸屏的检测效率及准确性的需求，本文采用指数灰度变换法和中值滤波法对采集图像预处理，利用Canny算法、金字塔模板匹配法和仿射变换法实现图像定位与矫正，然后采用动态阈值分割法进行信息识别，最后通过合格产品模型与透过率转换关系图，完成缺陷检测。

　　1触摸屏检测系统设计

　　针对车载触摸屏检测面积大、缺陷种类多等特点，本文采用工业CCD相机、远心镜头、LED矩阵光源等硬件，开发了一种具有目标区域易分割、图像光照均匀、光学畸变率小于0.025%、边缘定位精度较高等优点的机器视觉检测系统。视觉检测平台如图1所示。

　　在检测之前，通过采集合格产品图像实现检测系统的机器自我学习，建立包含检测距离、Icon位置、形状模型等参数的模型库。检测过程中，车载触摸屏到达指定位置，获取车载触摸屏当前位置对位mark点的图像并传送至PC，检测软件识别玻璃窗区上的定位点，通过模型匹配方法对采集样本图像进行校正后，触发光电传感器、光源与相机同时工作，在阵列排布式LED灯矩阵光源的照射下进行多段扫描拍照，获取车载触摸屏面板上图标的高精度图像，将图像传送至检测计算机实时处理，完成信息记录。

　　2图像处理

　　2.1图像预处理

　　工业相机直接对触摸屏样本采集的图像由于存在灰度区分不明显，噪声过多等问题[7]易对图像的缺陷检测造成干扰，因此需要对图像进行图像灰度增强和图像降噪处理以便于目标区域的提取及避免检测干扰。

　　本文以车载触摸屏上一待测Icon区域图像信息为例。由于车载触摸屏的Icon图标的有效信息集中在如图2的高灰度区域，本文采用指数灰度变换法来实现图像灰度的增强，指数灰度变换公式为：g(x,y)=a[f(x,y)+ε]γ(1)

　　式中：a为用来放大整体数字图像的灰度倍数；ε为补偿系数；γ为伽马系数，当γ<1时，低灰度区域被拉伸，高灰度区域被压缩；当γ>1时，低灰度区域被压缩，高灰度区域被拉伸；当γ=1时，正比变换。通过改变γ的数值实现对图像不同程度的灰度变换，选择性地拉伸不同的灰度区域，指数灰度变换特性曲线如图3所示。

　　由于该方法可以选择性的针对高灰度区域进行拉伸，故选用γ=2对图像进行拉伸处理，在压缩待检图像低灰度区域信息的同时，对图像高灰度区域信息进行了拉伸，使得高灰度区域信息部分更加明显，得到处理后的灰度3D图，如图4所示。

　　图像采集过程中产生的噪声会被检测为图标缺陷，影响后续图像的重构和分割，导致检测结果的不准确。图标的3D图像中的椒盐噪声分布情况，如图5(a)~(b)所示，因此需要对图像进行滤波处理，对图像采集中产生的噪声进行消除。基于排序统计理论的中值滤波法是一种有效抑制噪声的非线性

　　信号平滑处理技术[9]，二维中值滤波的数学表达式为：

　　g(x,y)=Med{f(x,y)}(2)

　　式中：f(x,y)为原图像上的灰度值；g(x,y)为f(x,y)滤波后的灰度值；Med为f(x,y)模板领域内取中值。

　　本文采用圆形二维中值滤波模板，利用Halcon软件生成一个半径为3个像素的中值滤波器[10]，通过该中值滤波器对图5(a)进行滤波处理，得到的处理结果如图5(d)所示，采用中值滤波对图像进行降噪处理，既保留了图像的边缘信息又降低了图像中孤立点和线段产生的干扰，从而起到了良好的降噪作用。

　　2.2图像定位

　　将相机固定在检测设备上，待测触摸屏移动至相机检测区域。在图像处理过程中图像模板位置信息的确定对图像的捕获与提取尤为重要。首先确定模板及模板上待检测信息的位置，其次将采集到的待测产品的图像与模板图像匹配并进行图像矫正，最终完成缺陷检测前的图像处理工作。

　　通过图像边缘检测算法来确定图像模板的位置。本文采用基于Canny算子的边缘检测法对高斯滤波处理后的图像采用非极值抑制技术进行处理[11]，得到所需边缘图像，进而确定模板的位置信息，其处理步骤如下。

　　采用图像金字塔搭配形状匹配的模板匹配法可以加快模板的匹配速度，表1所示为不同模板匹配方法的运行时间的对比情况。图像金字塔需要向上采样和向下采样两个操作，图像金字塔的底层是高分辨率原图，图像先向上模糊，金字塔层级越高，则图像越小，其分辨率越低，则检测速度越快，但图像分辨率不能过低，否则会导致检测不到目标图像。采用图像金字塔模板检测方法向下采样，首先检测顶层图像，找到模板信息后映射到下一层图像，通过多次映射直至到达金字塔底层原始图像，实现图像模板匹配。本文采用4层图像金字塔方法对待检区域进行模板匹配操作。

　　2.3图象矫正

　　由于待测品每次放置位置有差异，所采集的图像会出现平移、旋转等错位问题与模板图像不重合而影响缺陷检测，因此需要对采集的图像进行矫正使其与模板相重合。对于图像矫正的问题，可采用式(11)对待处理的图像进行矫正，其中a、b、c、d、e、f为变换矩阵中的约束，对应不同的待处理图片使用不同的约束。若一副不需要矫正的图像，其变换矩阵T就是单位矩阵，如式(12)：

　　「x′ù「xù「a b eù「xù

　　(11)

　　ë1」ë1」ë0 0 1」ë1」

　　「1 0 0ù

　　(12)

　　ë0 0 1」

　　(1)处理图像的平移问题需对原图像使用如式(13)所示的平移矩阵：

　　HomMat2DTranslate=「êtùú·T

　　ë0 0 1」

　　式中：t=(x)；Tx为水平方向的位移；Ty为竖直方向的位移。

　　使用Halcon对采集的图像进行平移操作，需首先使用算子hom_mat2d_identity生成一个如式(12)的单位矩阵，然后通过使用hom_mat2d_translate算子对单位矩阵的X、Y进行赋值使其变成式(13)，最后通过使用算子affine_trans_image对图像进行仿射变换：

　　hom_mat2d_translate(::HomMat2D,Tx,Ty:Hom⁃Mat2DTranslate)：为平移矩阵赋值

　　affine_trans_image(Image:ImageAffineTrans:HomMat2D,Interpolation,AdaptImageSize:)：对图像进行放射变换。

　　(2)处理图像的旋转问题需要对原图像使用如式(14)所示的旋转矩阵：

　　式中：R=êêësin(Phi)cos(Phi)」ú。

　　使用Halcon对采集的图像进行旋转操作，第一步与第三步与平移操作相同，其中第二步需要使用算子hom_mat2d_rotate把生成的单位矩阵变为旋转矩阵：

　　hom_mat2d_rotate(::HomMat2D,Phi,Px,Py:Hom⁃Mat2DRotate)：为旋转矩阵赋值。

　　3目标信息检测

　　3.1信息识别

　　在待测面板信息目标检测过程中，阈值分割法能够有效地提取图像背景和待检目标灰度对比相差较大的区域，当待检图像目标灰度与背景灰度存在交集时，此时阈值分割法的鲁棒性较差，采用对待检区域灰度选择范围较灵活的动态阈值分割法来提高对灰度的鲁棒性。对图像进行阈值分割之后，将字符、图标等样本添加到分类器中对样本进行机器自主训练并对分类器进行分类，便于后续使用Halcon软件创建OCR分类器实现对待测触摸屏中OCR字符、图标等的精准识别。

　　3.2缺陷检测

　　针对灰度差距小、缺陷位置不确定等问题，采用图像金字塔模板匹配方法配合差异化模型方法，通过将待测模型与模板相匹配从而提高触摸屏信息检测准确性。利用动态阈值方法提取目标区域并建立标准差异模型，根据像素点的灰度变化量建立变化模型库，将待检测区域与模型库进行差异对比，采用该方法实现对待测车载触摸屏中的缺陷部位的有效检测。由于车载触摸屏面板的透过率相差较大，而面板的透过率作为评定触摸屏光学性能的重要参数，因此通过计算目标区域灰度值的绝对和相对直方图，利用直方图计算目标区域的平均灰度值T，并设定允许偏移量，向高、低灰度区域延伸，得到黑、白缺陷区域与合格区域的检测灰度区间，计算出检测缺陷区域的形状因素并进行分类等步骤，建立一套触摸屏透过率缺陷检测的动态判断标准。

　　采用面阵相机采集一批良品的图像，检测该批次样品的透过率与灰度值，通过收集图像灰度值和面板透过率数据，从中寻找图像灰度值与面板透过率之间的关系，在二维坐标系中将每一个样品的灰度值与透过率进行函数拟合，并通过最小二乘法建立函数计算公式来计算面板透过率，从而得出灰度值与透过率的关系[12]。

　　5结束语

　　针对车载触摸屏的缺陷检测，本文设计了一种高效、高精度车载触摸屏检测系统，本文所研究的触摸屏的图标信息多集中在高灰度区域，采用指数灰度变换法对高灰度信息区域进行拉伸，解决了局部图像灰度差过低，不容易分割目标的问题；基于Canny算子边缘检测法实现了亚像素精度，采用模板匹配方法配合图像变异化模型训练合格样品的模型库，并通过建立灰度值与透过率的关系方程，实现了对触摸屏表面黑白点、黑白不均、Icon残缺等缺陷与屏幕透过率的快速一体化检测。实验结果表明，对于220 mm×180 mm尺寸的车载触摸屏，检测效率达8片/min，是人工检测速度的3倍，缺陷检出率达97.5%。

　　[1]朱云,凌志刚,张雨强.机器视觉技术研究进展及展望[J].图学学报,2020,41(6):871-890.

　　[2]Jian C X,Gao J,Ao Y H.Automatic surface defect detection for mobile phone screen glass based on machine vision[J].AppliedSoft Computing,2016:348-358.

　　[3]Otsuki T,Okita K,Sasahara H.Evaluating surface quality by lumi⁃nance and surface roughness[J].Precision Engineering,2022:147-162.

　　[4]周晶,熊长炜,刘沅,等.基于图像识别的异型玻璃表面质量全检测设备设计[J].机床与液压,2021,49(16):123-126.

　　[5]Wang S X,Hu M X,Ye J X,et al.An Auto Backlight Screen In⁃spection Equipment Based on Machine Vision[C]//Nanchang China:2015 Seventh International Conference on Measuring Technology and Mechatronics Automation,2015.

　　[6]彭赶,张平,潘奕创.基于机器视觉的手机屏幕缺陷检测系统研究[J].自动化技术与应用,2018,37(9):104-107.

　　[7]罗根,倪军.基于机器视觉的手机屏幕玻璃尺寸检测及崩边评价[J].电子测量与仪器学报,2018,32(2):92-96.

　　[8]周国栋.一种基于机器视觉的表面缺陷快速检测方法[J].机电工程技术,2021,50(8):42-44.

　　[9]张兆礼,赵春晖,梅晓丹.现代图像处理技术及Matlab实现[M].北京:人民邮电出版社,2001.

　　[10]Nair M S,Ameera Mol P M.Direction based adaptive weighted switching median filter for removing high density impulse noise[J].Computers and Electrical Engineering,2013,39(2):633-689.

　　[11]Xu Z Q,Ji X Q,Wang M J,et al.Edge detection algorithm of med⁃ical image based on Canny operator[J].Journal of Physics:Con⁃ference Series,2021,1955(1):012080.

　　[12]林典钦,詹前贤,郑卓韬,等.一种车载玻璃模组自动光学检测方法及装置:CN201910421533.X[P].2019-11-05.