基于频谱遮罩的玻璃量器图像处理与围线检测方法论文

2024-04-25 14:57:27 来源: 作者:hemenglin
摘要:针对玻璃量器示值围线在边缘检测时存在噪点多的问题, 研究了基于围线频谱分布特征的频域遮罩预处理技术和基于图像 水平投影灰度的围线检测方法。具体分析了目标特征频谱
摘要:针对玻璃量器示值围线在边缘检测时存在噪点多的问题, 研究了基于围线频谱分布特征的频域遮罩预处理技术和基于图像 水平投影灰度的围线检测方法。具体分析了目标特征频谱, 建立了遮罩模型和传递函数, 讨论了函数参数对遮罩处理结果的影响, 并根据空间域上玻璃量器围线与瓶体在灰度特征取向上的不同, 提出了利用水平投影灰度的变化速率检测前半围线与后半围线的 峰谷差大小的方法。通过比较边缘检测法与投影灰度法检测围线的结果, 得出以下结论: 频域遮罩处理能够有效地模糊和削弱玻 璃量器与其他干扰信号, 同时较好地保留围线边缘而不损失围线谷峰差大小, 大大降低了后续图像处理的难度; 投影灰度法能够 有效检测出围线上边缘最高点和下边缘最低点, 该方法对频域遮罩处理具有较强的鲁棒性。
关键词:玻璃量器; 图像处理;频域; 遮罩图像; 围线检测
Image Processing and Scribe Detection Method for Glass Gauge Based on Spectrum Masking
Cai Yonghong ,Ma Tingting ,Yang Yehua
(Guangzhou Institute of Measuring and Test Technology, Guangzhou 510663. China)
Abstract: In order to solve the problem of excessive noise in edge detection of glass gauge scribe, an image preprocessing technology with a frequency domain mask created based on the spectral distribution characteristics of the scribe, and a scribe detection method based on image horizontal projection grayscale, are studied. Specifically, the feature spectrum of target is analyzed. A mask model and transfer function are established. The influence of function parameters on the mask processing results is discussed. And based on the different orientations of grayscale feature of the glass gauge scribe and the bottle body in the spatial domain, a method to detect the peak valley difference between the front and rear half scribe is proposed using the change rate of horizontal projection grayscale.By comparing the results of edge detection method and projection grayscale method in detecting scribe, the following conclusion can be drawn: the frequency domain mask processing technology can effectively blur and weaken the glass gauge and other interference signals, while retaining the scribe edges well without losing the size of valley peak difference, then greatly reducing the difficulty of subsequent image processing. The projection grayscale method can effectively detect the highest point of the up edge and the lowest point of the down edge, and the method has strong robustness to frequency domain masking processing.
Key words: glass gauge; image processing; frequency domain; mask image; scribe detection
引言
玻璃量器是一种带有容量刻度的玻璃材质计量器具, 如有分度线纹的量筒、有单标线的容量瓶等。操作者在 测量时应平视刻线, 否则人眼会因偏离刻线水平面而产 生视差。对于采用围线表示的刻线, 有视差时观察到的 围线是由前半围线和后半围线组成, 彼此相向凹曲, 呈 裂口形。裂口大小——前半围线与后半围线峰谷差越大 说明视差越大, 人眼偏离围线平面越厉害。因此, 根据 观察到围线的裂口大小(下文统称围线大小)及其变化, 操作者能够及时调整视角, 使视差逐步减小。当达到平 视条件时, 围线呈现为一条线段。
随着机器视觉技术的发展, 玻璃量器自动化和智能化检测技术条件已成熟。 一般的解决方案是, 通过工业 相机代替人眼采集玻璃量器的图像, 根据计算机对图像 的处理和分析获取有用的信息, 如刻线与液面的形位数 据等, 并在融合其他传感器数据的基础上完成机器决 策[1-3]。作为一种物位式计量器具, 玻璃量器围线的机器 视觉检测是实现智能化和自动化的关键[4]。
图像处理是机器视觉的基础, 是指用计算机对图像 进行复原、校正、增强、统计分析、分类和识别等加工, 以达到所需结果的技术和过程。在图像处理中, 图像的 锐化与平滑处理可以通过空域滤波或频域滤波来完成[5], 两种滤波方式是相通的。因为根据卷积定理, 空域下的 卷积运算可以转化为频域下的乘积运算:
因此,频域滤波需要先将图像转换为频域下的谱图, 然后对谱图进行加工, 最后再经傅里叶逆变换转换回空 域下的图像, 如图 1所示。
H (u,v)是频域滤波器的传递函数, 许多成熟的电子 滤波器, 如高斯、巴特沃斯滤波器等的传递函数被应用 到了图像处理领域, 实现对数字图像信号频谱的通阻、 削弱或增强。关于频域滤波增强的图像处理技术与应用 研究也一直是人们关注的课题方向[6-17]。
目前, 关于玻璃量器围线等示值刻度线、标线的机 器视觉检测方法普遍采用边缘检测法, 即通过滑动模子 在特定搜索方向上检测像素的灰度梯度, 梯度大的像素 判定为边缘点[18]。然而, 仅凭经验设置边缘强度和阈值 的检测算法抗干扰性能较差, 不但容易产生噪声, 还可 能出现伪边缘[19-20]。因此, 研究和改进算法在边缘保持 和滤波去噪上的效果已成为图像边缘检测技术的研究热 点[21-24]。针对传统边缘检测算法存在的问题, 本文探讨 并提出一种玻璃量器图像频域滤波增强预处理技术和基 于投影灰度变化的机器视觉检测容量围线的方法。
1 玻璃量器围线频谱特征
源图经二维离散傅里叶变换后, 为了直观表达, 常 用图像的形式显示结果, 即数字图像频谱图。频谱图的 横轴和纵轴分别表示频率分量 u 和 v ,每对( u ,v )对应 的点表示幅度|F (u,v)|。 |F (u,v)|值越大, 说明该点频率 分量对图像的影响越大。图 2是工业相机在某视角下采 集的玻璃量器的局部图像(图 2(a))及该图像在傅里叶 变换后得到的频谱图(图 2(b))。图 3 是消除图 2(a) 中所有干扰仅保留围线部分的图像(图 3(a))及其频谱 图(图 3(b))。为了图像处理方便, 频谱图采用中心对 称显示模式, 即坐标原点从 4个角平移到图像中心, 从 图像中心向外, 频率逐渐增高。因此, 在中心对称模式 下, 图像中的平滑区域(低频信号) 集中显示在中心区 域, 而轮廓细节(高频部分) 则分布在外围。整个图像 显示了一个完整周期内的频谱。另外, 为了便于观察, 本文将频谱图进行反相显示并适度调节了亮度和对比度。
当图像中仅有围线时, 如图 3所示, 围线频谱分布 具有如下特点:( 1) 关于 u 、v 轴对称;(2) 沿 v 轴纵向 振铃分布;(3) 低频分量少, 高频分量多。究其原因, 大概是由于围线图像是上下和左右基本对称、水平取向、 线条形态的图形。而当图像中出现图 2所示的玻璃量器后, 可以发现, 频谱图中相应出现了沿 u 轴横向分布的 大量信号, 且较集中于低频区域, 以及一定程度的高频 信号。这种频谱分布显然是与空域图中玻璃量器的成像 形态有关。图中仅出现了玻璃量器瓶颈的局部, 除横向 的围线和不规则的污渍与损伤外, 瓶颈的光洁曲面在光 照下成像出了许多竖状条纹, 在频谱上表现为大量沿 u 轴分布的横向分量, 同时图像灰度内容更加丰富, 使低 频分量增多。另外, 可以观察到在图中瓶壁的右下方有 一条斜向延伸的表面刮痕, 对应频谱图中斜线分布的频 率分量, 而其他不规则的污渍(噪声) 在频谱图上则表 现为杂散的信号。
因此, 围线作为机器视觉检测的目标图形, 过滤或 削弱图像中的玻璃量器瓶体、背景及其他干扰信号是图 像预处理要解决的问题。根据围线频谱特征, 解决办法 之一就是删除玻璃量器频谱图中沿 v 轴纵向分布信号以 外的其他频率分量。
2 频域遮罩处理
遮罩(又称掩膜) 图像是一种像素值非 0 即 1 的二值 图像, 利用遮罩图像可以实现对源图进行选择性的像素 复制, 其原理是拿源图与遮罩图像做乘积运算, 得到一 个与遮罩图像相同大小的新图。源图中对应遮罩像素为 “ 1”的部分复制给新图, 而对应为“0”的部分则被忽 略。针对上文所述玻璃量器图像频域滤波的需求, 采用 频域遮罩处理的办法可以十分简单且直观地实现特定信 号滤波。
首先, 创建合适的遮罩图像。根据围线频谱特征, 确定频域中复制或遮蔽的区域, 创建相应的遮罩图像, 如图 4所示。示意图中 4条互相对称的直线划分了区域范围, 沿 v 轴纵向分布的区域为保留区(像素值为 1), 在 此之外为遮蔽区(像素值为 0)。
界定区域范围的 4条直线的方程如下:
直线的斜率 k和截距 b是构建遮罩图像的充分条件和 必要参数,k 和 b 的取值将决定频谱图中所有频率信号的取舍, 从而影响遮罩滤波的效果 。 显然 , 斜率k越大, 频谱中的高频分量被遮蔽越多, 图像将因此变得边缘模糊和丢失细节 ;截距 b 越大, 频谱中的低频分量保留越多, 图像也将因此保留更多的灰度信息。
图 5所示为一个基于 LabVIEW 创建遮罩传递函数的 程序代码。
如代码所示, 该函数是一个与源图具有相同大小 (X× Y像素) 的二维数组, 数组元素为 0 或 1.由于频域 处理是在复数域下的图像操作, 故在处理前应将数组表 示的遮罩传递函数进一步转化为复数表示的遮罩图像。
遮罩图像创建完成后进行遮罩处理, 即源图频谱图 与遮罩图像相乘得到遮罩后的频谱图, 如图 6所示, 再 做傅里叶逆变换, 转换为空间域的灰度图像, 如图 7所 示。图 6是不同遮罩参数下对图 2(b) 遮罩处理后的频 谱图。其中, 图 6(a) ~(c) 是在相同斜率下(k=3.5) 分别取截距 b=2、20、50 pixel 的处理结果, 图 6(d) ~ (f)则是在相同截距下(b=2) 分别取斜率 k=0.2、 1.5、 5.5 的处理结果。各图对应的空域图如图 7所示。
由图 6(a)~(c)和图 7(a)~(c)可知, 随着参数 b的增大,低频分量增多,相应的空域图中的灰度表现更 加精准,玻璃量器的图像逐渐隐现,对围线的干扰将增大。
实际上, 围线作为线条图形,是以高频信号为主。因此, 滤波参数 b宜取较小值。同理, 由图 6(d)~(f)和图 7(d) ~(f)可知,随着参数k的增大,高频分量减少,相应的空 域图中的边缘和细节逐渐模糊,例如图 6(d)和图 7(d) 中瓶颈边缘丢失, 图 6(e)和图 7(e) 中划痕细节丢失, 图 6(f)和图 7(f) 中污渍噪声丢失。可见, 为了过滤更 多干扰,参数 k宜取较大值。然而,值得注意的是, 比较 图3(b)和图6(f)发现,在k增大至 5.5时,频谱遮罩范围 过大, 以至于将围线的频谱分布做了部分切除, 尤其是 低频分量受到了明显删减, 导致围线灰度减小、对比度 下降; 而且,“切痕”之处还会导致图像出现伪线纹,如 图7(f)中围线两端出现了实际不存在的延伸射线。可见, 滤波参数 k的取值应在不损失围线频谱的前提下取大值。
基于上, 经频域遮罩处理的图像能够较好的保留围 线大小特征, 同时较大程度的模糊化图像中其他图形, 这为后续的图像处理起到了滤波增强的预处理作用。图 8所示是有无频域遮罩预处理的图像二值化分割处理结 果, 其中图 8(a) 和图 8(b)分别是未经频域遮罩预处 理(对应源图 2)和经过频域遮罩预处理(对应图 7(a)) 的结果, 二值化分割阈值都为 100.显然, 图像经频域 遮罩预处理后的二值化效果更好。
3 基于投影灰度的围线特征检测
围线裂口的大小——上边缘顶点与下边缘顶点的距 离是调整工业相机视角的重要参考, 以下简称围线大小。 为了得到该特征信息,可选的检测方法有围线轮廓法,即 通过灰度梯度检测出围线的边缘点,再通过曲线拟合得到 围线上边缘和下边缘,并根据曲线确定边缘顶点,进而计 算出围线大小。然而,边缘检测容易出现离散点或错误边 缘,影响拟合精度。实际上,玻璃量器在检测时应水平摆 放,围线在图像中就呈水平取向,这时上边缘顶点和下边 缘顶点正是围线的最高点和最低点。基于此,这里提出一 种围线检测新方法——灰度投影法。该方法将图像中所 有像素的灰度投影在 y 轴上, 可获得图像灰度的纵向分布{Gi}。在数学上,若像素(i,j)的灰度是gi,j ,那么
即 Gi 是第 i 行像素的灰度总和。由于玻璃量器具有圆 滑的结构和匀质的基体, 瓶体图像的灰度变化表现出连 续性, 而瓶体上的其他物质(如污渍) 与结构(如围线) 则是导致灰度突变的外部激励, 因此可通过计算投影灰度的变化速率来消除瓶体影响及突出激励因素, 即
这里用 Gi()表示投影灰度变化速率。显而易见, 图像 的投影灰度变化速率会在围线处发生跳变,而围线的最高 点和最低点则是跳变的起点和终点。于是,检测围线大小转化为检测{Gi()}跳变的长度。检测时,可采用标准差或设定值作为判定依据,计算机程序从数组{Gi()}的顺序方向搜索跳变起点——围线的上边缘最高点,逆序方向搜索跳变 终点——围线的下边缘最低点。当数组中某元素相对均值 的偏差超过标准差或设定值时,该元素所对应的行即为最 高/低点所在行,最高点与最低点的行距即为围线大小。
图 9 所示为对经频域遮罩预处理和二值化阈值分割 处理后的图像图 8(b)进行边缘检测的结果, 图 10 是图 8(b) 的投影灰度变化速率在 y 轴的分布曲线。从图 9 可 以看到,上边缘检测结果(红色) 的两端存在错误边缘, 下边缘检测结果(绿色) 存在离散点。而从图 10 中可以 看到, 图像的投影灰度变化速率在 y 轴方向上有 2 处集中 变化, 一处发生在围线上, 一处发生在围线下方的噪点 上,前者比后者变化更大、更快, 因此更容易被检测到;而且, 围线处的投影灰度变化速率在开始和结束时的阶 跃变化十分显著, 由此能够准确检测出围线大小。图例 所示的围线大小为 60 pixel。
图 11 所示为另一视角下采集的玻璃量器图像(图 11 (a))及其投影灰度分布(图 11(b))。具体地, 图 11 (b) 给出了源图的投影灰度曲线与投影灰度变化速率曲 线, 以及经频域预处理(k=3.5 ,b=2) 后图像的投影灰 度变化速率曲线。由图可知, 第一, 投影灰度曲线上除 红色圆圈一处出现了明显的灰度突变以外其他地方总体 平滑, 说明该处存在瓶体结构的非连续改变——围线; 第二, 比较投影灰度曲线与其变化速率曲线发现, 变化 速率曲线能够较好地过滤灰度曲线中的本底信号, 如图 中箭头所指之处; 第三, 比较源图和经频域预处理后图 像的投影灰度变化速率曲线发现, 二者基本重合, 尤其 是反映围线特征的突变部分几乎一致, 由此可知二者检 测结果亦将一致, 这也说明基于投影灰度的围线检测方 法对文中所述的频域遮罩处理具有较强的鲁棒性。
4 结束语
机器视觉的基础是图像处理。图像在空间域的处理 十分直观, 在频率域的处理有时却更简单。本文将空间 域常用的遮罩操作应用于图像频域处理, 实现对特定频 率分量的提取或过滤, 兼得简单而直观的优点。通过在 玻璃量器围线检测上的应用研究,得出以下结论。
( 1) 根据频谱分布特征创建、参数设置合理的遮罩 图像能够有效地模糊和削弱玻璃量器及其他干扰信号, 同时较好地保留围线而不会损失围线的关键特征信息 ——裂口大小, 图像的滤波作用明显, 大大降低了后续 图像处理的难度。
(2) 根据空间域上围线与瓶体在灰度特征取向上的 不同, 提出利用图像水平投影灰度的变化速率检测围线 的方法, 能够有效检测出围线上边缘最高点和下边缘最低点, 获得围线大小信息, 而且该方法对文中频域遮罩 处理具有较强的鲁棒性。
参考文献:
[1] 李维明,蔡永洪,韦志坚,等 . 玻璃量器自动检定技术研究[J].机 电工程技术, 2022.51(4): 150-153.
[2] 施娟,侯学青,徐佳杰,等 . 常用玻璃量器自动检测装置[J].上海 计量测试,2023.50(2): 10-11.
[3] 张宁 . 基于图像识别的玻璃量器自动检定装置控制系统的开 发[D]. 太原: 太原理工大学, 2022.
[4] 蔡永洪,孙晓辉 . 摄像头自动平视玻璃量器标线算法研究[J]. 计量学报, 2022.43(1): 72-76.
[5] 郭永坤,朱彦陈,刘莉萍,等 . 空频域图像增强方法研究综述[J]. 计算机工程与应用, 2022.58(11): 23-32.
[6] 万好, 肖尧先,李伟光 . 基于机器视觉的发动机气门入模状态 检测[J]. 机电工程技术, 2014.43(4): 7-11.
[7] 孙丹阳 . 高性能数字图像频域滤波系统研究[D]. 北京:北京交 通大学, 2015.
[8] 刘伟斌,郑力新,周凯汀 . 采用频域滤波的织物疵点检测方法 [J]. 华侨大学学报(自然科学版), 2017.38(4): 562-566.
[9] 宋泽林 . 基于时频域滤波的亮点特征提取及识别研究[D]. 哈 尔滨:哈尔滨工程大学, 2019.
[10] 袁小平,张侠,张毅,等 . 基于频域的图像增强技术的改进算法 [J].科学技术与工程, 2019.19(31): 246-250.
[11] 郑晗,张荣川,唐凡,等 . 基于频域滤波的表面缺陷提取算法 [J]. 现代计算机(专业版), 2019(5): 65-69.
[12] 董玉 . 基于频域增强和 CNN 的图像去噪算法研究[D]. 西安: 西安理工大学, 2022.
[13] 张博,刘秀波 . 基于机器视觉的钢轨光带检测方法[J].铁道建 筑, 2022.62(10): 31-34.
[14] 程东耀,尹皓,刘东权 . 医学超声实时成像中周期性伪影的抑 制[J]. 计算机系统应用, 2022.31(10): 335-345.
[15] 汤伟,张龙,王锦韫 . 基于快速傅里叶变换和改进分水岭算法 的纸病实时检测复合算法[J]. 中国造纸, 2023.42(7): 153-160.
[16] 何睿清,周鑫宇,张慧,等 . 基于离焦图像的晶圆表面缺陷检测 [J]. 组合机床与自动化加工技术, 2023(7): 110-113.
[17] 史先传, 许议元, 殷帅 . 基于机器视觉的摄像整纬纬斜检测 研究[J]. 计算机测量与控制, 2023.31(3): 22-28.
[18] 冯芙蓉 ,张兆功 . 目标轮廓检测技术新进展[J].计算机科学 , 2021. 48(S1): 1-9.
[19] 张红霞,王灿,刘鑫,等 . 图像边缘检测算法研究新进展[J]. 计 算机工程与应用, 2018.54(14):11-18.
[20] 曾建华,黄时杰 .典型图像边缘检测算子的比较与分析[J].河 北师范大学学报(自然科学版),2020.44(4): 295-301.
[21] 石晓红,黄钦开,苗佳欣,等 .基于卷积网络的边缘保持滤波方 法[J].计算机科学,2019.46(9): 277-283.
[22] 李静,陈桂芬,丁小奇 .基于改进 Canny 算法的图像边缘检测 方法研究[J].计算机仿真,2021.38(4):371-375.
[23] 童胜杰,江明,焦传佳 .一种改进工件边缘检测方法的研究[J]. 电子测量与仪器学报,2021.35(1):128-134.
[24] 孙晓辉,蔡永洪,林雁飞 .基于局部结构形态改进图像边缘限 幅滤波算法研究[J]. 计量学报, 2022. 43(1): 21-24.
