摘要：在不同的产品上市之前， 需要对产品进行分拣， 确保产品没有任何缺陷， 以卖出更好的价格，但手动检查成本高昂， 需要 花费大量人工费用和时间， 因此许多公司倾向于使用现代技术来实施产品检测过程。提出了一种基于机器人与计算机视觉系统关 联的方法，使用 SolidWorks 软件设计了一个具有 4 个自由度的机械臂，机械臂将罐头放入传送带， 然后将其传送到检测室， 通过连 接到计算机上的相机拍摄产品的图像， 并通过 LabVIEW 程序处理图像， 使用 MATLAB 对模型进行了仿真， 并使用 Arduino 微控制 器控制原型执行的过程。当有缺陷的产品通过传送带时， 系统会改变路径， 将产品从生产线上移除。仿真和实验结果证明， 设计 的分拣系统能够抓取罐头， 然后最终检测出罐头， 将有缺陷的罐头带出生产线， 已经实现了 96% 的准确度。在产品分拣过程中使 用这项技术，将在短时间内提高生产率和质量。

　　关键词：机械臂; 计算机视觉; 物体检测

　　Design of Mechanical Arm Sorting System Based on Computer Vision

　　Cui Yafei ，Zhang Songya

　　(Yongzhou Vocational Technical College, Yongzhou, Hunan 425100. China)

　　Abstract: Before launching different products, it is necessary to sort them to ensure that there are no defects and sell them at a better price. However, manual inspection is costly and requires a significant amount of labor and time, so many companies tend to use modern technology to implement product inspection processes. A method based on the association between robots and computer vision systems is proposed. A robotic arm with 4 degrees of freedom is designed using SolidWorks software. The robotic arm places cans onto a conveyor belt and then transfers them to the inspection room. The product image is captured by a camera connected to the computer, and processed by the LabVIEW program. The model is simulated using MATLAB, and Arduino microcontroller is used to control the process of prototype execution. When a defective product passes through the conveyor belt, the system will change the path and remove the product from the production line. The simulation and experimental results demonstrate that the prototype can grab cans and ultimately detect them, taking defective cans out of the production line, 96% accuracy has been achieved. The use of the technology in the product sorting process will improve productivity and quality in a short period of time.

　　Key words: mechanical arm; computer vision; object detection

　　引言

　　产品分拣是重要的生产部门之一， 工人对产品的检 查通常很枯燥， 需要花费大量时间， 尤其是在高需求产 品中， 这限制了产品产量的增长， 此外还需要更多的工 人[1-2]。随着技术的发展， 研究人员倾向于采用许多技术 策略来自动实施检测过程， 并能够增加产量和满足消费 者需求。计算机视觉是一种利用摄像机的图像和视频序 列并将其显示在计算机上的技术[3-6]。随着技术的发展， 计算机视觉已经扩展到许多不同的行业，通过确保质量、 分拣、处理材料和自动化定位， 满足生产的速度和质量 的要求，从而有助于开发完全自动化的工艺[7-12]。

　　计算机视觉起源于 20 世纪 60 年代， 然后在 20 世纪 70 年代受到研究人员的重视。 Brosnan 等回顾了计算机视觉在农业和食品行业的发展，通过计算机视觉检查苹果， 每个苹果至少需要 4 张图像来量化随机选择的苹果的平 均形状， 研究发现， 这种轮廓分析可以用于表征现有的 形状描述符列表。 Shen 等开发了一种用于轴承缺陷检测 的机器视觉系统， 可以检测轴承盖上的各种类型的缺陷， 如变形、锈蚀、划痕和裂纹等， 实验结果表明， 该系统 能够高效、准确地检测轴承盖的不同缺陷， 由此认为有 可能将机器视觉系统应用于自动化生产线， 取代人类工 人。 Ding 等提出了使用 LabVIEW IMAQ Vision 检测食品 和农产品的方法， 描述了 LabVIEW IMAQ Vision 的主要 组件、校准、图像处理和使用 VIs 功能的分析， 此外， 还回顾了 LabVIEW IMAQ Vision 在食品和农产品检测中 的应用进展， 如缺陷检测、形状分类、水果分级和质量评估。JIAQI等提出了一种基于计算机视觉的钢铁产品表 面自动检测系统，该系统被设计为克服许多限制，这些限 制由环境条件对捕获图像亮度的影响以及区分缺陷和 Mezzotits 的能力来表示， 为了解决图像亮度不均匀的问 题， 开发了一种可以去除图像中不稳定照明的定量模型， 另一方面，设计了一个简单的分类器来识别缺陷并进行区 分。

　　Chen 等提出了一种用于圆形罐端检测的机器视觉设 备，该设备有望实时检测罐底表面的所有表面缺陷，可以 为直径 55~153 mm 的罐头提供非常高的精度， 其精度和 坚固性足以满足苛刻的工业要求。此外，所开发的算法还 可以扩展到许多其他工业检测应用。在工件分拣生产线 上，大多数公司采用传统的人工分拣。然而，多年来，国 内劳动力成本却急剧上升。显然， 手动排序没有任何优 势。国内一些公司开始使用工业机器人[13-16]来进行分类。 操作人员在教学环节的指导下完成教学内容。对于这种机 器人，工作过程是开环的。一旦工作环境发生变化，机器 人可能会抓取不正确的对象。它在很大程度上降低了生产 力。在这种情况下，将机器视觉技术应用于工业分选系统 具有重要意义。与传统的分类技术相比， 它具有更高的 质量、速度和智能性。机器视觉与工业生产相结合， 不 仅可以降低人力成本，还可以保证工业生产的效率[17-20] 。 因此，本文设计了基于视觉的机械臂产品分拣系统。

　　首先， 确定了机器人臂的 CAD 模型。第二个阶段是通过 选择合适的材料来构建机械臂的机械结构。第三阶段对 机器人的运动学和动态模型进行了分析， 并在 MATLAB 中建立了一个图形用户界面(GUI) 来设置机器人的运 动参数。最后， 使用图像处理技术检测已开发用于检测 生产线上的缺陷罐，得到测试结果。

　　1 系统整体设计

　　1.1 系统构成

　　根据拾取和放置操作的性质， 具有 4 自由度(DOF) 的机械臂是最方便的模型。对各种材料(钢-铝-木) 进 行了研究， 发现铝材料是最好的材料， 因为其质量轻且 具有弹性， 能够提供灵活的运动，并能够承受环境条件。 带有伺服位置和主要尺寸的机械臂模型如图 1所示。

　　1.2 嵌入式系统设计

　　机械臂和检查单元的嵌入式系统包括以下组件。

　　( 1) 微控制器单元： ArduinoUNO 和 Arduino MEGA 微控制器共同控制所开发系统的操作。 Arduino UNO 被 用来控制机械臂的操作， 而 Arduino MEGA 被用来控制沿 着生产线输送罐子的输送带。图 2 所示为用于控制系统 的微控制器。

　　(2) 光检测电阻传感器： 当激光指针关闭， 传感器 发出信号捕获物体时， 物体的位置由 LDR 传感器确定。 图 3所示为用于检测罐头存在的 LDR传感器。

　　(3) 网络摄像头： 它已被用于捕捉产品的图像的检 查过程。图 4所示为被用于捕捉罐头照片的网络摄像头。

　　(4 ) 电机： 伺服电机用于旋转机械臂的接头; 步进 电机由于其精确定位， 因此被用来为传送带提供运动。

　　2 软件设计

　　摄像头捕捉图像， 然后发送到 LabVIEW 应用图像处 理， 之后输出结果传输到 MATLAB， 根据检查结果计算 并定位机械臂到指定的位置。

　　( 1 ) LabVIEW 已被用于对罐头的图像应用图像处 理， 以便进行检查。 LabVIEW 是一个系统设计平台， 允 许数据采集、测试自动化、仪器控制和嵌入式系统设计。 利用 LabVIEW 对捕获的照片进行图像处理， 并与未变形 的照片进行比较。在检查过程中使用了各种LabVIEW学习 和匹配块。图5所示为未变形罐的照片，代表完整的模型。

　　(2 )MATLAB 主要提供数学/数值计算环境， 因此被 用于高级计算， 以便根据来自 LabVIEW 平台的图像处理 结果对罐头进行分类。用于应用图像处理的最重要的 LabVIEW 块是黄金模板和 IMAQ 创建， 前者是在给定的 对齐情况下， 将图像与模板图像进行比较; 后者是在内 存中创建用于存储图像的非永久存储容量。

　　IMAQ 读取图像和视觉信息 VI：读取一个图像文件， 所有信息都属于 IMAQ 。IMAQ 设置匹配几何模式 2 VI： 设置在匹配过程中使用的参数。 IMAQ 高级设置学习几 何模式 2 VI： 优化和微调在基于边缘的几何模式匹配的 学习阶段使用的高级参数。 IMAQ 学习几何模式 2： 对 在匹配过程中寻找的模板图像进行解释， 此描述被附加 到输入模板图像中。 IMAQ 读取-文件： 读取一个图像文 件 ， 文 件 格 式 可 以 是 标 准 格 式 (BMP 、TIFF 、JPEG、 JPEG2000 、PNG 和 AIPD)， 也可以是用户已知的非标准 格式。 IMAQ 匹配几何模式 2： 在检查图像中搜索模式或 模板图像。 IMAQ 去除粒子： 消除或保持粒子抵抗指定 数量的 3×3 侵蚀。被保留的粒子的形状与原始源图像 中发现的形状完全相同。源映像必须是一个 8 位的二 进制映像。

　　(3 )MATLAB 与 LabVIEW 之间的通信： 在获取图像 并完成 3 种模式的软件分析后， 必须将结果发送到 MAT ‐ LAB， 以完成用于移动机器人的计算， 如逆运动学。通 过使用通信协议， LabVIEW 的数据被导出为文本文件， 然后将该文本导入回 MATLAB。在从 LabVIEW 到文本文 件的传输过程中， LabVIEW 应该由管理员启动， 并且通 过文本文件到 C 驱动器中的 MATLAB 目录的通信必须由 管理员完成，并根据所需的数据选择数据类型。

　　(4) 串行通信：通过使用 I2C 技术，数据已经在两个 被用于控制所开发的系统所执行的操作的微控制器之间进 行传输。通过使用这种通信技术，主控制器和从控制器使 用两根导线连接在一起，通过它，数据在控制器之间传输。

　　3 实验与结果分析

　　为了使计算机视觉系统能够在任何环境中检测产品 上的任何变形， 许多参数保持不变。当从相机上拍摄照 片时， 会对其进行分析， 并将其与作为纯产品图像的模 板进行比较， 以检测任何变形。 LabVIEW 完成的图像处 理结果如图 6 所示。如果产品没有缺陷， 绿灯亮起， 机 械臂将不会采取任何行动， 以允许产品在生产线上继续 沿其正常路径移动。另一方面， 如果产品有缺陷， 红灯 会亮起， 然后机械臂会抓住产品， 以改变其路径。两个 计数器被放置在两条路径上， 一个用于计算有缺陷的罐 头，另一个用于计算无缺陷的罐头。

　　检测系统已经用 50 个有缺陷的罐子进行了测试， 这 些罐子在不同的位置有各种变形。所提出的系统检测到 48 个测试样本， 而只有 2 个样本没有被系统识别。根据 测试结果， 已经实现了 96% 的准确度。图 7 显示了测试 中使用的一些缺陷样品。

　　通过使用 SolidWork 程序， 机械臂的部件已被设计为 由铝材料制成。根据 SolidWork 中机械臂的最终组装结构的结果， 总质量为 0.95 kg， 而实施后的实际总质量约为 1.1 kg， 略高于设计结构的质量。这种小的放大对手臂关 节的扭矩和机械臂的整体性能没有影响。所实现的机器人 部件的特性及其配置如下。机器人主体的质量为 0.95 kg， 体积为 938 657.06 mm3 ，表面积为 367 555.22 mm2 ，质心 为： X=100.70 mm ， Y=164.99 mm ， Z=194.96 mm。主惯 性轴和主惯性矩 T在质心处。

　　机械臂的旋转角度已经受到电机工厂高扭矩水平的 限制， 因此关节角度必须在两个安全值之间移动。表 1 所示为每个关节的限制区域。

　　4 结束语

　　本文给出了一个基于计算机视觉的机械臂分拣的工 厂自动化解决方案。为了实现快速准确的检测过程， 设 计实现了一个具有 4个自由度的机械臂， 用于从固定点 捕获罐头并将其放置到传送带上， 使用高分辨率的相机 可以获得高清图像， 从而实现了快速分拣过程。利用 SolidWork 应用程序对机械臂的机械结构进行了设计和组 装， 以实现灵活准确的运动。使用 MATLAB 实现了图形 用户界面， 使机器人更容易为用户工作。使用 LabVIEW 应用图像处理可以提供准确的结果。设计了软件和硬件， 以及基于视觉的缺陷识别算法， 实验结果表明， 缺陷识 别准确率达到了 96%， 识别度高， 特别是用于微小产品 的检查， 为类似的应用提供了参考。

参考文献：

　　[1] 刘宏达,巩嘉贝,邢倩,等 . 基于机器视觉的机械臂柔性分拣技 术研究[J].科技创新与应用,2023.13(11):22-25.

　　[2] 何成刚,郑衡,丁克,等 . 基于机械臂辅助的多视角三维点云拼 接算法研究[J/OL].激光与光电子学进展:1-19[2023-04-29]. http://kns. cnki. net/kcms/detail/31.1690. tn. 20230207.1600.004. html.

　　[3] 崔亚飞, 罗辉,秦龙,等 . 基于改进 Cascade Faster R-CNN 的铝型 材表面缺陷识别研究[J].机电工程技术,2021.50(11):85-90.

　　[4] 苟园旻, 闫建伟, 张富贵,等 . 水果采摘机器人视觉系统与机械 手研究进展[J/OL].计算机工程与应用:1-16[2023-04-29].http: //kns.cnki.net/kcms/detail/11.2127.TP.20221213.1230.006.html.

　　[5] 汪凌阳, 朱璠婷, 蒋文萍 . 基于机器视觉的机械臂双目测距系 统研究[J].应用技术学报,2022.22(4):383-387.

　　[6] 李琪璐,路彤,李明宇,等 . 基于机器视觉的颜色分拣机器人设 计[J].单片机与嵌入式系统应用,2022.22(12):54-57.

　　[7] 崔亚飞, 罗辉,秦龙 . 基于数字孪生的工业机器人运动仿真[J]. 机电工程技术,2022.51(12):183-186.

　　[8] 黄丰盛,谢于锰,梁焜明,等 . 基于机器视觉的宏观超分子组装实 验平台[J].北京化工大学学报(自然科学版),2022.49(6):92-100.

　　[9] 李世杰,左治江,李涵 . 基于深度学习的机器人抓取系统[J/OL]. 中 国 测 试 : 1-10[2023-04-29]. http://kns. cnki. net/kcms/detail/51.1714.TB.20221115.1900.005.html.

　　[10] 罗辉, 崔亚飞 . 基于机器视觉的工件识别与定位系统设计与 实现[J].组合机床与自动化加工技术,2021(1):101-105.

　　[11] 楚红雨,冷齐齐, 张晓强,等 . 融入注意力机制的多模特征机 械臂抓取位姿检测[J/OL].控制与决策:1-9[2023-04-29].

　　[12] 王校峰,王建文, 曹鹏勇,等 . 机器视觉主导的机械臂动态抓取 策略研究[J].机床与液压,2022.50(17):38-42.

　　[13] 朱新凯,刘威 . 基于机械臂的全自动移液系统设计[J].电子设 计工程,2022.30(13):123-127.

　　[14] 李昌璐 . 基于机器视觉的苹果采摘机器人识别与定位研究 [D]. 兰州:兰州理工大学,2022.

　　[15] 陈思宇 . 基于机器视觉的六自由度机械臂分拣系统设计[J]. 内燃机与配件,2022(11):43-45.

　　[16] 贾清玉 . 面向机械臂操作的视觉信息重建方法研究及应用[D]. 桂林:桂林电子科技大学,2022.

　　[17] 董子扬 . 基于机器视觉与并联机械臂的猕猴桃采摘技术及 装置研究[D].杨凌:西北农林科技大学,2022.

　　[18] 沈业全 . 基于机器视觉的七自由度机械臂抓取与避障研究 [D]. 武汉:江汉大学,2022.

　　[19] 董阳 . 面向机械臂抓取应用的视觉识别与定位技术研究[D]. 沈阳:沈阳工业大学,2022.

　　[20] 王冲 . 基于计算机视觉的番茄检测方法研究[D].济南:山东 大学,2022.