摘要：球形果蔬的高效定向是其深加工过程中的关键环节。针对传统定向装置存在的结构复杂、成本高、效率低等问题， 设计了 一种球形果蔬自动定向系统。对其系统控制方案进行了设计， 并提出了一种基于目标检测技术的位姿调整方法。针对定向机构上 苹果偏转角度较大时果梗检测困难的问题， 以 YOLOv4-tiny 模型为基础， 通过引入 CBAM 注意力机制来增强网络表征能力， 提升 了果梗检测算法的性能， 降低了漏检率。为了改善形状不规则果实的定向效果， 设计了一种位姿调整模糊控制器， 提高算法的鲁 棒性。搭建位姿调整模拟试验台进行定向实验。结果表明： 定向的合格率为 90%， 平均时间为 3.1 s， 平均误差为 4.6 mm， 计算量 低， 实时性好， 为自动定向的实际应用提供可行的方法。

　　关键词：果蔬定向; 目标检测; 注意力机制;模糊控制

　　Spherical Fruit and Vegetable Orientation System Based on Improved YOLOv4-tiny
       Huang Ming1. 2 ，Zhang Hongwei1. 2 ，Wang Zhendong1 ，Zhao Wenfan1

　　( 1. School of Electrical Engineering and Automation, Henan Polytechnic University, Jiaozuo, Henan 454000. China; 2. Henan Key Laboratory of Intelligent Detection and Control of Coal Mine Equipment, Jiaozuo, Henan 454003. China)

　　Abstract: The high efficiency orientation of spherical fruit and vegetable is the key link in its deep processing. Aiming at the problems of complex structure, high cost and low efficiency of traditional orientation device, an automatic orientation mechanism is designed. Its system control scheme is designed, and a pose adjustment method based on object detection technology is proposed. Aiming at the difficulty of calyx detection when the deflection angle of apple is large in orientation mechanism, based on YOLOv4-tiny model, CBAM attention mechanism is introduced to enhance the network characterization ability, thus improving the performance of calyx detection algorithm and reducing the missed detection rate. In order to improve the orientation of irregularly shaped fruit, a fuzzy controller for position adjustment is designed to improve the robustness of the algorithm. The orientation experiment is carried out on the pose adjustment simulation testbed. The results show that the percent of pass is 90%, the average orientation time is 3.1 s, the average error is 4.6 mm, the calculation amount is low, and the real- time performance is good, which provides a feasible method for the practical application of automatic orientation.

　　Key words: fruit and vegetable orientation; object detection; attention mechanism; fuzzy control

　　引言

　　高效完成果蔬削皮作业可以确保果蔬深加工产业的 可持续绿色健康发展， 也一直是果蔬加工领域的研究热 点。而在进行削皮工序前， 最重要的便是预先摆正果蔬 位姿， 在这个过程中涉及到对果蔬的定向。所谓“定 向”，即针对农作物的某种物理属性，通过某种机械结构 的作用， 使农作物实现固定方向上的稳定运动[1-3]。在工 厂实际生产过程中， 果蔬自动削皮设备已具备许多自动 化功能， 但由于传统定向装置存在结构复杂、成本高、 效率低等问题， 在定向环节仍普遍采用人工或重复筛选 的方式[4-7]。这两种调整方式， 不仅使生产加工速度受到 了人工能力或随机性的限制， 并且由于长时间单一动作 的重复劳动， 工人易产生疲倦感， 进而也相应地增加了发生事故的风险。因此， 如何高效地完成自动定向是实 现果蔬削皮生产线全自动化的研究重点。

　　近年来， 得益于深度神经网络的巨大进步， 在目标 检测方面， 无论是检测精度或是检测速度， 都获得了较 大的提升。其中具有代表性的算法可以分为以下两类， 基 于 区 域 建 议 的 R-CNN 、 FastR-CNN 、 Faster R-CNN 等; 基于目标回归的 SSD[8] 和 YOLO 系列等。同时， 目标 检测技术在果蔬采摘和加工等领域的应用愈加广泛。例 如， 伍荣达等[9]对自主采摘机器人的机器视觉系统和末 端采摘技术研究方向进行深入分析， 探讨果蔬采摘机器 人在当前技术开发中面临的问题和难题， 并据此提出了 未来果蔬采摘机器人的发展前景。白克[10]设计了一种致 力于提升果园摘取成熟水果效率的机器人， 在获取水果的图像信息后得到其位置与姿态， 驱动机器人对目标进 行摘取。彭彦昆等[11]结合机器视觉技术和红外光谱技术， 开发了一种苹果品质分级系统。

　　已有的文献中提出了解决果蔬实时检测、采摘、分 级的方法， 然而针对生产线上球形果蔬自动定向的研究 却较少。因此， 本文以典型的单轴对称球形果蔬苹果为 例， 设计了一种自动定向机构， 对其系统控制方案进行 了设计， 并提出了一种基于目标检测技术的位姿调整方 法。通过将 CBAM[12] 注意力机制引入 YOLOv4-tiny[13] 的 FPN 中增强网络表征能力， 从而提升果梗检测算法的性 能， 降低漏检率。为改善位姿调整的整体效果并增强算 法的鲁棒性， 抑制果实形状不规则带来的干扰， 设计了 位姿调整模糊控制器。结合检测到的果梗位置信息与位 姿调整模糊控制算法， 计算出步进电机的旋转方向与角 度， 再由 PLC 驱动步进电机进行位姿调整， 实现苹果加 工过程中的高效自动定向。

　　1 整体方案设计

　　1.1 自动削皮生产线整体结构设计

　　针对传统成套削皮设备存在的自动化程度低、成本 高、效率低等问题， 根据传输、定向、转移和削皮等功 能将系统进行模块化划分， 并对其人工定向环节进行优 化， 使用 SolidWorks 软件设计了一种苹果自动削皮生产 线[14] ，如图 1 所示。

　　首先， 传输机构将任意姿态的苹果输送至定向机构 进行自动定向， 使其保持果梗竖直向上的状态; 然后， 机械手将定向机构上的苹果夹起插到削皮机构的插针上 进行自动削皮; 最终， 机械手夹起插针上完成削皮的苹 果，转移至出料机构。

　　1.2 定向系统控制方案设计

　　苹果自动定向控制系统由相机、计算机、 PLC 和 3 台步进电机及其驱动器等组成， 如图 2 所示。

　　相机固定在步进电机组的正上方， 用于获取图像， 上位机监控系统用于果梗目标的检测， PLC 用于控制步 进电机。 3 台步进电机的出轴配备磨砂转轮， 转轮之间 呈 120°分布， 构成稳定的三角形支架[15] ，通过滚轮驱动 球形果蔬运动，使果梗始终保持向上的状态。

　　当传输机构将苹果送至定向机构时激活光电开关， 上位机检测到开关信号后， 控制相机对定向机构当前图像进行采集并检测果梗目标。根据检测结果计算出步进 电机的旋转角度和方向， 通过 TCP 通信传输给 PLC， 控 制步进电机对苹果进行自动定向。

　　2 果梗检测算法

　　2.1 YOLOv4-tiny 检测原理

　　果梗的检测是苹果进行自动定向的基础， 通过获取 相机采集图像中的果梗位置信息， 计算出 3 台步进电机 的旋转方向与角度。 YOLOv4-tiny 是 YOLOv4[16] 的轻量级 版本， 它拥有更加简单的网络结构和更小的内存占用， 在保证准确率的基础上，具有更快的检测速度，能够胜任 果梗高效检测的任务且易于部署在硬件条件有限的平台 上， 大幅降低设备成本。因此， 本文使用 YOLOv4-tiny 算法进行果梗与苹果的目标检测。

　　YOLOv4-tiny 主要由 3 个部分组成， 包括 CSPDark ‐ net53-tiny、FPN 以及 YOLO Head。其中， CSPDarknet53- tiny 对输入图像的特征信息进行提取， 由 2 个 CBL 和 3 个 CSPBlock 构成。 CSPBlock 以跨级局部网络作为参照， 获 得了学习能力、计算瓶颈和内存占用等方面的提升。 FPN 结构用于融合不同网络层的特征， 保留深层网络的 语义信息和底层网络的几何细节， 从而增强特征提取能 力[17]。最后， YOLO Head 利用特征结果对待测目标进行 最终检测。

　　2.2 YOLOv4-CBAM-tiny 果梗检测算法

　　在相机采集图像的过程中， 当果梗与果萼所在轴线 与竖直方向轴线夹角超过 60° 时， 任意姿态都有可能存 在果梗成像不完整的情况， 加大了果梗检测的难度。为 了准确地检测苹果在各种姿态下的果梗位置， 引入 CBAM 注意力机制， 以提升果梗检测算法的性能， 降低漏检率。

　　CBAM 是一种前馈卷积神经网络注意力机制， 可以 有效地提醒模型应该关注哪些特征， 并提高关键区域的 特征表达能力[18]。此外， CBAM 是一个轻量级通用模块， 可以方便地集成到任何卷积神经网络架构中， 且其内存 占用可以忽略不计。

　　在主干网络提取出来的 2 个有效特征层上分别引入 CBAM， 可得到优化后的特征层。对其中一个优化后的 特征层进行卷积和上采样， 并对上采样后的结果再一次 引入 CBAM， 将上述 2 个改进后的有效特征层进行堆叠 并卷积。改进后的网络如图 3 所示。

　　2.3 检测实验

　　2.3.1 数据集制作

　　为了使用深度学习网络模型进行目标检测， 首先要 创建一个适用于网络训练的数据集。数据集的制作过程 包括收集相关的图像数据和进行标注。拍摄不同场景、 角度光照条件下不同品种的苹果， 以确保模型的鲁棒性 和泛化能力。然后使用 LableImg 数据标注软件对果梗和 苹果进行标注。

　　2.3.2 实验环境

　　目标检测模型在实验室平台进行训练， 具体配置如 表 1 所示。

　　2.3.3 模型训练

　　在进行模型训练前， 对模型参数 config 文件进行设 置。由于本文涉及 2 种类别的目标检测， 所以将 class number 设置 2.根据本文使用的 GPU NVDIA GTX 1060. 将 Batch Size 设置为 16. 既能充分利用 GPU 的性能， 又 提高了训练速度。在训练过程中采用梯度下降法， 使用 SDG 优化器， 并使用余弦退火衰减调整学习率， 模型训 练的具体参数设置如表 2 所示。

　　2.3.4 实验结果与分析

　　为了验证模型改进的有效性， 将本文提出的果梗检 测模型与 YOLOv4-tiny 和引入 ECA[19] 注意力机制的 YO ‐ LOv4-ECA-tiny 进行比较。

　　实际定向过程中， 当果梗与果萼所在轴线与竖直方 向夹角超过 60° 时， 对模型检测果梗目标存在较大的影 响。为了验证引入 CBAM 注意力模块能够有效提高算法的 实际检测性能，选取测试集中果梗区域成像较差的苹果图 片进行测试，3 种模型的部分检测结果分别如图 4~6 所示。

　　由图 4 和图 5 可以看出，在果梗成像效果较差的情况 下， YOLOv4-tiny 和 YOLOv4-ECA-tiny 算法均出现不同 程度的漏检和误检情况。而在图 6 中， YOLOv4-CBAM- tiny 算法通过利用 CBAM 模块的通道注意力使网络自动 获取每个通道的重要程度， 并将每个通道的信息与权重 共享的多层感知器进行叠加从而赋予每个通道不同的权 重来强化目标特征; 通过利用 CBAM 模块的空间注意力 为特征图中每个位置生成权重并加权输出， 增强目标特 定区域的同时弱化不相关的背景区域， 从而进一步提高 果梗目标的特征表达能力， 使检测网络注意力偏向果梗 目标， 进而提升准确率， 较好地解决了漏检和误检问 题 。 通 过 对 比 3 种 算 法 的 检 测 效 果 可 知 ， YOLOv4- CBAM-tiny 算法在果梗区域成像较差的情况下， 依然能 够较好地完成果梗的检测。对苹果的检测方面， YO ‐ LOv4-CBAM-tiny 算法生成的检测框相较其他 2 种算法更 加贴合果实轮廓。

　　3 位姿调整算法

　　3.1 位姿调整原理

　　根据所设计的苹果自动定向机构， 搭建位姿调整模 拟实验台。进行实验测试时发现， 果梗的运动轨迹与 3 台电机的旋转角度和方向存在一定的关联， 如图 7 所示。

　　定义电机顺时针旋转为正转， 逆时针旋转为反转。 当电机 A 反转， 其余 2 台电机正转时， 苹果沿 XZ 平面向 Z 轴正方向旋转， 从俯视图上观察， 果梗向 Y 轴方向 (逆时针) 转动; 当电机 A 正转， 其余 2 台电机反转时， 苹果沿 XZ 平面向 Z 轴负方向旋转， 果梗向 X 轴方向(顺 时针) 转动。若果梗与转轮在同一垂直平面上， 果梗则 会沿着该平面向 Z 轴转动。

　　为了进一步研究果梗的移动与电机旋转角度之间的 关系， 将苹果建模为一个球体， 并以球心为原点建立坐 标系。果梗定位点 C 的坐标为 (x, y, z )， 过点 C 在平行于 平面 XY 的方向作 XZ 的垂线，垂足为 M，平面 MCO ' 平行 于平面 XY，点 M 在平面 XZ 上。作 OM 的延长线与球面交 于点 C ' ，点 C ' 也在平面 XZ 上，如图 8 所示。

　　令电机 B 正转， 电机 A 和 C 反转，苹果沿电机 B 的转 轮所在的垂直平面向 Z 轴正方向旋转， 果梗向逆时针 (电机 A)方向转动。当果梗停在电机 A 的转轮所在的垂 直 平 面 时 ， 其 移 动 轨 迹 为 点 C 到 点 C ' ， 旋 转 角 度 为 ∠COC '。再令电机 A 反转， 电机 B 和 C 正转， 苹果沿电 机 A 的转轮所在的垂直平面向 Z 轴正方向旋转。当果 梗停在点 P 时， 其移动轨迹为点 C ' 到点 P， 旋转角度 为 ∠POC '。

　　3.2 位姿调整算法

　　基于以上内容， 提出一种苹果位姿调整方法。使任意位姿的果梗达到竖直向上的状态， 需要进行 2次调整 。第一次调整将果梗转到其逆时针方向最近的一条电机转轮所在的垂直平面上 ， 第二次 调 整 将 果 梗 转 到 目 标点 ， 稳定在果梗竖直向上的状态， 如图 9 所示。

　　首先， 采集图像并使用目标检测算法对果梗和苹果 进行检测， 根据检测结果提取检测框的位置信息。在 voc 格式下， 输出的预测信息为归一化后预测框的左上角和 右下角坐标，记为( x1 ，y1 )和( x2 ，y2)， 将其分别与图 像的宽高值相乘便得到预测框在图像上的真实坐标， 即 左上角坐标( xmin ，ymin )和右下角坐标( xmax ，ymax)。由 此计算出检测框的宽高( w ，h) 及其中心点坐标(xz， yz)， 计算如下：

　　果梗所处的区域 n 计算如下：

　　式中： θ 为以目标点( x0 ，y0 )为极点， 将直角坐标系下 的果梗定位点坐标( x ，y)转换为极坐标系后的极角 θ。

　　当果梗处于不同区域时， 3 台电机的旋转方向如表 3 所示。

　　3.3 位姿调整模糊控制算法

　　根据上述方法进行电机旋转角度的计算时， 涉及到 苹果的拟合圆半径 r。在苹果的果梗和果萼之间的距离与 宽度基本相等且形状接近球形时， 苹果定向效果较好。 然而， 形状不规则的苹果经过调整， 则与目标点的误差 较大， 难以满足后续加工需求。在实际生产中形状不规 则的苹果占很大的比例， 为了改善位姿调整的整体效果 并增强算法的鲁棒性，设计了一种位姿调整模糊控制器。

　　3.3.1 模糊控制原理

      设计模糊控制器时，首先确定模糊控制器结构，主要包括输入变量的模糊化、模糊推理和解模糊3个部分，如图10所示。

　　首先， 求出输入变量， 通过果梗定位点与目标点坐 标计算得到误差 e1 和 e2.将这些误差的准确值转换为模 糊量， 并映射到相应的模糊子集中。接着， 根据操作经验制定模糊规则， 用于模糊推理的依据。通过模糊推理 的合成规则对输入变量进行模糊推理， 得到相应的模糊 控制量。最后， 将模糊推理得到的控制量通过解模糊计 算出精确的输出量， 即步进电机的旋转角度 α 和β 。

　　3.3.2 输入变量计算

　　误差 e1 表示图像中两点之间的距离， 误差 e2 表示图 像中两点的连线与逆时针方向最近的一条分界线之间的 夹角，计算如下：

　　3.3.3 输入变量模糊化

　　在实验测试中， 在目标检测算法能够检测到果梗的 范围内， 果梗定位点与目标点间的距离最大值约为 60 个 像素点， 从近到远分为 3 个等级， 分别为 6~20 、20~40、 40~60. 为 输 入 变 量 e1 选 取 语 言 变 量 值 { 小 (S)， 中 (M)， 大(B) }， 论域[6 ，60]。输入变量 e1 在其论域[6. 60]上模糊子集的隶属度函数如图 11 所示。

　　易知夹角 e2 在 0~60° 之间。从小到大分为 3 个等级， 分别为 6~20 、20~40 、40~60.为输入变量 e2 选取语言变 量值{小(S)， 中(M)， 大(B)}，论域[6 ，60]。输入变 量 e2 在其论域[6 ，60]上模糊子集的隶属函数如图 12 所示。

　　3.3.4 输出变量模糊化

　　经实验测试， 第一次调整中电机的转动角度在 0~ 60°之间。将电机第一次旋转角度 α 确定为位姿调整环节 模糊控制器的一个输出变量， 为其选取变量值{小(S)， 中(M)， 大(B) }，论域[0 ，60]，输出变量 α 在其论域 [0 ，60]上模糊子集的隶属函数如图 13 所示。

　　经实验测试， 第二次位姿调整中电机的转动角度在 0~60°之间。将电机第二次旋转角度β 确定为位姿调整环 节模糊控制器的一个输出变量 ， 为其选取变量值{ 小 (S)， 中(M)， 大(B) }， 论域[0 ， 60]， 输出变量 β 在 其论域[0 ，60]上模糊子集的隶属度函数如图 14 所示。

　　3.3.5 模糊规则制定

　　根据测试实验中总结的经验设计模糊控制规则。第一次调整的目标是将果梗移动至其逆时针方向分界线所在的垂直平面上，步进电机的旋转角度与e1 和e2均成正相关，果梗定位点与分界线距离越远，步进电机的旋转角度便越大。第二次调整的目标是将果梗向竖直方向移动至目标点，步进电机的旋转角度与e1成正相关，与e2成负相关。果梗定位点与目标点的距离越远，步进电机的旋转角度越大;果梗定位点与分界线的距离越远，步进电机的旋转角度越小。建立电机两次调整的旋转角度 α 和β 的模糊控制规则如表 4 所示。

　　3.3.6 解模糊

　　采用最大平均法对模糊推理得到的控制量进行解模 糊， 计算出步进电机具体的旋转角度。解模糊的输出结 果如图 15 所示。

　　3.4 位姿调整实验

　　为了验证位姿调整算法的实际定向效果 ，搭建位姿调整模拟实验台， 如图 16 所示。采用YOLOv4-CBAM-tiny 果梗检测模型， 选择 5 个不同品种和大小的苹果进行 30 次随机位姿的调整实验。记录每次调整所用的时间以及调整后的果梗定 位点坐标， 将其与参考点水平距离不超过 6 个像素点的 样本认定为合格， 可满足果梗竖直向上的后续加工要求。 由于相机固定于支架上， 与工作面之间的垂直距离不变， 实际大小与相机采集画面像素大小的比例约为 1 ∶ 1.2. 实验结果如图 17 所示。

　　根据实验结果可知， 位姿调整的合格率为 90%， 平 均误差为 5.5个像素点， 即 4.6 mm， 平均用时为 3.1 s， 果梗的检测率为 83.3%。其中， 第 25 组到第 30 组实验使 用了相对较长的时间完成位姿调整， 原因是苹果的初始位姿接近水平状态， 目标检测算法未检测到果梗， 因此 需要进行预调整， 使果梗在相机的检测范围内， 再进行 准确的调整。实验结果表明，本文方法满足生产线要求， 在保证调整精度的同时具有较快的调整速度。

　　4 结束语

　　本文针对球形果蔬人工定向效率低、成本高等问题， 设计了定向系统控制方案，并提出了一种基于YOLOv4-tiny 的位姿调整方法。为了提高算法的鲁棒性，设计了一种苹果 位姿调整模糊控制器。针对定向机构上苹果偏转角度较大时 果梗难以检测的问题，采用添加CBAM注意力机制的方法增 强网络的表征能力，提高目标检测网络的精度，降低漏检 率。搭建了苹果自动定向模拟试验台，并进行定向试验。结 果表明： 自动定向的合格率为 90%，平均误差为 4.6 mm， 平均用时为 3.1 s，满足生产线调整精度要求的同时，具有 较快的调整速度。相较于传统的人工调整，减轻了劳动强 度， 降低了事故风险，提升了流水线效率与自动化水平。

参考文献：

　　[1] BENNEDSEN B S,PETERSON D L,TABB A. Identifying defects in images of rotating apples[J]. Computers and Electronics in Ag ‐ riculture,2005.48(2): 92-102.

　　[2] 李晶, 张东兴,刘宝 . 苹果分级机输送与翻转机构设计[J].农业 机械学报,2009.40(5): 158-161.

　　[3] 崔功佩,郑昕萌,崔永杰,等 . 基于转动惯量的采后甘蓝自动定 向方法研究[J]. 农业机械学报,2020.51(11): 183-195.

　　[4] 曹希凡,党凯锋,杨静,等 . 多自由度机械手臂在猕猴桃削皮加 工中的应用[J]. 现代农机,2020(2): 46-47.

　　[5] 曹建斌, 曹光矗,程跃胜,等 . 刀盘式马铃薯削皮装置设计与试 验[J]. 农业工程,2020.10(10): 48-54.

　　[6] 龚晓茜,王国强,刘化君 . 双刀型哈密瓜削皮机的改进与回归 试验[J]. 中国农机化学报,2021.42(8): 115-120.

　　[7] 康玉辉,李景阳 . 水果自动削皮机的设计与试验[J].食品工业, 2020.41(10): 232-234.

　　[8] LIU W,ANGUELOV D,ERHAN D, et al. SSD: single shot Multi ‐ Box detector[C]//European Conference on Computer Vision. Cham: Springer,2016: 21-37.

　　[9] 伍荣达, 陈天赐, 张世昂,等 . 果蔬采摘机器人关键技术研究进 展[J]. 机电工程技术,2021.50(9): 128-132.

　　[10] 白克 . 基于 PLC 和机器视觉的采摘机器人智能控制系统设 计[J]. 农机化研究,2021.43(2): 212-216.

　　[11] 彭彦昆,孙晨,赵苗 . 苹果品质动态无损感知及分级机器手系 统[J]. 农业工程学报,2022.38(16): 293-303.

　　[12] WOO S,PARK J,LEE J Y,et al. CBAM: convolutional block at ‐ tention module[M]//Computer Vision – ECCV 2018. Cham: Springer International Publishing,2018: 3-19.

　　[13] WANG C Y, BOCHKOVSKIY A, LIAO H Y M. Scaled-YO ‐ LOv4: scaling cross stage partial network[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nash ‐ ville:IEEE,2021: 13024-13033.

　　[14] 田 和 强 , 马 洪 强 , 安 金 昌 , 等 . 一 种 新 型 苹 果 去 皮 去 核 机 : CN218483712U[P]. 2023-02-17.

　　[15] 韩仲志 . 一种基于计算机视觉的球形果蔬姿态自动调整方 法与装置: CN108454939A[P]. 2018-08-28.

　　[16] BOCHKOVSKIY A, WANG C Y, LIAO H. YOLOv4: optimal speed and accuracy of object detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,2020.

　　[17] ZHU D L,XU G H, ZHOU J, et al. Object detection in complex road scenarios: improved YOLOv4-tiny algorithm[C]//2021 2nd Information Communication Technologies Conference. Nanjing, China. IEEE,2021: 75-80.

　　[18] 史朋飞,韩松,倪建军,等 . 结合数据增强和改进YOLOv4 的水下 目标检测算法[J]. 电子测量与仪器学报,2022.36(3): 113-121.

　　[19] WANG Q L,WU B G,ZHU P F,et al. ECA-net: efficient channel attention for deep convolutional neural networks[C]//2020 IEEE/ CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE,2020: 11531-11539.