摘要:为了解决传统的又车托盘识别与测距的精度不足的问题，采用一种基于单目视觉处理叉车托盘纹理和角点特征的算法，根据塑料托盘规格，基于货盘颜色和底边角点特征，采用由粗到细的检测策略对货盘候选区域进行检测，提取货盘底边，利用角点确定货盘住姿。使用基于空间几何约束的单目视觉的测距方法，根据地平面约束测距模型，利用测距算法计算出时间戳、叉板距离、又板偏角，再根据叉板识别接口协议发送，完成视觉识别位姿与控制自主移动叉车实时联合工作。经过实验测试，对测量坐标值与真实值进行比较，托盘左侧点的X坐标值平均误差为22.04mm，Y坐标值平均误差为28.71mm。托盘右侧点的X坐标值平均误差为24.43 mm，Y坐标值平均误差为28.6mm。这个试验表明了该算法鲁棒性稳定、准确度较高，是可行的。

　　关键词:托盘识别;单目视觉;地面约束;托盘测距

　　0引言

　　随着自动化技术系统的发展，响应国家人工智能计划与工业制造4.0。许多工厂开始大量采用移动机器人AGV进行货物搬运、自主检查、自动生产等操作来降低人力劳动成本”。叉车托盘是通过托盘堆放货物，再通过叉车将托盘叉起运送，搬运到指定位置，来实现工业自动化搬运，广泛运用在生产、仓储、物流等领域”“。叉车托盘识别是指安装于叉车上的传感器通过机器视觉、图像处理算法检测识别叉车托盘。而叉车测距是指利用托盘识别的结果，根据传感器信息通过数学模型公式计算出叉车相对于托盘的三维坐标姿态信息。

　　在市面上，叉车托盘识别与测距技术分为是否要改造托盘’6，其中改造托盘是在托盘端面贴上人工标记，比如在叉车托盘一端面的两侧和端面的中间贴黑白同心圆，或在叉车托盘一端面贴反射带7-]。利用图像处理相关算法识别摄像头采集的叉车图片，对托盘上面的人工标记进行识别和定位。但人工改造托盘进行贴人工标记，需要人工成本和时间成本，并且限制了叉车托盘的流通性，容易磨损标记位置。其中不改造托盘是根据叉车托盘自身纹理、颜色、形状特征-”)，利用图像处理、机器视觉技术完成托盘识别与测距工作。比如利用叉车托盘端面的两个叉口、托盘一端面有3个角、托盘4个角都是90°等信息。叉车托盘识别与测距的难点在于各厂家生产的叉车控制系统不一样…-”，叉车运动模型不一样，单目视觉来计算三维姿态，叉车不能准确识别托盘，叉车不能准确对准托盘插孔等。

　　针对上述问题，结合实际应用需求，本文采用一种基于单目视觉的叉车托盘识别与测距方法，基于单目视觉处理叉车托盘纹理和角点特征的算法，首先图像处理提取叉车托盘边缘角点坐标，再利用角点坐标根据地平面约束测距模型，使用测距算法计算托盘相对叉车的姿态数据，再实时控制叉车运动，该算法具有鲁棒性、速度快、准确高优点。

　　1托盘识别处理

　　本文叉车上方安装有工业摄像机与镜头，叉车托盘是标准的塑料托盘规格，具有插孔。与现有技术相比，本文方法是一种基于单目视觉处理托盘纹理和特征的算法，利用叉车托盘角点确定托盘位姿，再根据地平面约束测距模型，利用测距算法计算托盘三维姿态数据，实时控制叉车运动，整体系统的流程步骤如图1所示。

　　其中托盘识别处理操作步骤具体如下。

　　(1)获取图片，通过工业摄像机实时获取叉车托盘图像。

　　(2)设置相机参数，包括焦距、光圈、图片像素、增益等相机参数，使工业相机拍摄叉车托盘图片成像质量高、传输速度快、运行稳定。塑料托盘规格示意图如图2所示，叉车系统与托盘整体实际图如图3所示，工业相机拍摄的实际托盘图如图4所示。

　　(3)分解图像，将叉车托盘图片分解为三通道图像，转换成3个RGB图像。

　　(4)转换颜色空间，分别将3个图像从RGB颜色空间转换为hsv颜色空间，为后续图像分割做准备，其中颜色空间转化为hls、hsi、hsv、ihs、lms、yuv效果都可以。图5所示为对图4处理得到的hsv中1通道图片。

　　(5)阈值分割，设置分割灰度值为150~200，使用全局阈值对图像hsv颜色空间中的通道1图片进行分割处理，得到感兴趣区域ROI。

　　(6)连接区域，对感兴趣区域进行计算区域的连接组件，得到很多分割开的区域。

　　(7)填充孔洞，对分割开的连接区域中的孔洞进行填充。

　　(8)筛选区域，对处理后的区域根据面积最大的区域进行筛选，设置相似度百分比设置为70，选出面积最大区域。图6所示为对图5处理得到的筛选的区域图片。

　　(9)闭运算，对筛选的区域用闭运算来填充孔洞，会使被选择区域的边界被平滑，并且用设置小于半径10的圆形结构元素的区域内的孔会被关闭，使得区域更加光滑，为后续提取边缘做准备。

　　(10)抠图，用计算得到的选择区域与叉车托盘图片进行交集，得到选择区域的颜色图片。

　　(11)边缘提取，对抠图得到的托盘图片使用Canny滤波器来提取指定区域图片的边缘，还可以选择deriche、shen、sobel等滤波器。提取的边缘在边缘以子像素精确的XLD轮廓形式返回，设置滤镜参数为4，其中较小的值会导致较强的平滑效果，导致有较少的细节。其中参数设置滞后阈值操作的阈值下限为20，参数设置滞后阈值操作的阈值下限为40，得到叉车托盘的边缘XLD轮廓。图7所示为对图6处理得到的图片XLD轮廓。

　　(12)分割XLD轮廓，对叉车托盘的边缘进行分割XLD轮廓为线段，其中设置用于平滑轮廓的点数为5，第一次迭代轮廓与近似线之间的最大距离为7.5，第二次迭代轮廓和近似线之间的最大距离为3。

　　(13)选择XLD轮廓，根据设置长度在50~9 000 pixel范围来筛选轮廓，从输入轮廓中选择XLD轮廓。图8所示为对图7处理得到选择的XLD轮廓。

　　(14)计算轮廓参数，其中设置离群值处理类型为不处理，异常处理的迭代次数为1，计算得出叉车图片的轮廓参数。

　　(15)合并共线轮廓，合并近似共线的输入XLD轮廓，即大致位于同一直线上。用于桥接所提取的边缘或线条中的间隙，定义两个轮廓的共线性条件参数为:沿着参考轮廓的回归线测量的两个轮廓之间的间隙的最大长度为15。两个轮廓之间的间隙的最大长度，相对于参考轮廓的长度，均沿参考轮廓的回归线测量为1。第二个轮廓与参考轮廓的回归线的最大距离为8，两个轮廓的回归线之间的最大角度为0.3。这样操作可以避免因图像形态学操作导致提取边缘断裂而使得托盘边缘提取一部分而不是全部边缘带来的错误。

　　(16)轮廓位置排序，排序轮廓参数根据:该位置由周围矩形的左上角确定，增加排序顺序，首先对行进行排序，然后对列进行排序。为后续轮廓操作带来方便。

　　(17)计算轮廓长度，对每条叉车托盘的轮廓计算长度像素，为后续筛选提供数据。

　　(18)选择最长轮廓，根据计算的长度值来选择最长的轮廓XLD，最长的轮廓值即为托盘图片的最外边缘。

　　(19)拟合XLD轮廓，通过线段拟合XLD轮廓的轮廓线，它不执行输入轮廓的分割。因此必须确保每个轮廓对应于一个且仅有一个线段。其中参数为用于拟合线的算法选择标准最小二乘线拟合，用于计算的轮廓点的最大数量为所有点。拟合忽略轮廓起点和终点的点数，其中最大迭代次数为5，用于消除异常值的剪切因子为2。最后计算出线段起点的行坐标和列坐标，线段终点的行坐标和列坐标，法向矢量的行坐标和列坐标，线与原点的距离。

　　(20)生成XLD轮廓，利用计算出的线段起点的行列坐标，线段终点的行列坐标来生成直线轮廓线。

　　(21)提取角点坐标，提取左右两边角点坐标，为后续计算叉车托盘与叉车相对位置提供数据来源。

　　(22)出错处理，为防止XLD轮廓起点和终点顺序出错，根据比较起点行坐标和终点行坐标，如果顺序出错，线段起点和终点互换数值。

　　2单目视觉标定

　　进行单目摄像机标定"-™，设点P在图像像素坐标系下的坐标为(u，v)，点P在图像物理坐标系下的坐标为(x,y)，点P在世界坐标系下的坐标为P(X„,Y,Z„)。用齐次坐标与矩阵来表示计算表示摄像机标定，得到图像像素坐标系和世界坐标系之间的关系:

　　3托盘测距处理

　　进行托盘测距，基于地平面约束测距模型的单目视觉测距模型和算法。基于单目视觉的叉车托盘测距是指在识别出叉车托盘后，测量托盘与摄像头的相对姿态包括相对距离和相对角度信息，从而知道叉车相对托盘的相对位姿。当叉车与托盘同处于地平面，且叉车安装的工业摄像机在垂直方向有一定的倾斜角时，可建立如图10所示的地平面约束测距模型。

　　C点为摄像机光心，光心在地平面T上的垂直投影点0作为原点来建立世界坐标系。其中CC。=f,FF,F,F为成像平面，大小为CCD靶面尺寸大小，0为摄像机倾角,P为地平面任意一点。又已知数据有摄像机标定的结果dx、dy、u。、*。，摄像机固定安装在叉车，用米尺计算出摄像机倾角6,摄像机距离地平面高度h。根据地平面约束测距模型“-”]求解点P在世界坐标系中的横纵坐标。

　　然后处理上述的托盘识别处理步骤中信息，然后计算Anglel，Anglel为托盘最外边缘的实际的水平线之间的夹角。判断Anglel方向，托盘朝向右边，角度为正号。托盘朝向左边，角度为负号。其次计算Angle2,Angle2为托盘最外边缘的中心点和摄像机光心的连线，与托盘最外边缘线的夹角。判断Angle2方向，夹角朝向右边，角度为正号。夹角朝向左边，角度为负号。再次计算Distance，Distance为托盘最外边缘的中心点与摄像机光心间的距离。最后进行异常错误判断，叉车托盘实际距离为1200mm，如果计算叉车托盘左右点之间的距离在1100~1300mm之间，输出Distance，Anglel.Angle2，否则返回0。

　　4实验与分析

　　4.1实验系统

　　实验采用德国映美精的DFK AFU420-CCS USB 3.0彩色相机型号，分辨率为2448 Pixel x2048 Pixel，镜头为Computar工业镜头M1214-MP，焦距为12 mm。摄像机固定安装在叉车上，用工具测量出相机倾角19.8575°，相机距离地平面高度412 mm。测量托盘尺寸长宽高为1200 mm x1 000 mm x140mm，插孔宽度为320mm，详细尺寸见图2。

　　4.2标定实验

　　采用halcon标定板进行圆环图案的单目视觉相机标定，标定板规格为7x7，圆点中心间距为24mm。采集在不同位姿下各18张标定板图片，如图11所示，用于单目视觉相机标定。根据图9对每张图片进行操作进行摄像机框选识别范围，然后进行标定操作。得到摄像机主点坐标为[2415.90，2411.04]，主点坐标在u、v轴上的尺度因子为[1293.19，1061.86]，畸变kc为[-0.095 6，0.027 3，0.001 4，0.0027]，重投影误差error为0.038 2 pixel。

　　4.3测距实验

　　经过托盘识别处理、单目相机标定标定后，进行托盘测距处理，通过计算提取叉车托盘左右两边角点坐标，通过公式可以计算叉车托盘与叉车相对位置。实验采用托盘左侧点和托盘右侧点的测量坐标值与实际真实值进行比较，以验证测距精度误差。叉车托盘相对相机有正面向、右倾斜、左倾斜3种方向朝向，如图12所示。托盘左侧点与托盘右侧点序号1~8为正面向，序号9~12为右倾斜、序号13~16为左倾斜。

　　托盘左侧点序号I~8为正面向距离从近到远放置在1 459 mm、1582 mm、1 821 mm、2041 mm、2346 mm、2 640 mm、3 039 mm、3345 mm位置，序号9~12为右倾斜放置在2 133 mm、2 159 mm、2 599 mm、2474 mm位置，序号13~16为左倾斜放置在2 295 mm、2 444 mm、2 802 mm、2917 mm位置。进行测距实验，数据如表1所示，可知托盘左侧点的X坐标值平均误差为22.04 mm，Y坐标值平均误差为28.71。类似托盘右侧点序号放置位置数据如表2所示，可知托盘右侧点的X坐标值平均误差为24.43 mm，Y坐标值平均误差为28.6 mm。

　　5结束语

　　本文方法是一种基于单目视觉处理托盘纹理和特征的算法，利用叉车托盘角点确定托盘位姿，再根据地平面约束测距模型，利用测距算法计算托盘三维姿态数据，实时控制叉车运动。具体采用由粗到细的检测策略对货盘候选区域进行检测，提取货盘底边，利用角点确定货盘位姿。使用基于空间几何约束的单目视觉的测距方法，根据地平面约束测距模型，利用测距算法计算出时间戳、叉板距离、叉板偏角。通过实验测试，对测量坐标值与实际真实值进行比较可得托盘左侧点的X坐标值平均误差为22.04 mm，Y坐标值平均误差为28.71mm。托盘右侧点的X坐标值平均误差为24.43 mm，Y坐标值平均误差为28.6mm。实验证明了该算法鲁棒性稳定，准确度较高，是可行的。

　　参考文献:

　　[1]赵俊宏.仓储智能叉车托盘识别与拾取系统研究[D].广州:华南农业大学,2022.

　　[2]吕盛强,基于视觉的又车托盘定位与取放应用研究[D].成都:西华大学,2023.

　　[3]滕腾,樊春玲,张春堂,基于机器视觉的托盘生产线上原料木板的识别[J].工业仪表与自动化装置,2022(2):67-71.

　　[4]武文汉.基于视觉的仓储托盘检测方法研究[D].上海:上海交通大学,2020.

　　[5]徐斌,赵鹏,刘伟,等,融合图像与点云处理的托盘定位系统[J].制造业自动化,2022,44(8):157-161.

　　[6]肖施睿,刁云峰,程文明,等,基于YOLOv5的物流托盘实时检测方法研究[J].制造业自动化,2023,45(2):17-21.

　　[7]李凯,周涛,张友超,等.基于嵌入式视觉的零件状态检测系统开发[J].机电工程技术,2019,48(11):4-7.

　　[8]杜开源,刘森,姜星宇,等,基于YOLO的托盘孔位置识别研究[J].汽车实用技术,2023,48(21):17-20.

　　[9]徐波,苏纪臣,张明璨,等,基于单目摄像头的电网设备测距模型[J].宁夏电力,2022(2):1-6.

　　[10]陈逸扬.基于单目视觉测距及深度学习识别的机器人跟踪方法研究[J].电子元器件与信息技术,2022,6(8):139-142.

　　[11]周恒森,视觉导航无人叉车中托盘精准定位与行驶道路检测研究实现[D].合肥:中国科学技术大学,2023.

　　[12]王平凯,孙光泽,朱芮萱.基于改进的YOLOv3的托盘检测方法研究[J].机电工程技术,2021,50(7):29-32.

　　[13]张旭,周涛,平顶线结构光的中心检测算法及光刀平面标定[J].光子学报,2017,46(5):57-65.

　　[14]张玉潇,物流仓库无人又车视觉定位及路径规划方法研究[D].济南:山东大学,2024.

　　[15]肖大伟,翟军勇.轮式移动机器人单目视觉的目标测距方法[J].计算机工程,2017,43(4):287-291.

　　[16]徐波,苏纪臣,张明璨,等,基于单目摄像头的电网设备测距模型[J].宁夏电力,2022(2):1-6.