摘要：机场行李托运系统的托盘分拣机如存在分拣异常，会导致行李延误装机。针对此问题，本文提出了一种利用监控视频对其进行实时图像处理从而达到检测异常滞留行李的方法。首先对视频流进行定时抽帧处理得到正常运行下的模板图像与待处理图像，通过提取图像HOG特征向量进行余弦相似度（Cosine Similarity）计算到初步比对结果，在得到初步比对结果基础之上再次进行感知哈希算法比对（Perceptual Hash Algorithm），利用两种算法的互补性得到最终检测结果。通过为期12 h对24件异常行李的检测试验证明：相较于coco数据集的YOLOv5模型与改进帧差法改方法检出率分别提升了20.8%、37.5%，并且误报率分别降低了8.3%、20.8%。通过试验证明，该方法可以部署在托盘分拣机槽口用于检测异常滞留行李以提升行李托运系统效率。

　　关键词：行李托运；异常滞留；图像处理；余弦相似度；感知哈希算法

　　0引言

　　随着民航运输业的发展，自动化与智能化成为现代机场运维的发展趋势。在旅客行李的托运与管理系统中自动化设备的应用更加广泛。托盘分拣机作为托运行李系统中重要的设备之一，在与之对应航班行李的分流与筛选中承担着重要的作用。但在托盘分拣机倾翻过程中，由于行李质量、大小、表面材质等因素，会使得行李无法正常掉落到分拣滑槽进入传送带，从而滞留在滑槽两侧造成行李异常的结果。

　　当行李出现异常滞留的情况下，能否及时发现并及时反馈给巡检人员成了关键性问题。传统图像处理算法有快速稳定且易部署等特点，在交通运输行业中应用实例很多。曾学等阐述了基于视觉检测与光栅检测两种方案检测滞留掉落行李，其中视觉方案采用背景差分法的方式，该方法在所述应用中有着较高的检测率。在深度学习目标检测方向上，Jocher提出的YOLOv5是目前主流的目标检测算法，同时深度学习在交通运输行业中有着广泛的应用。在行李掉落检测问题上，可以检测行李是否出现在异常区域从而判断行李是否掉落来解决。Zhao等提出了一种基于深度学习与多层感知器的方法来对背景与前景进行分类，从而达到显著目标提取的算法。但从托运行李的种类、特征、大小等方面考虑，其样本集种类无法做到覆盖完全。因此在深度学习方向去解决此类问题会存在漏检率较高的情况。

　　由于主流深度学习对样本集要求较为苛刻。本文算法在帧差法（Temporal Difference）与背景差分法的基础上，针对使用场景的光照、环境等因素进行了算法改进。利用提取出的HOG（histogram of oriented gradients）特征进行余弦相似度的初步检测得到第一次检测结果，通过余弦相似度对两幅图像的HOG特征向量的夹角大小判读可以验证两幅图像是否在图像特征上是否具有足够大的差异。而如果存在足够大的差异，则需要引入感知哈希算法对疑似图片进行二次判断，其目的是进一步精算图像像素改变情况、排除背景复杂干扰因素等，得到最终判断结果有效降低误检率。该方法在行李调包滞留检测中有着较高的成功率。

　　1算法设计

　　算法可分为逻辑功能与算法判断层，在正常运行中倾翻机会给予行李一个惯性加速度，在算法逻辑功能设计时单靠两帧判断是否有滞留情况并不理想。因此逻辑层设计采用一定时间段抽出的帧与正常模板进行比对。算法流程如图1所示。

　　算法流程可分步骤为：（1）算法加载视频流解码，输入备用；（2）在视频流预览框选定需要检测的异常行李滞留区域（可根据需要选定多个区域）；（3）按时间序列抽取第一帧作为模板图像即正常情况图像；（4）根据视频流每秒帧数推算，间隔n帧抽取一帧图像作为待匹配图像a；（5）重复步骤（4）直至设定图像数量，触发余弦相似度检测层；（6）将多个计算结果取平均值与设定阈值进行比较，若大于设定阈值则触发哈希感知算法检测图像相似度，若小于则返回步骤（3）；（7）将多个计算结果取平均值与设定阈值进行比较，若小于设定阈值则输出报警检测到异常行李滞留，若大于则返回步骤（3）；（8）因考虑到会存在室外光照变化影响，在步骤（3）设定了一定时间的延时重启，以应对不同时间光照变化对检测结果的影响。

　　1.1图像余弦相似度

　　余弦相似度即多维空间中多维向量之间角度的余弦，它的原理是比较两个向量之间的夹角，夹角越小代表相似度越高。夹角越大则相似度越小。该算法是基于找出图像方向梯度直方图（Histogram of Oriented Gradient，HOG）特征描述子来进行向量计算的。具体流程如图2所示：

　　HOG特征描述子可以有效地描述出图像中局部目标的表象和形状，可以有效地捕捉图像中对象的形状和结构信息，并且对于光照变化和颜色变化等干扰具有一定的不敏感性，并且通过边缘方向的密度来表达。如图3所示为行李图像HOG特征描述子。

　　在找出图像HOG特征描述子后，以模板图像特征描述子与待对比图像为例，进行余弦相似度计算，如式（1）所示。

　　式中：i为特征向量的维度，n为方向总数，A、B分别为模板图像与待对比图像的HOG特征描述子，Ai、Bi分别代表各分量。

　　该计算结果取值为-1到1，可以通过余弦特性知道两个向量夹角大小为两个特征描述子相似度即图像相似度。因此，当夹角为0°余弦取值为1时，则两个HOG特征描述子为完全相同即图像一模一样；当夹角为90°时余弦取值为0时，两个HOG特征描述子为完全不相似即图像完全不一样；当夹角为180°时余弦取值为-1时，两个HOG特征描述子为完全相反，此种情况并不会出现。算法效果图如图4所示。

　　余弦相似度算法对于图像中微小的噪声和形变表现出了良好的鲁棒性，使其能够更精确地反映图像的相似程度。此外，该算法只涉及两个向量之间的运算，因此其运行时间不会因数据集大小的增加而显著增加。由于余弦相似度算法的向量计算仅考虑两个向量之间的夹角，而不考虑向量模长的对比，因此它在应对光照变换方面也表现出了较好的鲁棒性。

　　1.2感知哈希算法

　　感知哈希算法是一种对图像内容进行指纹识别的方法，通过将图像转化为数字“指纹”来识别图像的相似度。它通过对图像进行缩放、旋转、灰度转换等操作，得到一个数字哈希值，该值代表图像的内容特征。这种算法主要用于图像比对、视频监控等领域。图5所示为感知哈希算法处理流程。

　　（1）预处理过程中，会将图像进行缩放、裁剪、灰度化使得图像统一。

　　（2）离散余弦变换即（Discrete Cosine Transform DCT），主要是捕捉图像中的频率信息。原理如式（2）所示，以一维DCT变换为例。

　　式中：f(i)为原始的信号；F(u)是DCT变换后的系数；N为原始信号的点数；c(u)可以认为是一个补偿系数，可以使DCT变换矩阵为正交矩阵。主要目的是压缩图像，改变图像空域的信号使其到频域上。

　　（3）分块即将DCT结果缩小分成小的块，以计算结果为32×32大小的矩阵，只需要保留左上角8×8的矩阵即可。

　　（4）计算每个块的平均值。

　　（5）根据每个块的平均值，将其与DCT均值进行比较，大于均值即映射为1，小于则映射为0；并将结果组合，构成图像“指纹”，便于与其他图像进行对比。其测试效果图如图6所示。

　　感知哈希算法可以被称为一种降采样检测方法，因为它可以将图像缩小至较低的分辨率，从而使得图像的数字“指纹”变得更为简单而又稠密。通过降低采样率，感知哈希算法可以消除因图像尺寸不同而引起的影响，从而提高了图像的比较准确性。同时，该算法还能简化计算复杂度，提升检测速度。

　　2系统构建与算法分析

　　算法试验采用视频流分析报警方式，地点位于国内某机场倾翻机导出口，因单个槽口行李异常率不高，所以试验过程中异常行李均为人工模拟环境。为充分考虑光照变换对检测的影响，采用12 h时长视频流并且每间隔0.5 h人为制造一处异常行李滞留，采用海康DS-2CD7A8XYZUV-WLS网络相机，主码流分辨率为3 840 pixel×2 160 pixel、帧率为25 f/s。假设方式与采集区域如图7所示。设置参数为5张待对比图像触发一次检测算法，每张图像间隔150帧（6 s），算法整体延时设置为2 500帧即100 s执行一次算法以降低计算功耗。

　　系统实现对行李滑槽两侧存在异常掉落滞留的情况进行监测和滑槽运行情况的实时监控。考虑充分满足系统的性能和数据的稳定，系统采用NVR服务器的方式采集现场实时监控数据，同时本地保存。系统后台实时采集现场监控视频数据流，并利用算法实时处理视频流数据，及时发现异常情况。前后端数据通过网络进行数据传输。系统设备主要为网络相机、网络视频录像机（Network Video Recorder NVR）、图像处理服务器、终端工作站电脑主机、交换机等。

　　（1）设定场景为倾翻机导出口。首先定位网络相机架设位置，根据视距、采集范围、光照、安装位置是否无阻挡等因素确定安装点位。

　　（2）接入交换机，根据离中心机房的远近，可选择通过网络、光纤等方式进行数据资源汇聚。

　　（3）NVR设备放置于机柜中，采集前端摄像机监控数据并存储用于后期回放等功能的支持。通过汇聚交换机将数据流传输给NVR存储。

　　（4）系统服务器，负责整体系统的服务支撑、集中管理、数据流分析、报警数据存储、算法分析等功能。数据中心监控平台服务器支持客户端远程访问，用户可以在客户端上实现统计报表、告警管理、权限管理和系统配置管理等。

　　（5）终端工作站电脑用作信息展示与视频流实时查看，系统采用B/S架构，可实现异物报警信息、历史数据查询、报表统计、系统设置等功能。通过IE获取各行李滑槽的异物检测报警信息，包括主页面、后台管理页面两部分。主页面提供日常数据浏览所需功能，实现报警数据和历史数据的展示，可根据查询项生成图形报表等功能。后台管理页面主要用来进行系统运行设置管理，可以进行用户管理、权限配置管理、告警设置等。系统主界面设定为：顶部导航栏、中部报警展示区及设备列表区域、底部历史报警数据展示区。

　　算法试验步骤拆分效果图及结果如图9所示。

　　设置对照组1实验为：通过YOLOv5训练模型与coco数据集得出的训练模型中包含在“handbag”和“backpack”类别中的行李可能出现的类型进行目标检测得到预测框，再对目标预测框进行中心点计算，与待检测区域中心点进行点与点的距离测算，若大于设定阈值则判断该行李为正常行李，反之则为异常行李。具体效果图如图10所示：

　　设置对照组试验2为：改进帧差法检测算法，利用选定感兴趣区域（Region of Interest，ROI）作为初始模板与后续截取的待对比图进行像素做差处理。因选定ROI区域具有相对静止的特点，通过像素作差可以得到一个二值化的差分图像，通过判断连续多幅二值化差分图像白色像素点个数是否大于设定阈值来确定行李是否出现异常滞留。如图11为对照组试验2的效果图。

　　利用上述3种算法对12 h视频共计24个异常滞留行李进行不间断对照测试，分析3种算法对异常滞留行李的检测成功数量、12 h误报次数、处理每帧耗时、与报警响应时间。具体数据如图12、表1所示。

　　如图12在单帧与报警响应时间上慢于对照组1，分析其原因是对照组1使用了GPU加速运算，而本文算法未使用。但实际应用时，该差异并不影响整体运行。而相较于对照组2，本文算法可以良好替代其功能，在异物检测的方面进一步扩展。由表1数据结果可见本文所用算法相较于对照组算法在检测准确率上有着绝对的优势，同时通过多帧求均值与间隔时间段更新模板的方法可以有效避免正常行李经过与光照变换带来的误报情况。而其中有一件未得到报警结果的原因，通过视频回看分析：该件行李为全黑色且在光照不足的情况下出现，导致算法检测失败。

　　3结束语

　　在机场快速发展过程中，自动化与智能化已成为必然趋势。基于机器视觉的机场托运行李系统行李异常滞留检测报警方法，融合了图像余弦相似度算法与感知哈希算法，并根据现场环境设计对应检测逻辑。通过YO‐LOv5中coco数据集训练模型设计的检测算法、改进的帧差法检测算法进行试验对比，检出率分别提升了20.8%、37.5%，并且误报率分别降低了8.3%、20.8%。结果表明，本文方法可以准确检测托盘分拣机导出口异常滞留行李并及时报警。将试验结果对比可以得出该方法有着抗光干扰、误报率低、响应速度较快、不受异物种类限制等特点，可以稳定应用于机场托运行李系统中对异常滞留行李的检测，提升机场运营效率与服务质量。

       参考文献：

　　[1]马岭,徐郅逸,闫旭.大型机场行李提取服务优化探索与实践[J].中国航班,2021(20):88-90.

　　[2]霍正烜.浅析机场行李系统管理中一体化运维系统的应用[J].中国设备工程,2021(12):59-60.

　　[3]宋永学,吴斌,雷杰.行李系统助力提升重庆机场行李服务效率的研究[J].物流技术与应用,2022,27(12):132-137.

　　[4]曾学.托盘分拣机的研究与实现[J].物流技术,2016,35(9):97-100.

　　[5]张丕军.翻转式托盘分拣机在机场行李系统中的应用与研究[J].中小企业管理与科技(上旬刊),2017(3):84-85.

　　[6]应捷,陈文,杨海马,等.基于仿射变换与模板匹配的车位识别与计数算法研究[J].计算机应用研究,2022,39(3):919-924.

　　[7]金杰,刘凯燕,查顺考.基于余弦相似的视觉语言导航算法[J].激光与光电子学进展,2021,58(16):408-414.

　　[8]曾学,杨俊杰,胡圣启.机场行李掉落检测系统研究[J].科技创新与生产力,2017(2):84-86.

　　[9]JOCHER G.Yolov5[EB/OL].[2020-08-10].

　　[10]周勇,张炳振,张枭勇,等.融合改进YOLO和背景差分的道路抛洒物检测算法[J].交通信息与安全,2022,40(5):112-119.

　　[11]周雯,史天运,李平,等.基于深度学习的动车组运行安全图像异物检测[J].交通信息与安全,2019,37(6):48-55.

　　[12]牛宏侠,张肇鑫,宁正,等.铁路轨道异物完整性检测与跟踪算法研究[J].交通运输系统工程与信息,2019,19(1):45-54.

　　[13]章悦,张亮,谢非,等.基于实例分割模型优化的道路抛洒物检测算法[J].计算机应用,2021,41(11):3228-3233.

　　[14]ZHAO R,OUYANG W,LI H,et al.Saliency detection by multi-context deep learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2015:1265-1274.

　　[15]DWIVEDI N,SINGH D K,KUSHWAHA D S.An approach for unattended object detection through contour formation using background subtraction[J].Procedia Computer Science,2020, 171:1979-1988.

　　[16]胡均平,蔡韬,李勇成.一种区块特征匹配与边缘差分结合的xx目标检测算法[J].制造业自动化,2019,41(9):73-77.

　　[17]DALAL N,TRIGGS B.Histograms of oriented gradients for hu‐man detection[C]//IEEE Computer Society Conference on Com‐puter Vision and Pattern Recognition,2005:886-893.

　　[18]湛旭.基于余弦相似度与局部二值模式的图像中值滤波取证算法研究[D].成都:西南交通大学,2019.

　　[19]曾勇.图像感知哈希算法及应用[D].杭州:浙江理工大学,2012.

　　[20]AHMED F,SIYAL M Y,ABBAS V U.A secure and robust hash-based scheme for image authentication[J].Signal Processing,2010,90(5):1456-1470.

　　[21]TANG Z,HUANG Z,YAO H,et al.Perceptual image hashing with weighted DWT features for reduced-reference image quality as sessment[J].The Computer Journal,2018,61(11):1695-1709.

　　[22]LIN T Y,MAIRE M,BELONGIE S,et al.Microsoft COCO:Com‐mon objects in context[C]//In European conference on computervision,September 6,2014.Cambridge:Springer,2014:740-755.