申请/专利权人：南通大学

申请日：2022-12-21

公开（公告）日：2024-04-09

公开（公告）号：CN115880676B

主分类号：G06V20/60

分类号：G06V20/60;G06V10/44;G06V10/82;G06V10/26;G06N3/08;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2023.04.18#实质审查的生效;2023.03.31#公开

摘要：本发明提供了一种基于深度学习的自助售货机商品识别方法，属于目标识别技术领域。解决了现有的自助售货机结构复杂、故障率高、商品种类受限制和成本高的问题。其技术方案为：包括以下步骤：S1、采集真实场景下物品数据形成商品检测数据集，并对训练集图片中的商品进行标注；S2、基于yolov5和BFCNN搭建网络框架；S3、根据搭建好的yolov5和BFCNN网络框架分别训练商品数据集；S4、使用训练好的网络验证识别商品，得到识别结果。本发明的有益效果为：本发明减小了自助售货机的占地面积以及成本，消除了售货机的商品种类限制，提高了检测速率和精度。

主权项：1.一种基于深度学习的自助售货机商品识别方法，其特征在于，包括以下步骤：S1、采集真实场景下物品数据形成商品检测数据集；1将各类商品随意放入摄像头拍摄区域，运行摄像头进行视频拍摄，期间随机打乱各类商品位置；2将通过拍摄得到的视频作为商品数据集图片提取的源文件，然后使用python程序每间隔4帧提取出一张图片，最终得到商品数据集；3使用labelImg对拍摄的商品数据集进行对标注，标注完成后生成yolo数据集格式的txt文件，并按照9比1的比例分为训练集和测试集，然后根据商品数据集使用k-means++聚类算法将每个坐标框归类到与其相似度距离最近的类别里，距离计算使用欧式距离dx＝dbox，centroid＝1-IoUbox，centroid，其中box为标注框，centroid为聚类中心，并设置centroid的值为9，最后得到商品数据集先验框；S2、基于yolov5网络结构搭建网络框架；yolov5网络模型总的包括Input输入端，将数据集中的图片进行Mosaic数据增强和自适应图片缩放；Backbone网络实现对图片进行特征提取；Neck网络实现对不同尺寸特征图的特征信息进行融合；Prediction输出层对提取到的特征进行结果预测；S3、根据搭建好的yolov5网络框架训练和识别商品数据集；1yolov5中Backbone网络使用CSPDarkNet53网络结构对商品进行特征提取，商品数据集先验框作为Anchors使用，并将标注好的训练集输入基于CSPDarkNet53网络的训练模型进行训练；2yolov5网络使用分类损失Lcls、定位损失Lbox和置信度损失Lobj三者共同来计算网络的损失，其计算公式为其中N为检测层数，B是标签分配到先验框的目标数，S×S为被图片分割成的网格数，λ1、λ2和λ3为三种损失的权重参数，最终将图片分为7×7的网格；3训练回归出商品位置时商品位置的预测框会相互之间进行Soft-NMS操作，首先对IoU＞0.4的预测框进行线性惩罚而非直接将其删除，惩罚函数为高斯惩罚函数，其表达式为其中，Si为预测框bi的得分，M为最大分数的预测框，bi为预测框，σ为根据经验选择超参数，然后过滤掉置信度阈值小于0.1的预测框，最终得到商品位置预测框；4最后通过全连接层预测商品类别，商品类别信息输出的是商品类别的概率值，其计算为其中，Zi为第i个节点的输出值，C为分类的类别数；S4、使用yolov5对商品数据集进行训练；将制作好的数据放入搭建yolov5网络中进行训练，分别对参数的值进行设置，其中epochs值为300，batch_size值为32，初始学习率为0.001，训练结束后保存最优模型，利用训练完成的商品检测模型对测试集进行识别，输出图片中商品的类别信息和位置信息；S5、根据BCNN搭建双线性特征融合卷积神经网络框架；1双线性特征融合卷积神经网络是基于BCNN网络模型进行添加特征融合模块，BCNN网络模型是由一个四元组组成：M＝fA，fB，p，c，其中fA和fB为两个双线性卷积神经网络A和B的特征提取函数，p为池化函数，c为分类函数；2然后对网络进行特征融合，分别将卷积神经网络A和B的卷积层conv4和conv5中的每一层特征进行add操作，add操作就是将同维度的特征像素点进行相加，再增加两个新的双线性层，并对其融合特征即进行外积分别得到双线性特征B2、B3，然后添加concat拼接层，concat为张量拼接，直接将从原始双线性网络中生成的特征B1和融合特征进行外积得到的两个特征B2、B3拼接得到特征B，得到的特征B；3对得到的特征B进行sumpooling得到矩阵ξ，其计算公式为ξI＝∑lbl，I，fA，fB，其中1表示图片中位置，I表示图片，并将矩阵ξ张成一个1维向量x，并对向量x使用进行矩阵归一化，使用进行L2归一化操作，得到特征Z；4最后将特征Z通过全连接层并使用SoftMax函数计算得出每类饮料商品概率值，通过概率值分析出最后商品类别；S6、使用双线性特征融合卷积神经网络对商品数据集中裁剪出的瓶装饮料商品图进行训练；1根据yolov5识别的结果得到商品位置信息，将识别结果为瓶装饮料商品的对应位置的图片裁剪出来实现背景抑制，并结合yolov5识别得到的物品信息结果，自动将饮料图片和对应类别信息相结合形成瓶装饮料商品数据集，然后人工对错误标注进行修改得到最终数据集；2训练时对双线性特征融合卷积神经网络模型的相关参数进行微调，将分类数量改为商品类别数，设置学习率为0.001，epochs为150，batch_size为16，并使用随机赋值法对最后一层参数进行初始化；S7、使用训练好的网络验证商品识别，得到识别结果；首先使用训练好的商品检测模型对柜内摄像机拍摄得到的商品图片进行商品定位识别并裁剪出瓶装饮料商品，然后使用瓶装饮料商品类别识别模型对裁剪得到的瓶装饮料商品进行类别识别，最后结合yolov5识别出的商品类别和双线性特征融合卷积神经网络识别的瓶装饮料商品类别，输出总的商品类别以及数量，最后使用精准率和召回率来评估本方法的性能，它们定义为：其中P为精准率；R为召回率；TP表示是本物品并且检测出来也是；FP表示是本物品但是检测出不是；FN表示不是本物品且检测出来也不是。

全文数据：

权利要求：

百度查询： 南通大学 一种基于深度学习的自助售货机商品识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD