申请/专利权人：上海有个机器人有限公司

申请日：2020-12-26

公开（公告）日：2024-04-09

公开（公告）号：CN112597915B

主分类号：G06V40/10

分类号：G06V40/10;G06V10/25;G06V10/44;G06V10/82;G06N3/045;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2021.04.23#实质审查的生效;2021.04.02#公开

摘要：本发明公开了一种对室内近距离行人进行识别的方法、装置、介质和机器人，方法包括以下步骤：采集室内的近距离行人图像，形成训练集；构建基于YOLO‑spp算法的骨干网络和检测头模块，生成行人检测网络模型；采用训练集的图像进行训练，优化行人检测网络模型的网络参数；采集室内的实时行人图像，并基于训练完成的行人检测网络模型对行人位置和行人尺寸进行检测。本发明通过将多个空间金字塔池化模块嵌入到骨干网络，同时采用NMS后处理算法过滤冗余框，从而能够不依赖完整人体结构，仅通过识别衣着等部分特征完成对近处行人的感知识别，提高移动机器人视角下室内近距离行人识别的准确率。

主权项：1.一种对室内近距离行人进行识别的方法，其特征在于，包括以下步骤：步骤1，采集室内的近距离行人图像，并对所述近距离行人图像进行预处理，形成训练集；步骤2，构建行人检测网络模型，所述行人检测网络模型包括基于YOLO-spp算法的骨干网络和检测头模块；步骤3，采用所述训练集的图像对所述行人检测网络模型进行训练，优化所述行人检测网络模型的网络参数；步骤4，采集室内的实时行人图像，并基于训练完成的行人检测网络模型对所述实时行人图像中的行人位置和行人尺寸进行检测；所述骨干网络的网络结构按计算单元处理顺序为：第一卷积层，输入尺寸416*416*3，卷积核大小为3*3，步长为2，输出尺寸208*208，输出特征通道数为32通道；第二卷积层，输入尺寸208*208*32，卷积核大小为3*3，步长为2，输出尺寸104*104，输出特征通道数为64通道；第一空间金字塔池化层，步长为2，包括池化窗口为7*7和11*11的两个最大池化层；第三卷积层，输入尺寸为52*52*256，卷积核大小为3*3，步长为2，输出尺寸26*26，输出特征通道数为256通道；第四卷积层，输入尺寸为26*26*256，卷积核大小为3*3，步长为2，输出尺寸13*13，输出的特征通道数为256通道；第二空间金字塔池化层，步长为1，包括池化窗口为3*3、7*7以及11*11的三个最大池化层，输出特征图为13*13*1024；所述采集室内的近距离行人图像，并对近距离行人图像进行预处理，形成训练集具体包括以下步骤：S101，通过室内移动机器人的摄像头在各个室内场景随机采集近距离行人图像；S102，对所述近距离行人图像中的行人采用方框进行标注，并获取每个方框的第一坐标信息；S103，对所述近距离行人图像的上下两端随机裁剪0～10％尺寸，并按照裁剪比例调整每个方框的初始坐标信息，生成每个方框的第二坐标信息；S104，在所述近距离行人图像的每个方框处标记对应的第二坐标信息，形成训练集；所述采集室内的实时行人图像，并基于训练完成的行人检测网络模型对实时行人图像中的行人位置和行人尺寸进行检测，具体包括以下步骤：S401，通过移动机器人的摄像头随机采集室内的实时行人图像；S402，采用训练完成的行人检测网络模型对所述实时行人图像进行检测，对所述实时行人图像中的每个行人生成对应的检测框、行人中心点位置数据和行人尺寸数据；S403，当所述实时行人图像中的任一行人存在对应的多个检测框时，通过计算检测框的重叠率过滤冗余框，具体为：S4031，获取所述多个检测框中任意两个检测框，记为第一检测框和第二检测框；S4032，获取第一检测框的左上角点横坐标ltwA、右下角点横坐标rdwA和中心点横坐标centerwA，以及第二检测框的左上角点横坐标ltwB、右下角点横坐标rdwB和中心点横坐标centerwB；S4033，采用预设公式计算第一检测框和第二检测框的重叠率Wiou，所述预设公式为：Wiou＝IOU-WidthdiffWidthmax；其中，IOU＝CA+B-C；Widthmax＝maxrdwA,rdwB-minltwA,ltwB；Widthdiff＝||centerwA-centerwB||；A为第一检测框的面积，B为第二检测框的面积，C为第一检测框和第二检测框的重叠面积；S4034，当重叠率Wiou大于预设值时，比较所述第一检测框和所述第二检测框的置信度，并删除其中置信度较小的检测框；S4035，重复以上步骤S4031-S4034，过滤行人的全部冗余框。

全文数据：

权利要求：

百度查询： 上海有个机器人有限公司 对室内近距离行人进行识别的方法、装置、介质和机器人

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD