申请/专利权人：华南农业大学

申请日：2021-10-19

公开（公告）日：2024-04-16

公开（公告）号：CN113947617B

主分类号：G06T7/246

分类号：G06T7/246;G06V10/74;G06V10/764;G06V10/774;G06V10/82;G06V20/40;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.02.08#实质审查的生效;2022.01.18#公开

摘要：本发明公开了一种基于长短记忆的哺乳仔猪多目标跟踪方法，包括：S1：采集哺乳仔猪视频，建立哺乳仔猪多目标跟踪视频数据库；S2：搭建CenterReID模型，用数据库中的训练集和验证集对该模型进行训练并验证；S3：用训练好的CenterReID模型对数据库中的测试集进行测试，获得哺乳仔猪目标检测结果Dets和特征提取结果Features；S4：针对不同消失时间再次出现的仔猪，设计适应长短时间外观特征变化匹配机制，利用Dets和Features对连续图像哺乳仔猪进行目标ID匹配，进而获得跟踪结果。本发明能在固定场景下克服小猪运动不规律、身体形变较大、扎堆、难重新识别等困难，可自动识别跟踪哺乳仔猪，解决猪场饲养环境下饲养员长时间巡查猪群疲惫造成判断不准确的问题。

主权项：1.一种基于长短记忆的哺乳仔猪多目标跟踪方法，其特征在于，包括以下步骤：S1：采集哺乳仔猪视频，建立哺乳仔猪多目标跟踪视频数据库；S2：搭建CenterReID模型，用哺乳仔猪多目标跟踪视频数据库中的训练集和验证集对该模型进行训练并验证，具体步骤如下：S21：选择特征提取基础网络；S22：在基础网络之后，除了已有的Detection分支和Tracking分支外，新添加一个重识别Re-ID分支，其中Detection分支包括hm、wh和reg三个小分支，用于生成仔猪边界框，Tracking分支用于预测此帧中心点到上一帧中心点的偏移，新增的Re-ID分支用于提取仔猪外观特征；Re-ID分支包括两个卷积层和一个Relu层，输出特征大小为W和H分别为输入图像的长和宽，Dim为输出特征通道数，通过Re-ID提取图像当中每个对应位置的外观特征；S23：使用交叉熵损失函数对Re-ID分支进行监督训练，目的是使得Re-ID分支生成能够区分仔猪的特征，具有相同ID的仔猪视为一类，对于图像中第i个人工标注框表示bi左上点坐标，表示bi右下点坐标，由公式2和公式3，能够从热图上获得对应中心点坐标在该位置获得外观特征并学习将其映射到一个类分布向量P＝{pm，m∈1,M}，pm表示类别m的类分布向量，M表示分类的数量，设定第i个人工标注框中心点对应外观特征one-hot编码表示为Lim，则交叉熵损失函数如公式1所示，可见在训练过程中，只有位于中心点的外观特征参与训练； 其中，Loss表示损失值，N表示目标数量；S24：在Pytorch深度学习框架下使用GPU加速训练模型，模型训练方式为交替训练，交替训练Detection分支与Tracking分支以及Re-ID分支；模型在训练过程中，输入除当前t帧外，辅助加入k时刻帧图像与其对应热图，k∈[t-T,t+T]，且k≠t，根据视频帧率设置不同的T，如公式4所示，模型测试时辅助加入t-1时刻帧图像与其对应热图； 其中，fps为采集的视频帧率；模型参数采用正态分布初始化，在训练过程中使用随机翻转、随机缩放、随机空间裁剪和色彩抖动数据增强技术，利用Adam优化算法和反向传播算法对模型参数进行微调；用训练集数据训练CenterReID模型，每迭代完一次，利用验证集数据验证模型，选择验证结果最好的一次训练模型；S3：用训练好的CenterReID模型对哺乳仔猪多目标跟踪视频数据库中的测试集进行测试，获得哺乳仔猪目标检测结果Dets和特征提取结果Features；S4：针对不同消失时间再次出现的仔猪，设计适应长短时间外观特征变化匹配机制，利用Dets和Features对连续图像哺乳仔猪进行目标ID匹配，进而获得跟踪结果。

全文数据：

权利要求：

百度查询： 华南农业大学 一种基于长短记忆的哺乳仔猪多目标跟踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD