申请/专利权人：中国科学院自动化研究所

申请日：2020-07-09

公开（公告）日：2022-12-02

公开（公告）号：CN111783713B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/764;G06V10/74;G06V10/82;G06V40/20;G06N3/04;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2022.12.02#授权;2020.11.03#实质审查的生效;2020.10.16#公开

摘要：本发明涉及一种基于关系原型网络的弱监督时序行为定位方法及装置。为了解决现有技术人为标注信息对训练网络模型耗时耗力且引入主观因素的问题，本发明提出一种基于关系原型网络的弱监督时序行为定位方法，包括按预设时间间隔将待识别视频划分为多个视频片段，将每个视频片段对应的光流图像以及多个视频片段，输入预先训练好的行为定位模型；通过行为定位模型，确定每个视频片段中人类行为与预先设定的目标行为的第一相似度；根据第一相似度与预设阈值的比较结果，确定每个视频片段中人类行为所属的行为类别。本发明的方法能够对不同行为之间的关系进行建模，通过聚类损失，能够使行为各部分的特征尽可能靠近，从而实现定位完整行为片段。

主权项：1.一种基于关系原型网络的弱监督时序行为定位方法，其特征在于，包括：按预设时间间隔将待识别视频划分为多个视频片段，将每个视频片段对应的光流图像以及所述多个视频片段，输入预先训练好的行为定位模型，其中，所述行为定位模型是基于深度卷积神经网络构建的模型，并且基于预设的训练样本进行视频行为定位；通过所述行为定位模型，确定所述每个视频片段中人类行为与预先设定的目标行为的第一相似度；其方法包括：通过所述行为定位模型的池化层获取多个所述光流图像中人类行为对应的第一输出特征；基于预先设定的类别特征以及预先设定的多个目标行为对应的共生矩阵，通过所述行为定位模型的图卷积层，获取所述光流图像中人类行为对应的行为原型所对应的第二输出特征；基于所述第一输出特征和所述第二输出特征，通过所述行为定位模型，获取所述第一输出特征和所述第二输出特征的欧式距离；根据所述欧式距离确定所述每个视频片段中人类行为与预先设定的目标行为的第一相似度；根据所述第一相似度与预设阈值的比较结果，确定所述每个视频片段中人类行为所属的行为类别；所述行为定位方法还包括训练所述行为定位模型，所述预先训练好的行为定位模型，其训练方法包括：根据所述第一输出特征，通过待训练的行为定位模型的多层卷积网络将所述第一输出特征转换为第三输出特征；根据所述第三输出特征，通过所述待训练的行为定位模型的多层卷积网络获取注意力权重；对所述欧式距离、所述注意力权重进行加权求和，得到所述光流图像中人类行为与预先设定的目标行为的第二相似度；根据所述第二相似度，通过所述待训练的行为定位模型的soft-max层，获取所述光流图像中人类行为属于预先设定的目标行为类别的概率；根据所述光流图像中人类行为属于预先设定的目标行为类别的概率，通过反向传播算法和随机梯度下降算法训练所述行为定位模型。

全文数据：

权利要求：

百度查询： 中国科学院自动化研究所 基于关系原型网络的弱监督时序行为定位方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD