申请/专利权人：中国科学院深圳先进技术研究院

申请日：2020-07-21

公开（公告）日：2024-04-16

公开（公告）号：CN112084371B

主分类号：G06F16/75

分类号：G06F16/75;G06V10/764;G06V10/82;G06N3/0442

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.01.01#实质审查的生效;2020.12.15#公开

摘要：本申请公开了一种电影多标签分类方法、装置、电子设备以及计算机可读存储介质，该电影多标签分类方法包括：获取连续的视频帧序列，其中，视频帧序列包括若干视频片段；基于预设的神经网络模型获取视频帧序列的视频片段特征；基于视频片段特征计算注意力矩阵；根据注意力矩阵遍历视频帧序列，以输出视频帧序列的标签类别。上述方案，能够提高对视频中重要内容的关注程度，提高多标签分类的准确性。

主权项：1.一种电影多标签分类方法，其特征在于，所述电影多标签分类方法包括：获取连续的视频帧序列，其中，所述视频帧序列包括若干视频片段；基于预设的神经网络模型获取所述视频帧序列的视频片段特征；基于所述视频片段特征计算注意力矩阵；根据所述注意力矩阵遍历所述视频帧序列，以输出所述视频帧序列的标签类别；所述获取连续的视频帧序列的步骤之后，所述分类方法还包括：计算所述连续的视频帧序列中相邻帧在每一个灰度级的差值的累加和；在所述累加和大于预设阈值的情况下，将所述累加和叠加到所述相邻帧中在后一帧视频帧的颜色直方图上；将叠加处理后的视频帧序列按照时序划分为若干段视频片段，并从每一段所述视频片段内抽取预设帧数视频帧，从而组成新的视频片段序列；所述根据所述注意力矩阵遍历所述视频帧序列，以输出所述视频帧序列的标签类别的步骤，包括：基于所述注意力矩阵以及所述视频片段特征获取对应的视频特征矩阵；通过所述注意力矩阵和所述视频特征矩阵组成两层感知机；根据所述两层感知机将所述视频帧序列所在的空间转换到电影类别空间；在所述电影类别空间输出所述视频帧序列的标签类别；所述基于所述视频片段特征计算注意力矩阵的步骤，包括：基于BiLSTM计算所述视频片段特征的前向隐藏状态以及后向隐藏状态；采用自注意力机制计算所有所述视频片段特征的前向隐藏状态以及后向隐藏状态的注意力矩；所述采用自注意力机制计算所有所述视频片段特征的前向隐藏状态以及后向隐藏状态的注意力矩阵的步骤，包括：计算每一视频片段特征的前向隐藏状态以及后向隐藏状态的隐藏元素；获取所述BiLSTM的隐层节点数量；基于所有所述视频片段特征的隐藏元素以及所述隐层节点数量得到所述注意力矩阵。

全文数据：

权利要求：

百度查询： 中国科学院深圳先进技术研究院 一种电影多标签分类方法、装置、电子设备以及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD