申请/专利权人：深圳市泰合一科技有限责任公司

申请日：2024-01-03

公开（公告）日：2024-04-05

公开（公告）号：CN117830903A

主分类号：G06V20/40

分类号：G06V20/40;G06V10/82;G06V10/80;G06V10/44;G06N3/0455;G06N3/0464;G06F16/78

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.23#实质审查的生效;2024.04.05#公开

摘要：本发明涉及视频处理技术领域，公开了一种基于混合神经网络的视频摘要生成方法，包括：获取原始视频序列并提取特征，得到第一视频帧特征；采用编码器网络提取原始视频的第二视频帧特征；将第一视频帧特征和第二视频帧特征进行融合，输出多尺度特征；将多尺度特征输入解码器网络，输出每个视频帧的权重分数；选取原始视频序列中权重分数最大的帧，得到关键帧数据集；对关键帧数据集进行时序处理，以提取关键帧数据集的摘要子集，并按设定顺序生成视频摘要。本发明利用具编码器网络提取视频帧的多尺度特征，以及利用解码器网络，学习视频帧的空间维度和通道维度依赖性，更容易实现并行计算，生成具有关键帧的视频摘要，避免遗漏视频中的重要内容。

主权项：1.一种基于混合神经网络的视频摘要生成方法，其特征在于，包括：获取原始视频以提取所述原始视频序列，对所述原始视频序列利用GoogLeNet神经网络提取特征，得到所述原始视频的第一视频帧特征；采用具有金字塔空洞卷积模块的编码器网络提取所述原始视频的第二视频帧特征；将所述第一视频帧特征和第二视频帧特征采用Concatenate操作进行特征融合，并利用1×1的卷积将特征信息进一步融合，输出视频帧的多尺度特征；将所述多尺度特征输入具有空间注意力机制和通道注意力机制的解码器网络，以捕获视频帧之间局部特征的联系，输出每个视频帧的权重分数；利用指针网络选取所述原始视频序列中权重分数最大的帧作为关键帧输出，得到关键帧数据集；对关键帧数据集中的每一帧进行时序处理，以提取所述关键帧数据集的摘要子集，并将所述摘要子集中的关键帧按设定顺序生成视频摘要。

全文数据：

权利要求：

百度查询： 深圳市泰合一科技有限责任公司 基于混合神经网络的视频摘要生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD