申请/专利权人：石家庄铁道大学

申请日：2023-05-30

公开（公告）日：2024-04-30

公开（公告）号：CN116740601B

主分类号：G06V20/40

分类号：G06V20/40;G06V20/62;G06V10/40;G06V10/82;G06V10/771;G06N3/045;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2023.09.29#实质审查的生效;2023.09.12#公开

摘要：本发明公开了一种两阶段的学术视频关键帧提取方法。该方法包括：S1，视频帧分解，按照帧率固定比例对其进行等间隔拆分，并读取场景文本图像数据集ICDAR2015；S2，构建两阶段的关键帧提取模型，将视频帧图像送入所述关键帧提取模型经Stage1和Stage2处理后得到关键帧集；S3，构建视频字幕检测模型，增加空洞卷积和压缩激励模块改进特征提取层，并动态更新学习率优化路由算法，训练所述视频字幕检测模型；S4，构建关键帧集提取算法，引入自适应时空采样线，测试关键帧集提取算法；S5，利用S3和S4训练测试所得的关键帧提取模型对输入视频执行上述S1和S2，根据字幕帧存在阈值区间生成关键帧集合。该方法能够充分利用视频的多模态信息，具有更好的鲁棒性和普适性，且关键帧提取更加精准，满足用户的现实需求。

主权项：1.一种两阶段的学术视频关键帧提取方法，其特征在于，包括如下步骤：S1：视频帧分解，按照帧率固定比例对其进行等间隔拆分，并读取场景文本图像数据集；S2，构建两阶段的关键帧提取模型，将视频帧图像送入所述关键帧提取模型经Stage1模块和Stage2模块处理后得到关键帧集，所述关键帧提取模型包括：Stage1模块，所述Stage1模块以场景文本图像数据集为数据来源扩充数据集，该阶段首次搭建以胶囊网络CapsNet为基础的学术视频字幕检测模型，并引入软池化、空洞卷积以及压缩激励模块来完成特征增强和特征筛选，使网络能够学习到更丰富的图像特征，以完成学术视频字幕的检测和定位；Stage2模块，所述Stage2模块以Stage1的处理结果为输入，构建时空字幕自适应采样线，利用学术视频字幕边界坐标获取更多样的学术视频时空字幕采样，以得到更具代表性的字幕累积统计值；S3，构建视频字幕检测模型进行字幕检测，包括：将所述场景文本图像数据集，通过堆叠的空洞卷积层来进行特征增强，以得到卷积特征图；将所述卷积特征图，通过压缩激励模块进行全局平均池化和全连接操作来完成特征筛选，以得到改善的特征表示；将改善的特征表示，通过胶囊层和自适应矩估计下的路由算法来完成字幕检测，最后输出字幕区的8值坐标点；S4，构建关键帧集提取算法，利用字幕边界坐标迭代进行学术视频自适应时空采样线的选取，并以此构建自适应时空累积，最后利用Flag双值标定完成学术视频的关键帧集提取；S5，利用S3和S4训练测试所得的关键帧提取模型对输入视频执行上述S1和S2，根据学术视频时空字幕像素累积值标定字幕帧阈值区间，进而获得关键帧集合。

全文数据：

权利要求：

百度查询： 石家庄铁道大学 一种两阶段的学术视频关键帧提取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD