申请/专利权人：北京语言大学

申请日：2023-11-02

公开（公告）日：2024-01-26

公开（公告）号：CN117174092B

主分类号：G10L17/00

分类号：G10L17/00;G10L17/02;G10L25/30;G10L25/60;G10L15/26;G06V10/40;G06V10/82;G06V20/40;G06V40/10;G06N3/0464;G06N3/0442;G06N3/08;H04L67/1095;H04L9/40;G06F21/60

优先权：

专利状态码：有效-授权

法律状态：2024.01.26#授权;2023.12.22#实质审查的生效;2023.12.05#公开

摘要：本发明公开了一种基于声纹识别与多模态分析的移动语料转写方法及装置，涉及视频语音融合识别技术领域。包括：获取待分析的视频数据以及音频数据；将视频数据以及音频数据输入到构建好的数据处理模型，得到数据处理结果，包括视频数据的关键信息标注结果、音频数据的转写结果以及音频数据的分析结果；对转写结果进行实时校验以及二次标注，得到多模态数据的移动语料转写结果。本发明提出了一种集成了多模态分析、实时数据校验与查阅功能的先进移动语料转写系统，旨在为用户提供更加准确、完整和直观的转写体验。

主权项：1.一种基于声纹识别与多模态分析的移动语料转写方法，其特征在于，所述方法包括：S1、获取待分析的视频数据以及音频数据；S2、将所述视频数据以及音频数据输入到构建好的数据处理模型，得到数据处理结果；其中，所述数据处理结果，包括所述视频数据的关键信息标注结果、所述音频数据的转写结果以及所述音频数据的分析结果；S3、对所述转写结果进行实时校验以及二次标注，得到多模态数据的移动语料转写结果；所述S2中的数据处理模型，包括视频数据处理模型以及音频数据处理模型；所述将所述视频数据以及音频数据输入到构建好的数据处理模型，得到数据处理结果，包括：S21、将所述视频数据输入到所述视频数据处理模型，得到所述视频数据的关键信息标注结果；S22、将所述音频数据输入到所述音频数据处理模型，得到所述音频数据的转写结果以及所述音频数据的分析结果；所述S21中的关键信息标注结果，包括视频摘要、场景标签、活动识别结果以及情感分析结果；所述将所述视频数据输入到所述视频数据处理模型，得到所述视频数据的关键信息标注结果，包括：S211、对所述视频数据进行关键帧提取，得到所述视频数据的视频摘要；S212、将所述视频数据输入到深度卷积神经网络CNN，得到所述视频数据的场景标签；其中，所述场景标签，包括室内、室外、商业区以及特殊场所；S213、将所述视频数据输入到视频长短时记忆网络，得到所述视频数据的活动识别结果；S214、将所述视频数据输入到3DCNN模型，得到所述视频数据的情感分析结果；所述S3中的对所述转写结果进行实时校验以及二次标注，包括：在所述视频数据以及音频数据播放时，展现转写结果，通过文本编辑器功能，对所述转写结果进行实时校验、标注和修改，并根据上下文输出纠正建议。

全文数据：

权利要求：

百度查询： 北京语言大学 基于声纹识别与多模态分析的移动语料转写方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD