申请/专利权人：自然语义(青岛)科技有限公司;北京视听说科技有限公司

申请日：2024-01-19

公开（公告）日：2024-04-05

公开（公告）号：CN117596433B

主分类号：H04N21/43

分类号：H04N21/43;G09B5/06;H04N21/44;H04N21/4402;H04N21/466;H04N21/488;H04N21/845;H04N21/8547;H04N21/8549;G10L15/26;G06F40/279;G06F40/30

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2024.03.12#实质审查的生效;2024.02.23#公开

摘要：本发明涉及教育技术领域，具体涉及一种基于时间轴微调的国际中文教学视听课件编辑系统，包括视频解析模块、字幕识别处理模块、时间轴分析模块、视频剪辑模块、分层交互集成模块、个性化内容生成模块以及课件整合生成模块；其中，视频解析模块：用于解析输入的教学视频文件；字幕识别处理模块：识别并提取视频中的字幕文本数据，生成标准化的文本数据流；时间轴分析模块：用于指导视频剪辑模块的操作；视频剪辑模块：使用时间轴分析模块提供的时间标记数据。本发明，通过自动化和智能化的视频编辑流程提高教学视频的制作效率和质量，同时强化了视频的个性化和互动性，保证了其在多种平台的兼容性和广泛可接入性。

主权项：1.一种基于时间轴微调的国际中文教学视听课件编辑系统，其特征在于，包括视频解析模块、字幕识别处理模块、时间轴分析模块、视频剪辑模块、分层交互集成模块、个性化内容生成模块以及课件整合生成模块；其中，视频解析模块：用于解析输入的教学视频文件，提取视频中的音频和视觉数据，以生成数据流来作为后续模块的输入基础；字幕识别处理模块：接收视频解析模块的输出，通过自然语言处理技术，识别并提取视频中的字幕文本数据，生成标准化的文本数据流，所述字幕识别处理模块包括字幕提取单元、自然语言处理单元、方言口音处理单元、文本标准化单元以及数据流输出单元；其中，字幕提取单元：接收视频解析模块的输出，并通过图像识别和文本提取技术从视频数据流中识别和提取字幕，该字幕提取单元在取技过程中还通过使用光学字符识别OCR技术，来保证字幕文本提取的精度；自然语言处理单元：利用机器学习和深度学习模型对提取的字幕文本进行自然语言处理，包括分词、词性标注、语义分析和句法解析；方言口音处理单元：通过集成多种方言和口音的语言模型，来处理视频中的方言和口音变体，以识别并标准化不同地区和群体的语言表达；文本标准化单元：通过自然语言处理技术对处理后的字幕文本进行标准化，具体包括纠正识别错误、统一术语和短语的使用，形成生成标准化的文本数据流；时间轴分析模块：接收字幕识别处理模块文本数据流，并结合视频解析模块提供的视觉数据，分析确定关键教学点的时间码，输出为时间标记的关键教学点，用于指导视频剪辑模块的操作；视频剪辑模块：使用时间轴分析模块提供的时间标记数据，对原始视频进行剪辑和重组；分层交互集成模块：结合字幕识别与处理模块的文本数据和视频剪辑模块的输出，创建能交互的字幕和注释，所述分层交互集成模块包括字幕生成单元、语音输出控制单元、动态注释整合单元、用户交互响应单元以及互动数据记录单元；其中，交互式字幕生成单元：接收字幕识别处理模块的文本数据流，并结合视频剪辑模块的输出，使用文本叠加技术，将字幕文本以交互式图层的形式覆盖在视频帧上，或隐藏原有视频中的嵌入式硬字幕，用户播放视频时可选择隐藏或显示字幕，该交互式图层允许用户点击字幕中的特定词汇或短语，触发相关的动作或显示附加信息；语音输出控制单元，通过基于卷积神经网络CNN的方法，来训练神经网络模型来深度学习音频信号的特征，并根据该特征将背景声音和人物语音分离出来，该语音输出控制单元还通过大量的训练数据提高分离效果，允许学生能选择进行配音练习；动态注释整合单元：根据视频内容和字幕文本创建动态注释，该单元具体使用数据绑定技术，将注释内容与视频中的特定时间点或元素关联起来，具体当视频展示某一关键概念时，注释将会自动显示解释或补充信息；用户交互响应单元：使用事件监听技术来处理用户与交互式字幕和注释的互动，以响应用户的点击或选择操作，并根据操作提供反馈包括显示详细信息、播放相关视频片段或跳转至相关教学材料；互动数据记录单元：记录用户与交互式元素的互动数据，包括点击频率、停留时间和用户选择路径；个性化内容生成模块：根据用户反馈和学习数据，调整视频内容和难度，并分析来自用户的互动数据，结合视频剪辑模块的输出来优化课件内容，所述个性化内容生成模块包括用户反馈分析单元、内容难度调整单元以及视频个性化剪辑单元；其中，用户反馈分析单元：用于收集并分析用户在观看视频过程中的反馈和互动数据，包括观看时间、重复观看的部分、暂停和跳过的片段，具体分析使用聚类分析来识别用户的学习偏好和难点，该聚类分析将通过K-均值算法实现数据挖掘，具体挖掘公式为：其中，Ci是簇i的中心点，Si是簇i中的数据点集合；内容难度调整单元：使用自适应学习算法根据用户的学习反馈动态调整视频内容的难度和深度，具体算法采用基于用户学习进度的难度调整模型，具体算法公式表示为：Dnew＝Dcurrent+β×Euser-Ethreshold，其中，Dnew表示新的难度级别，Dcurrent是当前难度级别，β是基于用户学习效果的调整系数，Euser是用户的学习效果评分，Ethreshold是预定的学习效果阈值；视频个性化剪辑单元：根据用户的学习行为和理解程度，对视频进行个性化剪辑，采用基于用户反馈的剪辑决策模型，具体公式表示为： 其中，Sedit是剪辑后的视频序列，Vi表示视频的第i个片段，Winterest,i是用户对第i个片段的兴趣权重，n是视频片段的总数；课件整合生成模块：将所有模块的输出整合成统一的、多平台兼容的视频格式，确保编辑后的课件能在不同的设备和平台上流畅播放。

全文数据：

权利要求：

百度查询： 自然语义(青岛)科技有限公司;北京视听说科技有限公司 一种基于时间轴微调的国际中文教学视听课件编辑系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD