申请/专利权人：之江实验室

申请日：2021-08-17

公开（公告）日：2024-03-26

公开（公告）号：CN113723233B

主分类号：G06V40/16

分类号：G06V40/16;G06V40/20;G06V40/10;G06V20/40;G06V10/80;G06V10/82;G06N3/0442

优先权：

专利状态码：有效-授权

法律状态：2024.03.26#授权;2021.12.17#实质审查的生效;2021.11.30#公开

摘要：本发明公开了一种基于分层时序多示例学习的学生学习参与度评估方法，该方法根据示例之间的时间相关性，建立分层时序多示例学习模型，该模型由视频帧‑视频片段的底层模块以及视频片段‑视频的顶层模块构成。该方法使用从视频中提取的头部姿态、面部表情以及身体姿态三类特征以及视频级的学习参与度标签训练评估模型，该模型不仅能够得到视频级的学习参与度，而且能够得到所有视频片段的学习参与度。本发明的实现方法便捷、高效、计算简单，使学习参与度评估精度得到可靠的保证。

主权项：1.一种基于分层时序多示例学习的学生学习参与度评估方法，其特征在于，包括以下步骤：步骤1，从每个视频中抽取图像帧，每l帧图像构成一个视频片段，一个视频获取N个视频片段；步骤2，对每个视频片段里的每一帧图像使用OpenPose、FSA-NET以及PLFD网络分别提取身体姿态特征、头部姿态特征以及面部关键点特征，用于学习参与度的评估；步骤3，对于视频片段的每一类特征序列，分别使用Bi-LSTM网络获取每个时刻的隐藏状态；将隐藏状态输入底层时序多示例学习模块B-TMIL，得到视频片段的特征表示；将一个视频所有视频片段提取的特征，通过全连接以及顶层多示例学习模块T-TMIL进行处理，得到视频的特征表示；其中，B-TIMIL、T-TMIL均基于自注意力机制实现，结构相同；B-TMIL模块作用于构成一个短视频片段的采样视频帧序列，其中帧是示例，片段是包；需要获取包的有效表示，以便准确获取其标签；使用一个自注意力机制的多示例学习模块来作用于Bi-LSTM的所有时刻的隐藏状态，通过可训练的参数自适应地获得包的表征；T-TMIL作用于视频片段之间，视频片段认为是示例，由片段组成的完整视频就是包；在片段级特征的基础上应用MIL模块；通过全连接操作减少片段级特征的维度，以生成更有效的嵌入表示；构造视频片段的加权组合来表示视频；步骤4，将步骤3中B-TMIL提取的三类视频片段级的特征进行融合，同时将步骤3中T-TMIL提取的三类视频级的特征进行融合；步骤5，视频片段级的融合特征经过全连接操作，得到视频片段的学习参与度；视频级的融合特征经过全连接操作，得到视频的学习参与度；用视频片段参与度的均值和视频的学习参与度，分别建立局部与全局监督，训练整个网络。

全文数据：

权利要求：

百度查询： 之江实验室 一种基于分层时序多示例学习的学生学习参与度评估方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD