申请/专利权人：浙江大学软件学院(宁波)管理中心(宁波软件教育中心)

申请日：2023-11-15

公开（公告）日：2024-03-22

公开（公告）号：CN117746096A

主分类号：G06V10/764

分类号：G06V10/764;G06V40/10;G06V10/44;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/049;G06N3/08;G06Q50/20

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明公开了一种基于多模特征融合的在线学习专注度的评估方法，包括：获取带有专注度标签的目标视频，对目标视频进行采样得到目标帧图像，并逐个提取多模特征；将多模特征以不同权重进行融合，再通过卷积运算拼接形成时序特征矩阵，进行时间维度编码，通过多头自注意力模块生成视频的融合特征矩阵；通过线性层映射和激活函数得到预测概率向量；通过训练参数，得到训练后的专注度评估模型；将待评估视频输入到模型中，得到待评估目标视频的预测概率向量，选取最大的概率值对应的专注度标签作为评估结果；优点在于该方法可以很好地融合不同的视觉特征并实现时序对齐，有效提取学习者在线学习时的细粒度特征，评估方法的准确性和鲁棒性高。

主权项：1.一种基于多模特征融合的在线学习专注度的评估方法，其特征在于包括以下步骤：步骤S1、多模特征提取：获取目标视频的训练集，每个目标视频对应一个专注度标签，由专注度标签定义目标视频的期望概率向量，对训练集中的每个目标视频进行采样得到目标帧图像，对各个目标帧图像进行逐个提取多模特征；步骤S2、多模特征融合：将提取得到的目标帧图像的各个多模特征以不同权重进行融合得到该目标帧图像对应的融合特征，将各个目标帧图像对应的融合特征依次拼接形成目标帧图像的融合特征矩阵；步骤S3、时序特征整合：将目标帧图像的融合特征矩阵通过卷积运算生成多个隐藏层特征，将所有隐藏层特征依次拼接形成帧图像的时序特征矩阵，对帧图像的时序特征矩阵加上时间维度编码，通过多头自注意力模块计算生成视频的融合特征矩阵；视频的融合特征矩阵通过线性层映射得到初步的预测矩阵，将初步的预测矩阵输入激活函数中得到目标视频的预测概率向量；步骤S4、模型的构建：定义损失函数，将步骤S3的目标视频的预测概率向量和步骤S1的目标视频的期望概率向量输入到损失函数中，通过损失函数计算损失值进行训练并迭代参数，当迭代次数达到预设的最大迭代次数时停止训练，将训练过程中得到的损失值为最小值时得到的参数作为训练后的参数，由训练后的参数对多模特征提取、多模特征融合和时序特征整合中的参数进行优化，基于训练后的参数进行优化后的多模特征提取、多模特征融合和时序特征整合构建专注度评估模型；步骤S5、专注度评估：将待评估视频输入到专注度评估模型中，得到待评估目标视频的预测概率向量，选取待评估目标视频的预测概率向量中最大的概率值对应的专注度标签作为待评估视频的学习者的专注度评估结果。

全文数据：

权利要求：

百度查询： 浙江大学软件学院(宁波)管理中心(宁波软件教育中心) 一种基于多模特征融合的在线学习专注度的评估方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD