申请/专利权人：山东科技大学

申请日：2020-07-14

公开（公告）日：2024-03-22

公开（公告）号：CN112100439B

主分类号：G06F16/735

分类号：G06F16/735;G06F16/783;G06Q50/20;G09B5/06

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2022.01.18#实质审查的生效;2020.12.18#公开

摘要：本发明公开了一种基于依赖关系嵌入与神经注意力网络的推荐方法，属于信息技术领域。本文首先提出ConPreAlg和CoursePreAlg算法，用于从慕课课程字幕中提取概念级和课程级依赖关系；然后基于神经注意力网络和依赖关系嵌入，设计了一种推荐方法GuessUNeed；在GuessUNeed中，依赖关系被嵌入到神经注意力网络中，改善了注意力系数的计算和推荐的可解释性；在真实数据集上的实验表明，与其它方法相比，该方法可以显著改善推荐的性能。

主权项：1.基于依赖关系嵌入与神经注意力网络的推荐方法，其特征在于：首先进行如下定义：定义1：课程语料；课程语料是从m门课程中提取的视频字幕的集合，用A＝{Ai}i＝1,2,...,m表示，其中Ai表示第i门课程；而课程由个视频组成，其中表示课程Ai中的第j个视频；每个视频都由字幕文本和序列信息组成；定义2：课程概念；课程概念是用C＝{ci}i＝1,2,...,t表示的一组概念，其中ci是从A中提取的用于表示特定课程中需要学习的概念；和分别表示课程Ai中的概念和第i个视频ci被定义为A中的一个N元短语并满足如下条件：1ci应该是语义和句法正确的短语；2ci应该代表某门课程的学习内容；定义3：概念级依赖关系；概念级依赖关系实质上是两个概念的学习顺序；给定来自A的两个课程概念c1和c2，如果用户想要学习c2，则需要先学习c1；在这种情况下，c1和c2之间存在依赖关系，用＜ci,cj＞表示；具体而言，c1是c2的前置概念，c2是c1的后续概念；定义4：课程级依赖关系；课程级依赖关系是概念级依赖关系的扩展，反映的是课程学习的先后顺序，A的两个课程A1和A2，如果ci∈A1，cj∈A2且ci是cj的前置概念，那么可以得到A1和A2之间的课程级依赖关系，用＜A1,A2＞表示；所有课程之间的依赖关系构成一个课程级依赖关系矩阵G；定义5：慕课课程推荐；令U＝{ui}i＝1,2,...,k表示用户集，其中ui是第i个用户；将用户ui的已选修的课程视为其选修记录，用表示；表示用户ui尚未选修的课程的集合；R表示所有用户选修记录的0-1矩阵；矩阵元素ruj＝1表示用户ui选修了课程Aj；慕课推荐的目标是推荐一个课程列表其中的课程是根据用户ui可能选修的概率来排序；该方法具体包括如下步骤：步骤1：提取概念级依赖关系；在课程开始的时候，视频中大多出现的是前置概念；随着课程的进行，大量后续概念被介绍；因此，概念出现的位置越靠前，它是前置概念的概率就越大；定义了概念位置特征Ps，如公式2所示： 其中，Ac1,c2表示c1和c2同时出现时的一组课程；表示出现概念c1的视频的序号；当老师在介绍一个概念时常常会提及它的前置概念，反之则不会；也就是说，有些前置概念会出现在课程靠后的位置，相对来说后续概念基本不会出现在课程靠前的位置；定义了概念分布特征Ds，如公式3所示： 其中，Ai∈Ac1,c2；表示c1在中的频率；表示c1是否出现在视频中，如果出现，则否则前置概念会出现在更多的视频中，存活时间也更长；定义了概念全局特征Gl，如公式4和公式5所示； Glc1,c2＝Glc1-Glc25；其中，Ac是出现概念c的课程的集合；是课程Ai中出现了概念c的一组视频的序号；是课程Ai中出现了概念c的视频的数量；当老师向学生们讲解一个概念时，往往会引用它的前置概念，以帮助学生更好地理解，这意味着后续概念常常和它的前置概念一起出现，而不是相反；定义了概念共现特征Co，如公式6所示； 使用随机森林来整合上述特征，以提取概念级依赖关系；通过ConPreAlg算法，提取概念级依赖关系；具体如下：输入：已标记训练集CL＝{＜ci,cj＞,clabel}，测试集CT＝{＜ci,cj＞}，课程语料A；输出： 算法的时间复杂度为Om|CL|；步骤2：提取课程级依赖关系；对于名称之间有明确顺序关系的课程，通过课程名包含的顺序关系直接提取课程级依赖关系；无法通过课程名得知课程之间的依赖关系时，通过CoursePreAlg算法，提取课程级依赖关系；具体而言，当两个概念之间存在依赖关系时，学习后续概念需要首先掌握前置概念；因此，当前置概念和后续概念不在同一课程中时，如果想学习包含后续概念的课程，就需要先学习包含前置概念的课程；确定课程级依赖关系的形式化表述如下：给定两个课程Ai和Aj，令PreAi和PreAj分别表示Ai和Aj包含的概念级依赖关系；因此，根据公式7确定Ai是否是Aj的前置课程； 具体如下：输入：A＝{Ai,Aj}，输出：课程级依赖关系＜Ai,Aj＞； 为了便于嵌入到提出的推荐方法中，所有的课程级依赖关系根据公式8转换为矩阵G； 步骤3：推荐慕课课程；具体包括如下步骤：步骤3.1：利用神经网络的特征表示能力来计算课程与课程之间的相似度，同时将课程级依赖关系嵌入到注意力网络中以区分已选修的课程对推荐的贡献；预测模型表示如下： 其中，表示预测模型，是一个注意力系数，当模型计算用户ui选修课程Aj的概率时，它能够衡量课程Ak对影响这一概率的重要性；表示用户ui；表示偏差值；步骤3.2：设计一个注意力网络，并将课程级依赖关系信息嵌入到注意力系数的计算中，注意力系数的计算表示为其中f·是一个多层感知机MLP；的计算如公式11所示： 其中，表示注意力系数，W1和W2都是权重矩阵，b是偏置向量，表示向量和按元素相加操作，是G中的第k个行向量；步骤3.3：使用对数损失函数作为目标函数来训练模型，如公式12所示， 其中，N为训练样本的个数，σ·表示sigmoid函数，用来将预测值转变为用户ui选修课程Aj的可能性的概率值；P和Q代表两个低阶矩阵；超参数λ1，λ2，λ3控制l2正则化的强度，防止过拟合；||·||是Frobenius范数，定义为χij是矩阵Xm×n中的一个元素；步骤3.4：为了优化目标函数，采用GuessUNeed算法进行慕课课程推荐，具体如下：输入：保存所有的用户选修记录的0-1矩阵R，学习率l，嵌入层大小s，迭代次数e；输出：向用户推荐的课程的列表；

全文数据：

权利要求：

百度查询： 山东科技大学 基于依赖关系嵌入与神经注意力网络的推荐方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD