申请/专利权人：云南师范大学

申请日：2023-12-22

公开（公告）日：2024-04-09

公开（公告）号：CN117474094B

主分类号：G06N5/025

分类号：G06N5/025;G06N3/0455;G06N3/0499;G06F18/22

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2024.02.20#实质审查的生效;2024.01.30#公开

摘要：本发明涉及基于Transformer的融合领域特征的知识追踪方法，属于知识追踪领域和学习分析领域。本发明结合知识追踪的领域特征对Transformer模型的解码器进行变形，并训练得到由编码器和解码器组成的TKT‑DF知识追踪模型，编码器和解码器均由N层堆栈组成，每一层堆栈由多头注意力机制和前馈神经网络组成，并且结合残差连接和层归一化；在编码器上形成结合上下文的对题目的向量表征，在解码器上计算题目的表征向量之间的相似度，更新学生的知识掌握程度，并通过Mask机制来处理序列中未来的信息，最后在解码器上更新的学生知识掌握程度向量上拼接将要预测的题目，完成对学生题目答题正误的预测。本发明在大规模数据集和小规模数据集上提升了Transformer系列知识追踪模型的预测准确率。

主权项：1.一种基于Transformer的融合领域特征的知识追踪方法，其特征在于：将Transformer模型结合知识追踪的领域特征进行变形，并训练得到由编码器和解码器组成的TKT-DF知识追踪模型，编码器和解码器均由N层堆栈组成，每一层堆栈由多头注意力机制和前馈神经网络组成，并且结合残差连接和层归一化；在编码器上形成结合上下文的对题目的向量表征，在解码器上计算题目的表征向量之间的相似度，来更新学生的知识掌握程度，并通过Mask机制来处理序列中未来的信息，最后在解码器上更新的学生知识掌握程度向量上拼接将要预测的题目，完成对学生题目答题正误的预测；具体步骤如下：Step1、构建训练数据集收集学生数据，其中每条数据包含学生信息、题目信息、知识点信息和答题信息，对数据进行预处理得到训练数据集；Step1.1、将数据归一化为适合用于训练知识追踪模型的大小，将学生数据进行切分或补零，将序列长度统一成，对于学生做题数目超过长度的，进行切分，对于学生做题数目不足的，进行补零；Step1.2、将归一化之后的数据进行嵌入，嵌入之后的数据表示为题目序列、知识点序列、答题序列；Step1.3、若数据集中既包含题目信息，也包含知识点信息，则将题目序列和知识点序列对应位置相加，形成做题序列，其中=+，若数据集中只包含题目信息，则=，若数据集中只包含知识点信息，则=；Step2、构建并训练TKT-DF知识追踪模型构建TKT-DF知识追踪模型，并利用训练数据集对模型进行训练，过程如下：Step2.1通过编码器形成结合上下文的对题目的向量表征：Step2.1.1、通过多头注意力学习学生做题序列中各个问题之间的依赖关系和重要性，具体公式如下： ；其中为多头注意力机制，多头注意力机制中的、、均为做题序列的向量表示，为层归一化；Step2.1.2、将Step2.1.1得到的题目表示，输入到前馈神经网络中，进行特征映射或非线性变换，结合残差连接和层归一化，具体公式如下： ；其中为前馈神经网络，为该堆栈的输出；Step2.2、结合编码器的输出和学生的答题序列，通过解码器更新学生的知识掌握程度：Step2.2.1、将学生的答题序列当作学生初步的知识点掌握程度，将多头注意力机制的输入分为两种情况，具体公式如下： ；Step2.2.2、将多头注意力计算出的学生知识掌握程度的向量表示，输入到前馈神经网络中，进行特征映射或非线性变换，结合残差连接和层归一化，得到该堆栈的最终学生知识掌握程度的向量表示，具体公式如下： ；对于，输入到多头注意力中的Q为编码器输出去掉第一条信息，K为编码器输出去掉最后一条信息，V为答题序列R去掉第一条信息；对于，输入到多头注意力中的Q为编码器输出的全部信息，K为编码器输出的全部信息，V为学生掌握程度的全部信息；Step2.2.3、将步骤Step2.2.1-Step2.2.2重复N次，得到最终解码器的输出序列中的所有知识点掌握程度的向量表示；Step2.3、拼接题目序列，进行预测：将解码器的输出与题目序列进行拼接，提高模型预测准确率： ； ；其中为题目序列与解码器的输出的拼接，再将其放入一个线性层中进行维度调整和特征映射，最终经过激活函数得到对学生题目答对答错的预测，为权重矩阵，为偏置项；Step2.4、使用超参数搜索找到最优的超参数配置，得到训练好的TKT-DF知识追踪模型；Step3、利用训练完成的TKT-DF知识追踪模型对待预测的学生数据进行预测。

全文数据：

权利要求：

百度查询： 云南师范大学 基于Transformer的融合领域特征的知识追踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD