申请/专利权人：华中师范大学

申请日：2022-04-28

公开（公告）日：2024-04-16

公开（公告）号：CN114818698B

主分类号：G06F40/289

分类号：G06F40/289;G06F40/30;G06F16/35;G06N3/0455

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.08.16#实质审查的生效;2022.07.29#公开

摘要：本发明提供了一种自然语言文本和数学语言文本的混合词嵌入方法，包括：对混合文本进行识别和预处理，得到由文本和数学表达式组成的数学资源数据集；对具有树形结构的数学表达式进行位置编码，保持树形结构的相对位置平移不变；对具有线性结构特征的文本和具有树形结构特征的数学表达式进行统一位置编码；将相对位置编码送入预训练模型的注意力模块，采用掩蔽语言模型和下句预测两个标准预训练任务对数学资源进行预训练，预训练完成后，每个符号均可得到富含上下文信息的嵌入向量表示。

主权项：1.一种自然语言文本和数学语言文本的混合词嵌入方法，其特征在于，包括：S1：对包含自然语言文本和数学语言文本的学习资源进行预处理，得到数学资源数据集，其中，数学语言文本为具有树形结构的数学表达式，自然语言文本为具有线性序列特征的上下文；S2：对具有树形结构的数学表达式采用基于分支的位置编码方式进行绝对位置编码，并根据绝对位置编码结果计算树形结构中两个节点的相对位置编码；S3：对具有线性序列特征的上下文采用负整数位置编码，并使用补码表示，然后将树形结构的根节点作为线性序列的首节点，实现数学表达式和上下文的统一位置编码，再根据统一位置编码计算树形结构和线性序列中任意两个节点的相对位置编码；S4：将步骤S1得到的数学资源数据集输入BERT预训练模型，其中，BERT预训练模型具有位置编码模块和注意力模块，将步骤S3中得到的统一位置编码输入位置编码模块、将步骤S3计算出的树形结构和线性序列中任意两个节点的相对位置编码送入BERT预训练模型的注意力模块进行训练，采用掩蔽语言模型和下句预测两个标准预训任务对数学资源进行预训练，得到训练好的词嵌入模型；S5：利用训练好的词嵌入模型对自然语言文本和数学语言文本进行处理，得到最终混合词嵌入表达；其中，S4中的掩蔽语言模型任务使用交叉熵作为损失函数，表示为： 其中是被掩蔽词x经过线性分类和Softmax回归后的估计概率，px是其原始分布，下句预测任务采用交叉熵作为损失函数，表示为： 其中，如果上下文没有替换，则p＝1，如果由上下文替换，则p＝0，为上下文与公式匹配的估计概率。

全文数据：

权利要求：

百度查询： 华中师范大学 一种自然语言文本和数学语言文本的混合词嵌入方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD