申请/专利权人：华南理工大学

申请日：2022-02-25

公开（公告）日：2024-04-23

公开（公告）号：CN114626529B

主分类号：G06N5/04

分类号：G06N5/04;G06F40/211;G06F40/30;G06N3/0455;G06N3/0442;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2022.07.01#实质审查的生效;2022.06.14#公开

摘要：本发明公开了一种自然语言推理微调方法、系统、装置及存储介质，其中方法包括：获取前提文本与假设文本，对前提文本与假设文本进行分词，获得文本的离散编码；将离散编码输入预训练模型中进行句向量建模，获得隐藏向量；将隐藏向量拆分为前提隐藏向量和假设隐藏向量；将前提隐藏向量的句首向量输入到推理模块进行推理任务，并获取第一损失；将前提隐藏向量输入到文本生成模块进行生成任务，并获取第二损失；将第一损失和第二损失进行相加，根据相加获得的损失优化预训练模型、推理模块以及文本生成模块。本发明能够充分学习句子间的语义相关性，在原本的推理任务中取得更好的效果。本发明可广泛应用于自然语言推理技术领域。

主权项：1.一种自然语言推理微调方法，其特征在于，包括以下步骤：获取前提文本与假设文本，对前提文本与假设文本进行分词，获得文本的离散编码；将离散编码输入预训练模型中进行句向量建模，获得隐藏向量；将隐藏向量拆分为前提隐藏向量和假设隐藏向量；将前提隐藏向量的句首向量输入到推理模块进行推理任务，并获取第一损失；将前提隐藏向量输入到文本生成模块进行生成任务，并获取第二损失；将第一损失和第二损失进行相加，根据相加获得的损失优化预训练模型、推理模块以及文本生成模块；所述对前提文本与假设文本进行分词，获得文本的离散编码，包括：将前提文本表示为其中m为前提文本的长度；将假设文本表示为其中n为假设文本的长度；将前提文本与假设文本连接起来作为联合文本，联合文本表示为其中，句首的CLS作为句向量表示词，句中SEP作为句子对的分割词，以及文本的结尾；将联合文本输入到分词器得到文本的离散编码；所述将离散编码输入预训练模型中进行句向量建模，获得隐藏向量，包括：将文本的离散编码输入到预训练模型BERT中，经过编码后获得隐藏向量，隐藏向量表示为所述将隐藏向量拆分为前提隐藏向量和假设隐藏向量，包括：将隐藏向量进行拆分得到前提隐藏向量和假设隐藏向量如下：前提隐藏向量：假设隐藏向量：所述将前提隐藏向量的句首向量输入到推理模块进行推理任务，并获取第一损失，包括：将前提隐藏向量中的句首向量hCLs，输入到推理模块的MLP网络中，并根据分类器获取样本预测类的概率分布，获取最大的概率作为预测类别；将预测类别和预设的标签进行交叉熵损失计算，得到推理任务的第一损失；所述将前提隐藏向量输入到文本生成模块进行生成任务，并获取第二损失，包括：将前提隐藏向量以及样本的标签嵌入输入到BiLSTM网络中，其中，前提隐藏向量中的每个向量作为BiLSTM网络每一个时间步的输入；获取每一个时间步生成的单词的概率分布，选取最高概率的单词作为输出单词，生成句子；将生成的句子和原本样例的假设文本进行交叉熵损失计算，得到生成任务的第二损失所述生成任务中采用到的标签根据推理任务是三分类还是二分类进行自适应地选择；标签信息通过标签嵌入矩阵得到标签嵌入向量，作为文本生成模块中BiLSTM网络的起始输入向量，表明当前生成的假设文本和前提文本之间的蕴含关系，从而指导BiLSTM网络进行生成；利用Softmax函数计算每一步生成的单词概率分布，选择最高的概率的单词作为最终生成的单词。

全文数据：

权利要求：

百度查询： 华南理工大学 一种自然语言推理微调方法、系统、装置及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD