申请/专利权人：阿里巴巴(中国)有限公司

申请日：2024-02-07

公开（公告）日：2024-04-09

公开（公告）号：CN117851613A

主分类号：G06F16/36

分类号：G06F16/36;G06F18/25;G06N3/0499;G06N3/0464;G06N3/0895;G06N3/0475;G06N3/0455;G06F17/16;G06F17/18

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本申请实施例公开了一种预训练语言模型的编辑方法及装置。主要技术方案包括：将待编辑的知识序列输入预训练语言模型；从预训练语言模型所包含的目标网络层获取知识序列对应的第一权重表示，对第一权重表示进行梯度分解得到各知识样本对应的第二权重表示；将各知识样本对应的第二权重表示输入辅助网络；利用辅助网络分别针对各知识样本进行知识样本内各Token之间的注意力处理和知识样本之间的注意力处理，得到知识序列对应的第四权重表示；利用第四权重表示更新预训练语言模型中目标网络层的第一权重表示；利用预训练语言模型得到的损失函数更新辅助网络的参数。通过本申请能够有效且高效地利用新知识更新预训练语言模型。

主权项：1.一种预训练语言模型的编辑方法，其特征在于，所述方法包括：将待编辑的知识序列输入预训练语言模型，所述知识序列包括作T个知识样本，所述T为大于1的正整数；从所述预训练语言模型所包含的目标网络层获取所述知识序列对应的第一权重表示，对所述第一权重表示进行梯度分解得到各知识样本对应的第二权重表示；将所述各知识样本对应的第二权重表示输入辅助网络；利用所述辅助网络分别针对各知识样本进行知识样本内各文本单元Token之间的注意力处理，得到各知识样本对应的第三权重表示；基于所述各知识样本对应的第三权重特征表示进行知识样本之间的注意力处理，得到所述知识序列对应的第四权重表示；利用所述第四权重表示更新所述预训练语言模型中所述目标网络层的第一权重表示；利用所述预训练语言模型得到的损失函数更新所述辅助网络的参数。

全文数据：

权利要求：

百度查询： 阿里巴巴(中国)有限公司 预训练语言模型的编辑方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD