申请/专利权人：中国科学技术大学

申请日：2024-03-13

公开（公告）日：2024-04-12

公开（公告）号：CN117875434A

主分类号：G06N5/04

分类号：G06N5/04;G06N3/042;G06N3/045;G06F40/30

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本发明公开了一种用于扩展输入上下文长度的金融大模型长度外推方法，用于自然语言处理领域，该金融大模型长度外推方法包括以下步骤：根据训练和推理阶段上下文长度生成比例因子；结合比例因子计算位置偏置的值；根据进制转换的思想对位置偏置的值平方多次获得位置偏置列表；根据位置偏置列表和输入内容的数学位置生成位置信息；在注意力得分矩阵上直接添加位置信息。本发明通过改进模型的位置编码，提升模型对更长上下文的处理能力，在尽量不损害模型性能的前提下，使模型更好地理解和利用更广泛的语境，从而提高其在处理输入长度超出训练任务时的表现。

主权项：1.一种用于扩展输入上下文长度的金融大模型长度外推方法，其特征在于，该金融大模型长度外推方法包括以下步骤：S1、根据训练和推理阶段上下文长度生成比例因子；S2、结合比例因子计算位置偏置的值；S3、根据进制转换的思想对位置偏置的值平方多次获得位置偏置列表；S4、根据位置偏置列表和输入内容的数学位置生成位置信息；S5、在注意力得分矩阵上直接添加位置信息。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种用于扩展输入上下文长度的金融大模型长度外推方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD