买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:华院计算技术(上海)股份有限公司
摘要:本发明提供一种数据增强与预测增强方法协同的数学大语言模型微调方法、系统、设备及介质,其特征在于,包括:获取原问题、原答案,通过问题重写和答案细化的方式补充有效的训练样例,获取增广问题和增广答案;基于所述增广问题和增广答案,进行数据集简化计算,获取简化计算数据集;基于所述简化计算数据集,进行预测输出的增强。LLM的性能有较大弊端,没有解题过程,直接给出结果的问答对难以提高推理能力,而受污染或本身就有错的答案标签甚至会降低微调后LLM的正确率,同时仅限简单问题的数据在复杂多步推理的任务中也很少有帮助。针对上述问题,本发明使用合理增广的优质数学推理数据集和针对高精度与复杂运算的简化计算数据集进行训练,对LLM的预测输出进行多次采样和多轮对话后再进行反向传播,最终提高微调后通用大语言模型正确求解算术计算问题的能力。
主权项:1.一种数据增强与预测增强方法协同的数学大语言模型微调方法,其特征在于,包括:S1:获取原问题、原答案,通过问题重写和答案细化的方式补充有效的训练样例,获取增广问题和增广答案;S2:基于所述增广问题和增广答案,进行数据集简化计算,获取简化计算数据集;S3:基于所述简化计算数据集,进行预测输出的增强。
全文数据:
权利要求:
百度查询: 华院计算技术(上海)股份有限公司 一种数据增强与预测增强方法协同的数学大语言模型微调方法、系统、设备及介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。