申请/专利权人：苏州大学

申请日：2023-12-01

公开（公告）日：2024-02-23

公开（公告）号：CN117332247B

主分类号：G06F18/21

分类号：G06F18/21;G06F18/214;G06N3/0455;G06N3/0499;G06N3/0442;G06N3/082;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.02.23#授权;2024.01.19#实质审查的生效;2024.01.02#公开

摘要：本发明公开了以大语言模型为媒介的大数据交易和质量评估方法及系统，涉及数据交易与评估技术领域，包括：各个公司利用私有数据建立指令微调数据集，并根据指令微调数据集独立训练大语言模型；基于混合专家系统将各个公司训练好的大语言模型整合为完整的行业大语言模型；利用行业大语言模型代替数据的直接交易，并对行业大语言模型的效果进行质量评估；相对于联邦学习方案本发明不需要在参与方间进行频繁的模型参数更新通信，因此性能更高，安全性更强；且本发明利用大语言模型生成答案，可以使评估方法更具通用性，适用于多样化的大数据场景，也降低非专业人士对数据质量评估的门槛，使更多人能够准确评估数据质量。

主权项：1.以大语言模型为媒介的大数据交易和质量评估方法，其特征在于，包括：各个公司利用私有数据建立指令微调数据集，并根据所述指令微调数据集独立训练大语言模型；所述大语言模型的训练包括，根据所述指令微调数据集选择一个通用大语言模型作为基座大语言模型，所述基座大语言模型包含多个Transformerdecoder块，每个Transformerdecoder块表示为： ；其中，表示运算参数，表示第l-1个decoder块的输出，表示多头自注意力机制，表示层归一化，表示第l个decoder块的输出，表示包含一个隐藏层的前馈神经网络；基于混合专家系统将各个公司训练好的大语言模型整合为完整的行业大语言模型；所述将各个公司训练好的大语言模型整合为完整的行业大语言模型包括，基于混合专家系统将各个公司训练好的大语言模型整合为完整的行业大语言模型，即所述完整的行业大语言模型的输出为各个公司训练好的大语言模型的输出和门控网络模型的权重组合；所述门控网络模型接收输入向量X并输出权重向量，表示为： ；其中，表示选择专家子系统的概率；利用所述门控网络模型输出的权重向量加权不同专家子系统的输出，并求和得到最终的所述完整的行业大语言模型的输出，表示为： ；其中，表示最终的完整的行业大语言模型的输出，表示专家子系统；利用所述行业大语言模型代替数据的直接交易，并对所述行业大语言模型的效果进行质量评估。

全文数据：

权利要求：

百度查询： 苏州大学 以大语言模型为媒介的大数据交易和质量评估方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD