申请/专利权人：西安电子科技大学

申请日：2024-01-29

公开（公告）日：2024-04-26

公开（公告）号：CN117648998B

主分类号：G06N20/00

分类号：G06N20/00;G06F21/57

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2024.03.22#实质审查的生效;2024.03.05#公开

摘要：本发明公开了一种基于可信执行环境的大语言模型联邦预训练方法，包括以下步骤：步骤1：创建大语言模型联合预训练任务，确定联合建模参与方，准备数据，并创建用于联合建模的计算存储网络资源；步骤2：进行大语言模型的联合预训练；步骤3：对联合预训练得到的大语言模型进行优化。以应用于大语言模型预训练多方联邦建模的实际场景，充分利用RDMA和CXL技术，在分布式环境中构建跨域可信执行环境集群，并为内存划分共享区域和私有区域，通过将共享区域形成大内存，使其可以容纳大语言模型及其训练数据以及中间训练结果，克服大模型大数据规模下的可信建模通信瓶颈和资源利用不足问题。

主权项：1.一种基于可信执行环境的大语言模型联邦预训练方法，其特征在于，包括以下步骤：步骤1、创建大语言模型联合预训练任务，确定联合建模参与方，准备数据，并创建用于联合建模的计算存储网络资源；步骤2、进行大语言模型的联合预训练；步骤3、对联合预训练得到的大语言模型进行优化；所述步骤1具体包括以下步骤：步骤101、确认预训练任务：定义大语言模型预训练的具体任务，包括大语言模型的初始参数配置和训练数据的要求；步骤102、确定联合建模参与方：确定参与大语言模型联合预训练的各联合建模参与方，包括大语言模型的拥有者和数据提供者；步骤103、构建跨域TEE集群：在分布式环境中，搭建跨域的可信执行环境集群，各个联合建模参与方启动TEE管理节点，在TEE规划共享区域、私有区域以及GPU资源，并将访问权限信息加载到FPGA中，用于控制RDMA和CXL的访问；步骤104、设置全局时钟：引入全局时钟，作为统一的时间标尺，为所有联合建模参与方分发N个随机数种子，确保时间的一致性和数据的安全性；步骤105、加密和MAC认证：大语言模型联邦预训练任务发起方选取随机种子获取全局时钟生成密钥，将初始模型进行加密，同时生成MAC消息认证码，并将加密后的初始模型和相关标识信息放入共享内存区域，为模型分发做准备；所述共享内存区域划分成私有区域和共享的公共区域，私有区域当中存放参与联邦建模联合建模参与方的私有数据，为敏感数据；共享的公共区域用于非敏感数据、建模过程中的元数据、全局模型参数以及公共数据集的高效快速共享；步骤106、训练数据加载和处理：各所述联合建模参与方根据数据敏感性，将数据加载到TEE的私有区域和共享区域，对数据进行Token化处理形成向量表示，并获取全局时钟，选取本地随机种子对共享区域的数据进行加密；步骤107、数据聚合和混淆：任务发起方对TEE共享区域的数据进行聚合，根据对元数据标识的随机数种子序号以及全局时钟生成密钥，并利用密钥将数据进行解密，再进行数据混淆，模糊其数据来源，通过获取全局时钟，选取本地随机种子重新对共享区域的数据进行加密，生成公共数据集，并存储于共享内存区域中；步骤108、公共数据集拉取：各所述联合建模参与方通过RDMA协议将共享区域的数据拉入到各自本地环境中，为后续训练做准备；步骤109、GPU初始化：各所述联合建模参与方对GPU进行初始化，使其成为可信化的计算资源，用于加速模型的训练过程。

全文数据：

权利要求：

百度查询： 西安电子科技大学 一种基于可信执行环境的大语言模型联邦预训练方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD