买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉鹏城实验室申请的专利大语言模型的参数剪枝方法、装置、设备及可读存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119849579B 。

龙图腾网通过国家知识产权局官网在2025-06-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510320883.2，技术领域涉及：G06N3/082；该发明授权大语言模型的参数剪枝方法、装置、设备及可读存储介质是由吴泽斌;田永鸿设计研发完成，并于2025-03-18向国家知识产权局提交的专利申请。

本大语言模型的参数剪枝方法、装置、设备及可读存储介质在说明书摘要公布了：本申请实施例提供了一种大语言模型的参数剪枝方法、装置、设备及可读存储介质。方法包括：获取预设大语言模型中每个网络层的第一度量矩阵，并确定对应网络层的剪枝率；针对每个网络层包含的多个注意力头确定多个重要性得分，并构建第二度量矩阵；根据剪枝率和第二度量矩阵确定第二度量矩阵的第一标定矩阵，并基于第一标定矩阵的稀疏分布特性得到第一掩码矩阵；对键通道和值通道进行剪枝；根据目标数量和第二度量矩阵确定第二度量矩阵的第二标定矩阵，并基于第二标定矩阵的稀疏分布特性得到第二掩码矩阵；对第二掩码矩阵关联的查询通道和输出通道进行剪枝，得到大语言模型。以此，能够减少大语言模型的存储空间，加速大语言模型的计算效率。

本发明授权大语言模型的参数剪枝方法、装置、设备及可读存储介质在权利要求书中公布了：1.一种大语言模型的参数剪枝方法，其特征在于，应用于自然语言处理任务，所述方法包括： 获取预设大语言模型的多个网络层中每个网络层的第一度量矩阵，并基于所述第一度量矩阵确定对应所述网络层的剪枝率； 针对所述每个网络层包含的多个注意力头，根据对应所述第一度量矩阵确定多个重要性得分，并根据所述多个重要性得分构建第二度量矩阵； 根据所述剪枝率和所述第二度量矩阵中多个重要性得分的大小关系确定所述第二度量矩阵的第一标定矩阵，并基于所述第一标定矩阵的稀疏分布特性，确定对应的第一掩码位置，得到第一掩码矩阵； 对所述第一掩码矩阵指示的注意力头关联的键通道和值通道进行剪枝； 确定所述第一掩码矩阵指示的注意力头的目标数量，根据所述目标数量和所述第二度量矩阵中多个重要性得分的大小关系确定所述第二度量矩阵的第二标定矩阵，并基于所述第二标定矩阵的稀疏分布特性，确定对应的第二掩码位置，得到第二掩码矩阵； 对所述第二掩码矩阵指示的注意力头关联的查询通道和输出通道进行剪枝，得到大语言模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人鹏城实验室，其通讯地址为：518000 广东省深圳市南山区兴科一街2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。