买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉鹏城实验室申请的专利针对大语言模型的结构化剪枝方法以及相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119849578B 。

龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510309293.X，技术领域涉及：G06N3/082；该发明授权针对大语言模型的结构化剪枝方法以及相关设备是由吴泽斌;田永鸿设计研发完成，并于2025-03-17向国家知识产权局提交的专利申请。

本针对大语言模型的结构化剪枝方法以及相关设备在说明书摘要公布了：本申请实施例提供了一种针对大语言模型的结构化剪枝方法以及相关设备，属于神经网络轻量化技术领域。该方法包括：获取待剪枝的初始大语言模型多个注意力模块的第一权重矩阵、以及多个感知模块的第二权重矩阵；基于由第一权重矩阵相应的第一波动度量矩阵、以及由第二权重矩阵相应的第二波动度量矩阵确定全局剪枝阈值；基于全局剪枝阈值确定各注意力模块相应的键值掩码矩阵和查询掩码矩阵、以及各感知模块相应的感知掩码矩阵；利用键值掩码矩阵和查询掩码矩阵对相应的第一权重矩阵进行剪枝处理，并利用感知掩码矩阵对相应的第二权重矩阵进行剪枝处理，进而确定初始大语言模型剪枝后的大语言模型。本申请能够提高大语言模型的模型压缩准确度。

本发明授权针对大语言模型的结构化剪枝方法以及相关设备在权利要求书中公布了：1.一种针对大语言模型的结构化剪枝方法，其特征在于，包括：获取待剪枝的初始大语言模型，并从所述初始大语言模型的多个注意力模块中获取相应的第一权重矩阵、从所述初始大语言模型的多个感知模块中获取相应的第二权重矩阵；基于所述第一权重矩阵确定第一波动度量矩阵,基于所述第二权重矩阵确定第二波动度量矩阵，并根据所述第一波动度量矩阵和所述第二波动度量矩阵确定全局剪枝阈值；基于所述全局剪枝阈值和所述第一波动度量矩阵，确定各所述注意力模块相应的键值掩码矩阵和查询掩码矩阵，并基于所述全局剪枝阈值和所述第二波动度量矩阵，确定各所述感知模块相应的感知掩码矩阵；利用每一所述注意力模块的所述键值掩码矩阵和所述查询掩码矩阵，对相应的第一权重矩阵进行剪枝处理，得到第一目标矩阵，并利用每一所述感知模块的所述感知掩码矩阵，对相应的第二权重矩阵进行剪枝处理，得到第二目标矩阵；基于所述第一目标矩阵和所述第二目标矩阵，确定所述初始大语言模型剪枝后的大语言模型；各所述注意力模块包括多个第一权重矩阵，每一所述第一权重矩阵包括初始键矩阵、初始查询矩阵、初始值矩阵和第一输出矩阵，并且，所述初始键矩阵、所述初始查询矩阵、所述初始值矩阵和所述第一输出矩阵之间的输出维度不完全相同；所述基于所述第一权重矩阵确定第一波动度量矩阵，包括：获取初始样本，并将所述初始样本输入至所述初始大语言模型中；针对各所述第一权重矩阵，依次基于所述初始键矩阵、所述初始查询矩阵、所述初始值矩阵和所述第一输出矩阵，对所述初始样本进行嵌入处理，得到相应的第一输出样本；基于所述第一输出样本确定第一原始矩阵，并对属于相同所述注意力模块的多个所述第一原始矩阵进行均值处理，得到第一均值矩阵；堆叠所有所述注意力模块相应的所述第一均值矩阵，得到第一波动度量矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人鹏城实验室，其通讯地址为：518000 广东省深圳市南山区兴科一街2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。