上海壁仞科技股份有限公司请求不公布姓名获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海壁仞科技股份有限公司申请的专利算子流的并行运行方法、计算机设备和可读存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120179295B 。
龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510653876.4,技术领域涉及:G06F9/38;该发明授权算子流的并行运行方法、计算机设备和可读存储介质是由请求不公布姓名设计研发完成,并于2025-05-21向国家知识产权局提交的专利申请。
本算子流的并行运行方法、计算机设备和可读存储介质在说明书摘要公布了:本申请涉及一种算子流的并行运行方法、计算机设备和可读存储介质。方法包括:将目标算子流划分为多个执行阶段;在目标算子流的运行过程中,针对任一执行阶段,在各人工智能芯片内部采用执行阶段对应的并行策略,执行执行阶段内各算子对应的运算,且在执行阶段运算完成后,基于下一执行阶段对应的并行策略,将每一人工智能芯片在执行阶段的运算结果中的部分或者全部直写入目标人工智能芯片对应的内存资源中,目标人工智能芯片包括每一人工智能芯片自身或者全部人工智能芯片;在各执行阶段均完成计算后,基于各人工智能芯片的最终运算结果得到目标算子流的运算结果。采用本方法能够降低大模型的推理延迟,提高推理效率。
本发明授权算子流的并行运行方法、计算机设备和可读存储介质在权利要求书中公布了:1.一种算子流的并行运行方法,其特征在于,所述方法包括: 将目标算子流划分为多个执行阶段,每一执行阶段均包括至少一个算子,归属于同一执行阶段中的各算子对应同样的并行策略,所述并行策略包括常规并行策略、数据并行策略、张量并行策略和混合并行策略中的至少一种; 在所述目标算子流的运行过程中,针对任一所述执行阶段,在各人工智能芯片内部采用所述执行阶段对应的并行策略,执行所述执行阶段内各算子对应的运算,且在所述执行阶段运算完成后,基于下一执行阶段对应的并行策略,将每一所述人工智能芯片在所述执行阶段的运算结果中的部分或者全部直写入目标人工智能芯片对应的内存资源中,所述目标人工智能芯片包括每一人工智能芯片自身或者全部人工智能芯片; 在各执行阶段均完成计算后,基于各所述人工智能芯片的最终运算结果得到所述目标算子流的运算结果; 其中,所述常规并行策略包括每一所述人工智能芯片均对全量的数据矩阵和全量的权重矩阵,执行算子对应的运算; 所述混合并行策略包括:在数据矩阵为乘法运算的左矩阵的情况下,将数据矩阵以列作为拆分维度,拆分为多个数据子矩阵,将权重矩阵以行作为拆分维度,拆分为多个权重子矩阵;或者,在数据矩阵为乘法运算的右矩阵的情况下,将数据矩阵以行作为拆分维度,拆分为多个数据子矩阵,将权重以列作为拆分维度,拆分为多个权重子矩阵;每一人工智能芯片依据分配到的所述数据子矩阵与所述权重子矩阵,执行算子对应的运算; 所述执行阶段包括以下中的至少一项: 第一执行阶段,所述第一执行阶段包括至少一个第一算子,所述第一算子为操作的数据矩阵和权要矩阵均不满足并行要求的算子,所述第一执行阶段对应所述常规并行策略; 第二执行阶段,所述第二执行阶段包括至少一个第二算子,所述第二算子为操作的数据矩阵不满足并行要求,但操作的权重矩阵满足并行要求的算子,所述第二执行阶段对应所述张量并行策略; 第三执行阶段,所述第三执行阶段包括至少一个第三算子,所述第三算子为操作的数据矩阵满足并行要求,但操作的权重矩阵不满足并行要求的算子,所述第三执行阶段对应所述数据并行策略; 第四执行阶段,所述第四执行阶段包括至少一个第四算子,所述第四算子为操作的数据矩阵和权要矩阵均满足并行要求的算子,所述第四执行阶段对应所述混合并行策略。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海壁仞科技股份有限公司,其通讯地址为:201114 上海市闵行区陈行公路2388号16幢13层1302室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。