深圳市九天睿芯科技有限公司刘洪杰获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉深圳市九天睿芯科技有限公司申请的专利基于存算一体的大语言模型推理装置、推理系统及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119337953B 。
龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411873249.3，技术领域涉及：G06N3/063；该发明授权基于存算一体的大语言模型推理装置、推理系统及电子设备是由刘洪杰;杨晓风;姜舟;陈乔乔设计研发完成，并于2024-12-18向国家知识产权局提交的专利申请。
本基于存算一体的大语言模型推理装置、推理系统及电子设备在说明书摘要公布了：本发明公开一种基于存算一体的大语言模型推理装置、推理系统及电子设备，推理装置包括：至少用于存储的存储层；至少用于计算的计算层，计算层通过混合键合的方式与存储层堆叠设置；计算层包括基于存算一体的神经网络加速器，神经网络加速器包括存内计算矩阵，存内计算矩阵用于将输入特征数据和来自存储层的权重进行神经网络计算；计算层还用于与控制推理装置的主控芯片电连接，计算层还用于进行大语言模型推理的预填充处理且将预填充处理后的数据传输至主控芯片进行大语言模型推理的解码处理，以使得预填充处理和解码处理分离。本发明提供的推理装置支持高带宽，其算力大，功耗低，还能解决现存的LLM推理装置的散热问题。
本发明授权基于存算一体的大语言模型推理装置、推理系统及电子设备在权利要求书中公布了：1.一种基于存算一体的端侧的大语言模型推理装置，其特征在于，包括： 端侧的至少用于存储的存储层； 端侧的至少用于计算的计算层； 所述端侧的计算层包括基于SRAM的存算一体的神经网络加速器NPU，所述神经网络加速器NPU包括存内计算矩阵，所述存内计算矩阵用于将输入特征数据和来自端侧的所述存储层的权重进行神经网络计算，包含有基于SRAM的存算一体的神经网络加速器的计算层与所述存储层通过混合键合的方式堆叠，所述计算层与所述存储层电连接，以进行数据交互； 所述端侧的计算层还用于与控制所述推理装置的主控芯片电连接，所述计算层还用于进行端侧的需要大算力的大语言模型推理的预填充处理且将所述预填充处理后的数据传输至所述主控芯片进行端侧的大语言模型推理的解码处理，以使得端侧的所述预填充处理和端侧的所述解码处理分离。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳市九天睿芯科技有限公司，其通讯地址为：518049 广东省深圳市福田区梅林街道梅都社区中康路136号深圳新一代产业园3栋1501；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号