申请/专利权人：中国航空工业集团公司西安航空计算技术研究所

申请日：2023-12-27

公开（公告）日：2024-03-29

公开（公告）号：CN117787338A

主分类号：G06N3/042

分类号：G06N3/042;G06N3/063;G06N5/04

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.16#实质审查的生效;2024.03.29#公开

摘要：本发明涉及嵌入式智能计算领域，公开了一种面向推理场景的计算图自动切分系统及其实现方法，根据NPU硬件支持列表及算子融合固定模式，采用基于层级注意力机制layer‑attention和交叉注意力机制cross‑attention的自动拆分模型，将一个整体的计算图自动拆分成若干个子图，并输出若干个不同的切分方案；基于每个切分方案对应的所有子图向量和拓扑结构的时间排布规则，预测每种不同的切分方案的推理延迟，能够形式化地描述切分方案及对应的预测推理延迟，通过选择推理延迟最大且满足典型模型融合规则的切分方案，实现计算图自动切分，也使得推理延迟和数据访存开销这两个指标得以平衡。

主权项：1.一种面向推理场景的计算图自动切分实现方法，其特征在于，包括：将待推理文件进行格式化处理，根据有向无环图的规则对格式化处理后的待推理文件进行结构化处理，获得待推理文件的计算图拓扑结构；根据图注意力神经网络模型获取计算图拓扑结构的节点初始向量以及计算图初始向量；根据NPU硬件支持列表及算子融合固定模式，采用基于层级注意力机制和交叉注意力机制的自动拆分模型将节点初始向量和计算图初始向量拆分成若干个不同的切分方案，且每个切分方案包含若干个子图；基于每个切分方案对应的所有子图向量和拓扑结构的时间排布规则，预测每种不同的切分方案的推理延迟；选择推理延迟最大且满足典型模型融合规则的切分方案，所述典型模型融合规则包括卷积归一化算子融合规则和卷积激活融合规则。

全文数据：

权利要求：

百度查询： 中国航空工业集团公司西安航空计算技术研究所 一种面向推理场景的计算图自动切分系统及其实现方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD