申请/专利权人:三星电子株式会社
申请日:2022-09-22
公开(公告)日:2023-05-23
公开(公告)号:CN116151371A
主分类号:G06N5/04
分类号:G06N5/04;G06N3/063;G06N3/0464;G06F9/50
优先权:["20211118 US 63/281,068","20220114 US 17/576,914"]
专利状态码:在审-公开
法律状态:2023.05.23#公开
摘要:公开用于估计神经处理器的延迟的系统和方法。主机处理装置将辅助层添加到神经网络的选择的层。神经处理器在选择的层和辅助层上执行推断操作。针对选择的层和辅助层的推断操作测量总延迟,并且针对推断操作测量开销延迟。从总延迟减去开销延迟以生成对层的延迟的估计。在一个实施例中,测量与辅助层相关联的推断操作的开销延迟涉及基于输入到选择的层的输入数据大小和从辅助层输出的输出数据大小的线性回归来对开销延迟进行建模。
主权项:1.一种用于估计神经处理器的延迟的方法,所述方法包括:由主机处理装置将辅助层添加到要在神经处理器中执行的神经网络的选择的层;由神经处理器在选择的层和辅助层上执行推断操作;由主机处理装置测量选择的层和辅助层的推断操作的总延迟;由主机处理装置测量推断操作的开销延迟;和由主机处理装置从总延迟减去开销延迟,以生成对选择的层的延迟的估计。
全文数据:
权利要求:
百度查询: 三星电子株式会社 用于估计神经处理器的延迟的系统和方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。