恭喜无锡江南计算技术研究所肖谦获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜无锡江南计算技术研究所申请的专利面向异构众核处理器的AI框架两级并行加速方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114661460B 。
龙图腾网通过国家知识产权局官网在2025-05-20发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210136541.1,技术领域涉及:G06F9/50;该发明授权面向异构众核处理器的AI框架两级并行加速方法是由肖谦;王飞;沈莉;赵美佳;周文浩;武文浩设计研发完成,并于2022-02-15向国家知识产权局提交的专利申请。
本面向异构众核处理器的AI框架两级并行加速方法在说明书摘要公布了:本发明公开一种面向异构众核处理器的AI框架两级并行加速方法,包括以下步骤:AI框架调用模型优化模块优化深度学习模型或者预训练好的模型,将其组织成更具可并行性的树形计算图;AI框架将优化后的树形计算图转换成由计算任务组成的线程池;线程管理模块根据相关性将线程池组织成不同的线程队列;线程管理模块监测各个核组的状态,如果发现某个核组处于空闲状态,则将某队列的计算任务调度到该核组上执行;当整个运行任务完成后,线程管理模块和核组管理模块均中止运行,等到下一次运行任务开始后。本发明可以充分利用异构众核的多级存储资源和计算能力,实现自动化的AI框架两级并行加速,显著提升AI框架在异构众核上的好用性和高性能。
本发明授权面向异构众核处理器的AI框架两级并行加速方法在权利要求书中公布了:1.一种面向异构众核处理器的AI框架两级并行加速方法,其特征在于,基于以下功能模块:模型优化模块:用于对模型做适当的分裂,将一些串行的计算图转换为树状计算图;线程管理模块:用于管理AI框架的线程池,并将各个线程调度到空闲的核组上去;核组管理模块:用于将计算任务并行分配到各个从核上执行,并在检测到所有从核都完成计算之后,向线程管理模块报告计算任务完成,且将自身置于空闲状态;所述加速方法包括以下步骤:步骤1、AI框架调用模型优化模块优化深度学习模型或者预训练好的模型,将其组织成更具可并行性的树形计算图;步骤2、AI框架将步骤1中优化后的树形计算图转换成由计算任务组成的线程池;步骤3、线程管理模块根据相关性将步骤2中获得的线程池组织成不同的线程队列,不同队列间的计算任务不具相关性,可以并行执行,同一队列内部的计算任务则必须按任务执行;步骤4、线程管理模块监测各个核组的状态,如果发现某个核组处于空闲状态,则将某队列的计算任务调度到该核组上执行,并且保障同时运行于各个核组上的计算任务分属于不同的计算队列;当某个核组完成计算任务并处于空闲状态时,线程管理模块继续分配计算任务到该核组,直到所有队列的计算任务都全部完成;当某个核组接收到计算任务时,核组管理模块将计算任务并行分配到各个从核上执行,并监测各从核的运行状态,等到所有从核都完成计算任务并处于空闲状态后,核组管理模块向线程管理模块报告任务完成,并等待下一个计算任务的分配;步骤5、当整个运行任务完成后,线程管理模块和核组管理模块均中止运行,等到下一次运行任务开始后,线程管理模块和核组管理模块均进入监测状态,等候线程任务和核组计算任务的分配。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人无锡江南计算技术研究所,其通讯地址为:214038 江苏省无锡市滨湖区山水东路699号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。