申请/专利权人：哈尔滨工业大学

申请日：2021-08-05

公开（公告）日：2024-04-05

公开（公告）号：CN113592077B

主分类号：G06N3/0464

分类号：G06N3/0464;G06N3/08;G06N5/04;G06F9/50

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2021.11.19#实质审查的生效;2021.11.02#公开

摘要：一种面向边缘智能的云边端DNN协同推理加速方法，属于DNN推理加速技术领域，用以解决现有的DNN推理任务的响应时间没有得到最大限度的减少的问题。本发明的技术要点包括：针对DAG形式的DNN模型，在原有的两层模型划分基础上，充分考虑云、边、端三层设备，设计了三层两阶段模型划分方法，提高了云边端计算资源的利用率和边缘服务器在极端情况下协同模型的可用性；在将DNN模型划分问题转化为最大流最小割问题的算法基础上，通过图压缩方法对DAG进行预处理，降低了模型划分算法的时间复杂度；进一步增加对于局部并行单元的处理方法，解决了算法在面对复杂DNN模型时的功能缺陷。本发明适用于边缘智能中对DNN模型进行实时动态调整。

主权项：1.一种面向边缘智能的云边端DNN协同推理加速方法，其特征在于，在由边缘设备、边缘服务器、中心云组成的云边端三层架构中，数据推理由边缘设备或边缘服务器或中心云执行计算，针对推理总延迟最小化，通过下述步骤实现推理加速：步骤一、基于DNN模型构建其对应的DAG图，利用最大流最小割算法对DNN模型进行边缘服务器-中心云之间的第一次划分，获取云-边分区节点集合；具体步骤包括：步骤一一、构建的DAG图为：G＝V,E；其中，V＝{v1,v2,…vn}表示DNN的n层；v1,vn分别表示输入层和输出层；边vi,vj∈E表示vi,vj两层存在前后顺序依赖关系；定义V'e为包含输入层v1、在边缘服务器处理的节点集合，Vc为包含输出层vn、在中心云处理的节点集合，Ve-c为在边缘服务器处理的云-边分区节点集合；则Ve＝V'e∪Ve-c为所有在边缘服务器处理的DNN层边缘节点集合；定义目标函数为：求解云-边分区节点集合Ve-c，使得云-边总延迟T＝Te+Tt+Tc最小；其中，Te表示边缘计算延迟，Tc表示中心云计算延迟，Tt表示云-边分区节点集合中所有节点输出数据从边缘服务器传输到中心云的传输延迟；步骤一二、在DNN模型的DAG图基础上，扩展网络流图，利用最大流最小割算法对网络流图求解，使得分割容量最小的解即为目标函数的解，从而获得使得目标函数最小化的云-边分区节点集合；步骤二、对在边缘服务器执行推理的DNN层边缘节点集合进行边缘设备-边缘服务器之间的第二次划分，获取边-端分区节点集合；具体步骤包括：步骤二一、对于在边缘服务器执行推理的DNN层边缘节点集合，定义目标函数为：求解边-端分区节点集合，使得边-端总延迟时间最小；其中，边-端总延迟时间包括设备计算延迟、边缘计算延迟和边-端分区节点集合中所有节点输出数据从边缘设备传输到边缘服务器的传输延迟；步骤二二、将所有在边缘服务器处理的DNN层即边缘节点集合Ve按照DAG结构拓扑排序；定义出度大于1的节点为广播节点，入度大于1的节点为聚合节点，广播节点与聚合节点之间的节点为分支节点Vx，则非分支节点集合为V'e＝Ve-Vx；步骤二三、当边缘节点集合中节点总数小于预设边缘节点总数值，且分支节点总数小于等于预设分支节点总数值时，通过穷举法在非分支节点集合V'e中寻找最佳划分点；步骤二四、当边缘节点集合中节点总数大于等于预设边缘节点总数值，或者分支节点总数超过预设分支节点总数值时，利用最大流最小割算法对边缘节点集合Ve进行划分。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 一种面向边缘智能的云边端DNN协同推理加速方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD