申请/专利权人：之江实验室;浙江大学

申请日：2020-12-31

公开（公告）日：2021-04-27

公开（公告）号：CN112306697B

主分类号：G06F9/50(20060101)

分类号：G06F9/50(20060101);G06N3/04(20060101);G06N3/08(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.04.27#授权;2021.02.23#实质审查的生效;2021.02.02#公开

摘要：本发明提供了一种基于Tensor访问的深度学习内存管理方法，该方法通过收集神经网络的执行信息和硬件平台的性能信息获得相关决策下的内存空间开销和时间开销，并建立整数线性规划模型，通过在约束条件下优化求解最优的Tensor调度策略，从而解决内存不足问题的同时获得较高的深度学习训练性能。相比于现有技术，相同的硬件性能下，本发明可以实现更大的batchsize的神经网络训练。本发明同时还提出了一种内存管理系统，包括profile模块、决策模块和执行模块；该系统可直接添加在深度学习框架上，使用方便。

主权项：1.一种基于Tensor访问的深度学习内存管理方法，其特征在于，包含以下几个步骤:步骤1：针对神经网络，收集执行流程中一次迭代过程的Tensor访问序列、Tensor的大小信息描绘相关决策产生的内存空间开销；同时收集数据交换和重新计算时使用的硬件平台性能信息，包括GPU和CPU之间转移的带宽、GPU上Tensor的重新计算时间，并描绘相关决策产生的时间开销；所述相关决策是对Tensor访问序列的执行决策，包括：无、转移、释放和重新计算；步骤2：使用步骤1获得的内存空间开销和时间开销信息建立整数线性规划模型，并求解决策序列；其中，建立整数线性规划模型： 其中，Ai,t表示Tensor在t阶段的决策变量，A的取值为{0,1,2,3,4},分别表示“无”、“从GPU转移到CPU”，“从CPU转移到GPU”，“释放”和“重新计算生成”五种决策；利用整数线性规划解决工具来求解上述整数线性规划模型，其中，求解时需要满足的约束条件为：a.在每个训练阶段t，GPU中Tensor的占有量小于GPU总内存容量限制；b.如果在t阶段要访问Tensori，那么在t阶段Tensori必须在GPU中，即要求St,i=1；St,i表示Tensori在t阶段的状态，S的取值为{0,1,2},分别表示“不存在”、“在GPU中”，“在CPU中”；c.如果在t阶段Tensori需要重新计算生成时，那么它的前序Tensor集合J也必须在GPU中，即对于任意j∈J，满足St,j=1；步骤3：将步骤2得到的决策序列应用于神经网络之后的每次迭代训练过程中。

全文数据：

权利要求：

百度查询： 之江实验室;浙江大学 基于Tensor访问的深度学习内存管理方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD