申请/专利权人：之江实验室

申请日：2023-06-09

公开（公告）日：2023-11-03

公开（公告）号：CN116401502B

主分类号：G06F17/15

分类号：G06F17/15;G06F15/177

优先权：

专利状态码：有效-授权

法律状态：2023.11.03#授权;2023.07.25#实质审查的生效;2023.07.07#公开

摘要：本发明公开了一种基于NUMA系统特性优化Winograd卷积的方法及装置，该方法首先根据输入参数构建内存数据布局；采用缓存分块搜索方法确定数据分块大小；利用CPU的多核心执行Winograd卷积计算：将数据分块读取到CPU高速缓存，依次执行输入转换、矩阵乘法和输出转换，再将数据分块写回内存。进一步优化Winograd卷积的内存访问从而提升其在NUMA系统上的性能表现。

主权项：1.一种基于NUMA系统特性优化Winograd卷积的方法，其特征在于，包括如下步骤：（1）输入参数：输入卷积层的参数和CPU硬件参数，根据两者的参数进行配置Winograd卷积的实现，得到完成配置参数的Winograd卷积；（2）构建内存数据布局：当步骤（1）完成配置参数的Winograd卷积后，进行构建内部缓冲的内存数据布局，所述内存数据布局的设置包括原始数据和内部缓冲的内存数据布局，其中原始数据对向量化维度分块，将分块安排在原始数据内存数据布局的最内层；内部缓冲内存数据布局由内部到外部依次为CPU核心层的向量分块和寄存器分块，将CPU一级数据缓存层的一级缓存分块、CPU二级缓存层的二级缓存分块和内部缓冲数据划分成二级缓存分块的分块数；所述步骤（2）具体为，原始数据包括输入数据MB*K*IH*IW，卷积核数据M*K*KH*KW，输出数据MB*M*OH*OW，从各数据的共有维度中挑选向量化维度以及对向量化后的各数据进行布局，确保向量化维度在内存地址上连续；对于内部缓冲，根据存储层次结构将各维度输出通道M、输入通道K、Winograd卷积块数N和Winograd卷积块大小alpha*alpha分别划分成多种分块，这些分块构成内部缓冲对应存储层次结构的数据分块，所述存储层次结构与内部缓冲的数据布局一一对应，其中每一层都是下层的子集，每一层是内部缓冲在对应存储层次中的数据分块；所述数据分块为内部缓冲，其包括转换后输入和未转换输出，即输出转换之后和输出转换之前；（3）确定数据分块大小：步骤（2）完成数据布局的构建，其中内部缓冲的数据布局决定Winograd卷积计算的各层数据分块，进而进行数据分块大小的确定；（4）执行Winograd卷积计算：根据步骤（2）确定的内存数据布局和步骤（3）确定的数据分块大小，执行步骤（1）所配置参数的Winograd卷积的计算。

全文数据：

权利要求：

百度查询： 之江实验室 一种基于NUMA系统特性优化Winograd卷积的方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD