申请/专利权人：北京君正集成电路股份有限公司

申请日：2022-03-28

公开（公告）日：2023-10-10

公开（公告）号：CN116861144A

主分类号：G06F17/15

分类号：G06F17/15;G06F9/38;G06F9/30

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.10.27#实质审查的生效;2023.10.10#公开

摘要：本发明提供了一种WRAM能放下权重的卷积的实现方法，所述方法包括：S1，数据的存储：设置特征图的存储方式；设置权重的存储方式；S2，使用SIMD指令将所有数据从DDR加载到WRAM，每次加载32个数据；使用ORAM搬数据指令将DDR中的数据搬到ORAM中；S3，卷积计算的实现。本申请通过设计FRAM宽度的设置方法、ORAM到FRAM的搬数方法以及对应的新的卷积计算方法，实现小输入特征图，小权重的计算，实现加速，提高效率。

主权项：1.一种WRAM能放下权重的卷积的实现方法，其特征在于，所述方法包括以下步骤：S1，数据的存储：设置特征图的存储方式：特征图数据存储顺序，32，W，H，N；其中32为深度的一部分，W为宽，H为高，N为深度上有多少个32的个数，即32*N为特征图的深度；数据在32上连续，再在宽度上连续，接着在高度上连续，最后在深度32的个数上连续；设置权重的存储方式：采用32*32上连续，接着在卷积核的宽度上连续，再在卷积核的高度上连续，接着在卷积核的输入深度32的个数上连续，最后在输出深度32的个数上连续；在处理之前需要将通常的输入深度连续，再存储卷积核宽高，最后卷积核输出深度存储成需要的顺序；S2，使用SIMD指令将所有数据从DDR加载到WRAM，每次加载32个数据：S2.1，使用SIMD指令将所有数据从DDR加载到WRAM，每次加载32个数据：设权重数据初始地址为widthdata；使用SIMD加载数据指令加载到VR0，VR1中；使用WRAM加载数据指令，加载数据到WRAM；由于权重存储顺序已经是按照要求存储，并且数据大小能够完全放到wram中，所以能够按照默认顺序直接存储，直到所有数据全部存放完毕；当wram无法存放下时，无法使用该方法；S2.2，使用ORAM搬数据指令将DDR中的数据搬到ORAM中：设特征图初始地址为ddr_id，特征图字节数为count，oram的初始地址为oram_id；ingenic_ddr2oramddr_id，oram_id，count，1；由于特征图存储顺序已经是按照要求存储，并且数据大小能够完全放到ORAM中，所以能够按照默认顺序直接存储，直到所有数据全部存放完毕；当ORAM无法存放下或fram_w无法放下最小计算的pixel时，无法使用该方法；S3，卷积计算的实现：S3.1，计算卷积，需要将数据从ORAM搬到FRAM，然后才能供卷积计算使用；权重已经全部加载到了WRAM中，所以不需要考虑权重的搬数情况；而FRAM无法容纳所有的特征图，需要使用多少输入数据从ORAM中搬多少数据到FRAM中；S3.2，卷积计算，首先需要从ORAM加载数据到FRAM中；然后才能使用FRAM和WRAM进行卷积计算；需要给定ORAM的初始地址，初始为0，WRAM的初始地址，初始也为0；设输入特征图深度为32*in_ic32，in_ic32为输入深度的倍数，输入宽度为in_width，输入高度in_height；输出特征图深度为32*out_ic32，out_ic32为输出深度的倍数，输出宽度为out_width，输入高度out_height；卷积核宽为kernel_w，高为kernel_h；卷积核宽度方向步长为stride_w，卷积核高度度方向为stride_h；输出特征图宽度与输入特征图宽度的关系in_width＝out_width*stride_w，输出特征图高度与输入特征图高度的关系in_height＝out_height*stride_h；如果不等，需要根据具体的卷积要求对输入特征图补0，补齐到相等的宽高位置；生成结果保存到vrd中；为了减少ORAM加载到FRAM的次数，通过同时生成同一深度方向的所有结果来实现；所以在设计循环次序时，最外层循环为输出特征图的高度，其次是输出特征图的宽度，然后是输出特征图的深度32，最后是卷积的计算单元；设每次生成的行数为fram_h，其中fram_h＝fram_countfram_w；加载的行数越多，在高度方向上重复加载的次数越低。

全文数据：

权利要求：

百度查询： 北京君正集成电路股份有限公司 一种WRAM能放下权重的卷积的实现方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD