买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜山东浪潮科学研究院有限公司申请的专利一种视觉Transformer加速器实现方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119692408B 。

龙图腾网通过国家知识产权局官网在2025-05-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510199558.5，技术领域涉及：G06N3/063；该发明授权一种视觉Transformer加速器实现方法和系统是由李乐乐;王帅;赵鑫鑫;姜凯设计研发完成，并于2025-02-24向国家知识产权局提交的专利申请。

本一种视觉Transformer加速器实现方法和系统在说明书摘要公布了：本发明公开了一种视觉Transformer加速器实现方法和系统，属于计算机视觉技术领域，基于环形可重构架构实现视觉Transformer加速器，所述环形可重构架构，通过AXI总线将多个Transformer加速核、存储单元以及共享内存组成环形拓扑；采用流水线架构构建Transformer计算单元，其中包括多头注意力单元和多层感知机单元；多头注意力单元与多层感知机单元复用矩阵乘法子单元和层归一化单元实现数据的归一化和乘加运算。本发明不仅可以极大提升视觉Transformer模型的执行速度，还可以为开发者提供更多创新的空间，推动计算机视觉技术向更广泛的应用领域发展。

本发明授权一种视觉Transformer加速器实现方法和系统在权利要求书中公布了：1.一种视觉Transformer加速器实现方法，其特征在于，基于环形可重构架构实现视觉Transformer加速器，所述环形可重构架构，通过AXI总线将多个Transformer加速核、存储单元以及共享内存组成环形拓扑，实现Transformer加速核的统一管理及灵活的执行路径配置；采用流水线架构构建Transformer计算单元，其中包括多头注意力单元和多层感知机单元；多头注意力单元与多层感知机单元复用矩阵乘法子单元和层归一化单元实现数据的归一化和乘加运算，多头注意力单元的Softmax子单元和多层感知机单元的GeLU子单元分别实现标准化、激活计算；所述Transformer计算单元具体包含多头注意力单元、多层感知机单元以及缓冲；多头注意力单元包括层归一化子单元、键值生成子单元、MatMul子单元、Softmax子单元、转置子单元以及缓冲；多层感知机单元包括层归一化子单元、MatMul子单元、Dropout子单元、GeLU激活子单元以及缓冲，其中层归一化子单元和MatMul子单元作为复用单元；当图像经过预处理转换成向量序列XI输入到Transformer计算单元中的多头注意力单元，其内的层归一化子单元对输入的向量序列沿着XI的通道维度进行归一化处理和参数调整，使得每一个激活值分布更加均匀；归一化后的序列数据XL存入缓冲中；键值生成子单元从缓冲中取出序列数据XL，分别与可被训练的矩阵向量QW、KW、VW做矩阵乘法运算，得到Q、K、V三个特征矩阵，分别缓存到对应的缓存中；然后Q矩阵与K矩阵通过MatMul子单元完成矩阵乘法运算，再将结果转发给Softmax子单元进行标准化运算，得到R矩阵；同时V矩阵输入转置子单元实现转置运算得到结果VT矩阵；R矩阵与VT矩阵再经由MatMul子单元实现矩阵乘法运算，注意力计算，最终将m个注意力计算结果连接起来组成矩阵A；矩阵A与权重矩阵WO再进行矩阵乘法运算得到多头矩阵Z，当存在残差路径时，输入向量序列XI与多头矩阵Z相加实现残差连接操作，最终输出的向量序列XO包含了所有注意力的信息，该矩阵输入多层感知机单元；多层感知机单元包含层归一化子单元、GeLU激活子单元以及多个Dropout子单元，当向量序列XO输入到多层感知机单元，层归一化子单元沿着XO的通道维度进行归一化处理和参数调整，结果存入缓冲中；再经由Dropout子单元进行正则化操作，以防止过度拟合；然后再经过GeLU激活子单元执行非线性激活操作，使其输入接近零时逼近线性函数；输出时再次经过一个Dropout子单元，以提高模型的整体表达能力。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东浪潮科学研究院有限公司，其通讯地址为：250000 山东省济南市高新区浪潮路1036号S02号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。