申请/专利权人：上海新前端奕天科技有限公司

申请日：2024-02-02

公开（公告）日：2024-04-30

公开（公告）号：CN117953298A

主分类号：G06V10/764

分类号：G06V10/764;G06V10/40;G06V10/77;G06V10/56;G06V10/54;G06V10/50;G06V10/44;G06V10/94;G06N3/0464;G06N3/044;G06N3/045;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.17#实质审查的生效;2024.04.30#公开

摘要：本发明公开了一种低硬件底层设备环境下推理大模型图片分类的方法，其技术方案要点是：包括以下具体步骤：步骤一、图片特征提取，使用多模态大模型的视觉VIT大模型对交通领域的图像自然特征和图像人为特征提取的特征，并对图像包含的信息进行处理和分析，并将其中不易受随机因素干扰的信息，作为图像的特征提取出来，并进行整理，提取出图片的高维特征参数，通过主干神经网络具有1*577*1024的高维编码能力，一共有577个通道，每一个通道都有1024个隐藏层特征，这些所有权重和参数都是VIT大模型预训练得到的，可大大提升高分类精度和鲁棒性，使得低硬件底层设备，可兼容更多的硬件使用场景，方便对大模型图片分类。

主权项：1.一种低硬件底层设备环境下推理大模型图片分类的方法，其特征在于：包括以下具体步骤：步骤一、图片特征提取，使用多模态大模型的视觉VIT大模型对交通领域的图像自然特征和图像人为特征提取的特征，并对图像包含的信息进行处理和分析，并将其中不易受随机因素干扰的信息，作为图像的特征提取出来，并进行整理，提取出图片的高维特征参数，通过主干神经网络具有1*577*1024的高维编码能力，一共有577个通道，每一个通道都有1024个隐藏层特征，所述特征的权重和参数由VIT大模型预训练得到并包含输入图片的各种空间信息和语义信息；步骤二、图片特征的切分，将图片的高维特征参数的维度切分成N块，bs*（ps）*hs，每一个切块的部分取ps维度上的第一列作为cls—token，其余列求均值，得到两个低维特征，低维特征维度为bs*1*hs，将第一个目录通道单独拿出来为1*1*1024，还剩下1*576*1024，在576的通道上在连续平均划分为4个区域；其中bs为：执行一次推理时，一次处理的数据数量；ps为：块的维度，有多少个块；hs为：隐藏层的维度，有多少层隐藏层；步骤三、特征参数权重的降低，在四个区域再求均值，得到4*1*1*1024，其中cls—token和所有的4个patch在第三个维度上相加后为降维融合后的一维特征，用线性层模仿q-former的多头注意力机制，构建多个新的分类知识权重矩阵，每个知识权重矩阵获取不同区域范围的隐藏层特征信息，最后再结合所有的权重矩阵所存储的知识权重，经过池化降维、正则化；其中q-former为：基于transformer框架的查询结构；Patch为：块；cls—token为：每个块的开始序列的特殊标记；步骤四、特征参数的线性分类，池化降维的图片进行连接特征参数的线性分类层，在交通领域的特定分类需求任务上，提升高分类精度和鲁棒性。

全文数据：

权利要求：

百度查询： 上海新前端奕天科技有限公司 一种低硬件底层设备环境下推理大模型图片分类的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD