申请/专利权人：北京工业大学

申请日：2022-02-16

公开（公告）日：2024-04-02

公开（公告）号：CN114550162B

主分类号：G06V20/64

分类号：G06V20/64;G06V10/44;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.06.14#实质审查的生效;2022.05.27#公开

摘要：本发明公开了一种视图重要性网络与自注意力机制相结合的三维物体识别方法。该方法包括：将待识别三维物体从n个不同的视角进行投影获得n个不同的二维视图，其中，n大于等于二；通过基础CNN模型对n个视图进行特征提取，得到对应视图的特征图；通过视图重要性网络判断n个视图各自对三维物体识别的重要程度，并根据重要程度对特征进行不同程度的加强，获得视图增强特征图；将视图增强特征图使用自注意力机制进行处理，得到三维形状描述符；将三维形状描述符输入到全连接网络进行多视角物体识别，实现三维物体识别。本发明将有利于三维物体识别的重要视图进行突出，同时抑制非重要视图对三维物体识别的干扰，提高三维物体识别精准度。

主权项：1.一种视图重要性网络与自注意力机制相结合的三维物体识别方法，其特征在于：步骤1包括：将三维物体模型从n个视角进行投影，进而获取到该物体的n个渲染视图V＝{v1，v2，...，vn}，其中vi为该物体的第i个视图；步骤2包括：将渲染视图V＝{v1，v2，...，vn}经过基础CNN模型提取出n个视图各自的初始视觉特征图Z＝{z1，z2，...，zn}，其中zi为该物体的第i个视图，zi∈RC×H×W，Z∈Rn×C×H×W，其中n代表多视图的数量，C代表每个视觉特征图的通道数，H代表每个视觉特征图的高度，W代表每个视觉特征图的宽度；步骤3包括：将n个视图的初始视觉特征图Z＝{z1，z2，...，zn}输入到视图重要性网络，视图重要性网络将对每一个视图进行打分，如公式1，Score＝Softmax{fz1，fz2，...，fzn}，1公式1中，f代表为视图重要性打分的网络层；Softmax函数确保各视图的重要性总和为1，避免出现视图重要性分数差异悬殊；视图的初始特征图将与其重要性相乘，并与其初始特征图相加，如公式2，pi＝zi+Scorei*zi，2公式2中，zi为该物体的第i个视图的初始视觉特征图，Scorei表示视图重要性网络对第i个视图重要性的打分；每个视图的初始特征图与其重要性相乘，并与其初始特征图相加，得到三维物体n个视图增强特征图P＝{p1，p2，…，pn}，pi∈RC×H×W，P∈Rn×C×H×W；步骤4包括以下子步骤：步骤4-1，将视图增强特征图P＝{p1，p2，...，pn}分别输入到三个卷积网络，生成新的特征映射Pq，Pk和Pv，Pq，Pk，Pv∈Rn×C×H×W；将Pk进行转置操作，并与Pq进行矩阵相乘，获得特征图在空间上的关联关系，如公式3， 公式3中，S代表相似度，i和m为视角的索引，其中i，m∈[1，n]，n为视角数，由于H与W数值相等，因此L2表示单个视角特征图中所有的空间位置；步骤4-2，将Sim与Pv进行矩阵相乘，得到跨视角增强特征图A＝{a1，a2，...，aN}，ai∈RC×H×W，A∈Rn×C×H×W；通过自注意力机制，打破了特征的局部性，实现了跨视角的非局部特征增强；步骤5包括：将跨视角增强特征图A＝{a1，a2，...，aN}通过1*1卷积进行降维，其中1*1卷积通过跨视角的方式对特征进行了提取，降维后的特征将输入到全连接层进行分类，实现三维物体的识别。

全文数据：

权利要求：

百度查询： 北京工业大学 一种视图重要性网络与自注意力机制相结合的三维物体识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD