申请/专利权人：北京工业大学

申请日：2020-11-17

公开（公告）日：2024-04-09

公开（公告）号：CN112365581B

主分类号：G06T17/00

分类号：G06T17/00

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2021.03.05#实质审查的生效;2021.02.12#公开

摘要：一种基于RGB数据的单视角和多视角三维重建方法及装置，能够充分利用输入图像的个性特征和其属于特定类别的共性特征，以及物体自身的几何信息来增强三维重建效果，能够获得高精度的三维重建结果。方法包括：1融合输入视角的个性化特征和其所属类别的共性化特征，重建得到初始化的三维体素；2在初始化的三维体素基础上，利用体素在特定视角下的先验对称性和本身具有的内部上下文依赖关系指导体素注意力图结构的构建，基于体素注意力图结构，利用多尺度图卷积对初始体素进行细化处理。

主权项：1.一种基于RGB数据的单视角和多视角三维重建装置，其特征在于：其包括：三维体素重建模块，其融合输入视角的个性化特征和其所属类别的共性化特征，重建得到初始化的三维体素；体素精细化模块，其在初始化的三维体素基础上，利用体素在特定视角下的先验对称性和本身具有的内部上下文依赖关系指导体素注意力图结构的构建，基于体素注意力图结构，利用多尺度图卷积对初始体素进行细化处理；所述三维体素重建模块包括两个编码-解码网络，一个融合模块；其中第一编码-解码网络中的编码器ECom从图像中学习潜在特征，并对其进行分类处理以获得属于特定类别的共性特征，送入第一编码-解码网络中的解码器DCom重建出共性粗糙三维体素；第二编码-解码网络中的编码器EInd-解码器DInd提取输入图像的个性化潜在特征并解码生成个性初始三维体素；融合模块利用基于个性-共性的上下文感知融合模块得到融合的初始三维体素；所述第一编码-解码网络中，对于n个视角的输入图像经过ECom得到潜在变量分类该潜在变量到它所属的类别cj中，其分类损失为公式1： 其中pk表示真实的类别，qk表示预测的类别；然后将潜在特征送入解码器DCom得到重建的所述第二编码-解码网络中，将输入图像经过EInd得到潜在特征zi表示第i个视角的个性潜在特征，后将其送入解码器DInd得到重建的个性初始三维体素所述融合模块中，分别通过共性和个性的上下文打分网络对和对打分，得到和然后将体素和相应的分数相乘再进行融合得到融合后的三维体素为了评估重建的体素，在重建的三维体素与真实的三维体素之间采用基于体素的二值交叉熵的平均值进行度量，定义为公式2： 其中N表示三维物体中体素的数量，pi和gti代表预测体素的占用率和相应的真实体素的占用率；所述体素精细化模块中，使用图卷积公式： 其中σ表示激活函数，Xl和Xl+1分别表示图中节点在l层前后的特征矩阵，表示可学习的权重矩阵，表示图中对称的归一化邻接矩阵, 其中表示对角节点度矩阵，定义每个节点使用其他节点特征的程度，A∈[0,1]K×K表示图的邻接矩阵，当两边之间有连接关系将其置为1，否则置为0；对于公开数据集ShapeNet，其中的大多数模型是呈对称性的，其x-y平面是对称面，其他两个x-z，y-z坐标平面都是非对称平面；对于每一个尺度dr3下的三维体素进行基于GCN的多通道融合具体操作为：首先将其定义为V；然后定义和为切片方向,分别表示沿着y-z、x-z、x-y坐标平面对三维体素切片，得到和三个集合，其中每个集合表示一个dr×dr的二维切片序列，序列长度为dr；每个二维切片被转换为大小为Dl的特征向量，并把此特征向量作为图结构中每个节点的特征，那么图结构中节点的特征矩阵为Dl×dr；接下来随机打乱视图的顺序，将沿同一坐标平面的视图与随机另外一个视图进行组合，那么对于n个视角，则有n对组合且图结构大小固定为2dr×2dr；最终图的节点特征矩阵为邻接矩阵表示为AK×K，其中Dl＝dr×dr,K＝2dr；在单视角图结构中，每个切片只与前后切片以及对称切片之间建立连接关系；在多视角图结构中，每个切片还额外与其他视角位置相同的切片建立连接关系；另外两个分支将三维体素沿着非对称平面即x-z、y-z平面进行切片构建图结构，不同之处在于不建立对称性连接；随后使用GCN对所构造的图进行细化；最后将同一视图对应的三个分支的特征进行融合并送到图池化层，得到另一个尺度的体素。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于RGB数据的单视角和多视角三维重建方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD