申请/专利权人：华东师范大学

申请日：2024-01-29

公开（公告）日：2024-04-30

公开（公告）号：CN117953155A

主分类号：G06T17/00

分类号：G06T17/00;G06T7/593;G06T7/10;G06T7/80;G06N3/0455;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.17#实质审查的生效;2024.04.30#公开

摘要：本发明公开了一种基于图像序列的小物体三维建模方法，包括：a获取物体图像序列；b预处理获取相机的位姿、内参数和稀疏点云；c利用基于视觉transformer交互分割及视频目标分割技术获取精确的视频分割图像序列；d利用基于深度的几何一致性、光度一致性的深度估计算法和基于传统外壳一致算法结合重建物体表面；e最后使用综合分析法在重建网格模型基础上精细了网格，获得最终的三维模型。本发明通过准确的相机位姿估计和稀疏点云重建、高质量的稠密点云重建、光滑且一致的三维表面重建及改善的网格质量和细节保留能力，提高了重建质量。

主权项：1.一种基于图像序列的小物体三维建模方法，其特征在于，所述方法包括以下具体步骤：步骤1：获取图像及预处理使用取像设备分别以平视和俯视向下45°两个角度绕小物体一周，获取两个视频段，利用预处理获取相机的位姿、内参数和稀疏点云；所述小物体，其尺寸至多1*1*1m3；步骤2：重建物体图像序列分割1对于获取的两段视频帧序列，使用基于视觉transformer的图像分割大模型交互式分割出第一帧图像中的前景，得到目标的分割结果；2视频帧从第二帧开始利用第一帧中的分割结果按顺序进行处理；在视频处理过程中，将历史帧及对应目标分割结果作为存储帧，将当前待处理的帧作为查询帧；3通过深度编码器，将存储帧和查询帧都编码为键K和键Q映射对；查询编码器只接受图像作为输入，而存储编码器则同时接受图像和对象掩码；每个编码器都会输出键K和值映射V，键用于匹配；计算查询帧和存储帧的键特征之间的相似性，计算方式如下：F＝softmaxQKTVk+Vq其中Q为查询帧的键，K为存储帧的键，Vq为查询帧的值，Vk为存储帧的值；4为了能够使得匹配的结果有实例的先验，在网络模型结构上增加一个实例分割的分支，并将实例分割分支产生的特征Finstance注入到最终的解码流程中；5键和值进一步通过时空存储器读取块进行处理；查询帧和存储帧的键特征图上的每个像素相当于在视频的时空空间中进行密集匹配；解码器获取读取块的输出，获取目标对象分割；6使用训练好的深度引导滤波模型对输入图像和目标分割图进行精修，得到最终的目标对象分割图像；7重复步骤1-6获取两段完整的视频目标分割图；步骤3：物体表面重建利用内、外参及原图基于深度的几何一致性和光度一致性的深度估计算法，获取稠密点云p,和其点云向量场χMp是指示函数： 其中M为待重建物体；指示函数χMp和向量场满足泊松函数，因而优化方程构建为： 其中EχM为构建的优化方程，为点云的向量场，χMp为指示函数，为指示函数的梯度，最后一项为边界约束，α为约束强度；利用相机内、外参及步骤2中的视频目标分割图使用基于外壳一致性方法构建待建物体的视觉外壳；利用视觉外壳来约束χMp_在视觉外壳外值为0，并重构基函数从而使得求取的最终结果约束在视觉外壳中；步骤4：物体表面网格精修对上一步求解的待重建物体的网格模型按相机位姿进行光栅化，经过预处理后获取拍摄过程中相机位姿下待建物体的轮廓Sr及投影的彩色图像；再利用待建物体的外观特征和网格模型的几何约束构建优化方程对网格模型进行优化； 其中ES为构建的能量方程，Xi为网格间可调节的节点，构建的能量方程： 其中为光度一致性约束： 其中为网格模型投影得到的图像，而为同一位姿下相机拍摄的图像，|I|为图像块像素个数； 为结构相似性约束： 其中IP为网格模型投影得到的图像，而Io为同一位姿下相机拍摄的图像； 为外壳一致性约束： 其中SP为网格模型投影得到的待建物体的分割结果，而So为同一位姿下相机拍摄的待建物体的分割结果； 网格变换平滑性约束： 其中在U区域内面片与面片的一阶导K1和二阶导K2，用来约束每次面片变化的剧烈程度；使用所述优化方程，通过迭代优化每个网格点位置及网格的大小，从而获取精修后的网格模型。

全文数据：

权利要求：

百度查询： 华东师范大学 一种基于图像序列的小物体三维重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD