申请/专利权人：北京智汇云舟科技有限公司

申请日：2023-12-26

公开（公告）日：2024-04-30

公开（公告）号：CN117456114B

主分类号：G06T17/00

分类号：G06T17/00;G06T19/20;G06T7/00;G06T7/285;G06T7/77

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2024.02.13#实质审查的生效;2024.01.26#公开

摘要：本发明提供一种基于多视图的三维图像重建方法及系统，涉及图像处理领域，包括采集多视角图像，结合图像匹配质量因子，选择覆盖全部三维点的最小影像集合，构成参考图像集，确定邻近图像候选集，从邻近图像候选集选择最优元素，作为邻近图像，组合成立体图像对；以每个像素为中心，设置搜索窗口，提取参考像素块，并搜索邻近像素块，计算参考像素块和邻近像素块的视差值和匹配代价，构建代价体积，进行代价聚合，针对代价体积中的每一个像素创建局部窗口，计算局部一致性代价，得到最终视差图；将像素点映射到三维空间，获得每个视角的三维点云，计算运动参数，利用运动参数，进行三维点云拼接，通过使误差最小化，得到三维图像重建结果。

主权项：1.基于多视图的三维图像重建方法，其特征在于，包括：使用双目相机，以公共标识物为参照物，采集多视角图像，结合图像匹配质量因子，选择覆盖场景中全部三维点的最小影像集合，构成参考图像集，针对所述参考图像集的每个参考图像，确定邻近图像候选集，基于所述图像匹配质量因子，从所述邻近图像候选集选择最优元素，作为所述参考图像对应的邻近图像，将所述参考图像和所述邻近图像，组合成立体图像对；以所述参考图像中的每个像素为中心，设置搜索窗口，提取与所述搜索窗口相对应的参考像素块，并从邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，构建代价体积，对所述代价体积进行代价聚合，针对所述代价体积中的每一个像素创建局部窗口，计算局部一致性代价，经过整合，获得每个像素位置的最终视差值，得到最终视差图；利用所述最终视差图，将像素点映射到三维空间，获得每个视角的三维点云，根据所述公共标识物的对应关系以及所述双目相机的位置关系，计算运动参数，利用所述运动参数，将所述三维点云在公共坐标系下进行三维点云拼接，通过使所述三维点云拼接的误差最小化，得到三维图像重建结果；以所述参考图像中的每个像素为中心，设置搜索窗口，提取与所述搜索窗口相对应的参考像素块，并从邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，构建代价体积，对所述代价体积进行代价聚合，针对所述代价体积中的每一个像素创建局部窗口，计算局部一致性代价，经过整合，获得每个像素位置的最终视差值，得到最终视差图包括：遍历每一个所述参考图像中的像素，以所述像素对应的像素位置为中心，设置搜索窗口；从所述参考图像中提取与所述搜索窗口相对应的参考像素块，延视差方向，从所述邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，以所述像素位置和所述视差值的维度构建代价体积，将所述匹配代价存储在所述代价体积的相应位置；创建代价聚合窗口，在所述代价体积中进行局部聚合，得到聚合代价，经过所述聚合代价的归一化，利用动态规划算法，确定代价最小路径，获得所述代价最小路径上的每个像素位置的最终视差值，构建最终视差图；创建代价聚合窗口，在所述代价体积中进行局部聚合，得到聚合代价，经过所述聚合代价的归一化，利用动态规划算法，确定代价最小路径，获得所述代价最小路径上的每个像素位置的最终视差值，构建最终视差图包括：创建代价聚合窗口，在所述代价体积中进行局部聚合，得到聚合代价，其中聚合代价的公式如下： ；其中，i表示像素点i，d表示视差值，C'i,d表示在像素点i处的视差值为d时的聚合代价，j表示像素点j，Ni表示以像素点i为中心的代价聚合窗口，Ki,j表示像素点i和像素点j的相似性评估值，Cj,d表示像素点j处的视差值为d时的匹配代价；对所述聚合代价进行归一化处理，其公式如下： ；其中，V'i,d表示在像素点i处的视差值为d的标准化代价，d'表示视差值d'，C'i,d'表示在像素点i处的视差值为d'的聚合代价；利用动态规划算法，确定代价最小路径，其公式如下： ；其中，Di,d表示到达像素点i且视差为d的最小代价路径的累积代价，dt表示像素点i的邻近像素点的视差值，Di-1,dt表示到达像素点i上方邻近位置的累积代价，Di,dt-1表示到达像素点i左侧邻近位置的累积代价，Di-1,dt-1表示到达像素点i左上方邻近位置的累积代价，min{}表示取所述累积代价的最小值。

全文数据：

权利要求：

百度查询： 北京智汇云舟科技有限公司 基于多视图的三维图像重建方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD