申请/专利权人：大连理工大学

申请日：2024-03-13

公开（公告）日：2024-04-12

公开（公告）号：CN117876647A

主分类号：G06V10/10

分类号：G06V10/10;G06V10/44;G06V10/82;G06N3/0464;G06V10/80

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本发明公开了一种基于双目视觉和多尺度单应性回归的图像拼接方法，属于计算机视觉领域。本发明使用双目相机获取图像，采用多尺度单应性回归算法对双目相机捕获的两组图像进行精确的几何校正和对齐，有效解决了传统图像拼接技术中常见的视角变形和接缝处不连续的问题。此外，本发明的多尺度处理策略可以在不同的分辨率层面上优化拼接效果，从而在细节保留和全局一致性之间实现平衡。这种方法特别适用于无人机航拍、监控系统以及虚拟现实等领域，可以大幅提高图像拼接的效率和质量。

主权项：1.基于双目视觉和多尺度单应性回归的图像拼接方法，其特征在于，步骤如下：1）双目视觉图像采集使用配对的双目相机系统从不同视角捕捉待拼接的场景图像；场景图像将作为后续处理的基础，其中包含场景的深度信息和视角差异；2）对步骤1）采集的左、右场景进行多尺度特征金字塔构建；基于一个多尺度特征编码网络对捕获的图像对进行特征提取，得到两组具有三个尺度特征大小的特征金字塔；其中，为目标视角特征，为参考视角特征；3）对步骤2）的特征进行相关性计算；针对步骤2）获得的两组特征金字塔，从最小尺度特征，即开始进行特征间的相关计算，通过回归得到变形参数从而计算得到该尺度下的单应性矩阵；4）利用步骤3）得到的单应性矩阵实现左、右场景对齐；将得到的最精细的单应性矩阵作用于原始观测图像对上，实现双目场景的几何校正和对齐；5）对步骤4）得到的对齐的左、右场景进行整合；对齐后的双目图像输入一个Unet结构的图像整合网络，将双目场景图像融合成一个具有更大视角的图像，从而实现了扩大感受范围的目的；所述的步骤3），具体步骤如下：3-1）目标视角特征中每个点的特征值与参考视角特征中的任一位置的特征值逐一计算相关性，并通过计算平均结果得到目标视角中该点的最终相关矩阵，表示为：3-2）针对计算得到的相关矩阵，利用两层卷积操作进行回归，得到当前尺度下的变形参数；为了利用已知的点对来计算变换矩阵，对得到的变形参数采用直接线性变化，通过线性代数方法来求解，从而找到描述变换的矩阵，也就是得到当前变形参数对应的单应性矩阵；至此，将单应性矩阵作用于尺度下的特征进行初步对齐操作；得到对应的粗变形特征；3-3）将粗对齐的目标视角特征与对应的参考视角特征再次进行相关性计算并回归得到更精细的单应性矩阵；以此类推，再对最大尺度下的特征进行3-2）的操作，即，对最大尺度下的特征利用变形矩阵进行预对齐，并基于当前对齐的特征再次进行单应性矩阵单映性估计，从而得到更精细的估计结果。

全文数据：

权利要求：

百度查询： 大连理工大学 基于双目视觉和多尺度单应性回归的图像拼接方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD