申请/专利权人：深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心);黑龙江工程学院

申请日：2024-02-01

公开（公告）日：2024-04-16

公开（公告）号：CN117670961B

主分类号：G06T7/33

分类号：G06T7/33;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2024.03.26#实质审查的生效;2024.03.08#公开

摘要：本发明公开了一种基于深度学习的低空遥感影像多视立体匹配方法及系统，首先在初始影像中提取并匹配均匀分布的特征点，通过构建卷积神经网络优化特征匹配获取高精度种子点；然后利用影像像素与物方面元的投影关系扩散种子，将不相邻影像中的对应像点及其周围像素输入卷积神经网络获取最优匹配及对应三维点坐标；最后利用密度约束及特征约束过滤异常匹配点，精化点云模型。本发明利用卷积神经网络学习多视影像在视差突变、灰度突变和弱纹理等不利条件下的稳健匹配以提高匹配精度与重建点云完整度，通过不相邻影像匹配优化降低多视立体匹配算法的时间复杂度，在保证精度与完整度的前提下提高匹配效率。

主权项：1.一种基于深度学习的低空遥感影像多视立体匹配方法，其特征在于，包括以下步骤：步骤1：在初始影像中提取均匀分布的特征点并匹配，将初始匹配像点输入特征匹配卷积神经网络进行优化匹配，通过优化后同名像点与影像参数带入前方交会误差方程获取均匀分布的种子点；所述特征匹配卷积神经网络，由影像信息提取模块和全连接最优匹配搜索模块组成；所述影像信息提取模块，包括两个串联设置的各16个卷积层，L1和L2层，第1层至第15层卷积层之后均设置有残差块，第16层之后依次设置有归一化层、激活层和残差块；所述全连接最优匹配搜索模块，包括一个影像窗口描述子模块和最优匹配搜索子模块；所述影像窗口描述子模块，由11×11×16×200的全连接层组成，输出结果为描述输入影像窗口的200维特征向量；所述最优匹配搜索子模块，由200×64的全连接层组成，输出结果为参考影像与搜索影像窗口的相似性测度，选择最终相似性测度最高的像素作为匹配像素；步骤2：过种子点建立物方面元，将种子点对应同名像素周围μ×μ个像素投影到物方面元上对种子点局部进行扩散，利用扩散后三维点与影像间的投影关系筛选参与匹配的影像并约束匹配优化范围，将目标影像及目标范围内的像素输入点云扩散优化卷积神经网络，逐点优化匹配并计算对应地物点坐标，得到加密后三维点云；其中，μ为预设值；步骤2的具体实现包括以下子步骤：步骤2.1：将种子点PXc,Yc,Zc利用共线条件方程反投影到影像上计算投影像点picxic,yic，根据像点坐标值与影像宽、高判断投影像点p是否在影像范围内，取投影像点在影像一定范围内的影像序列作为该种子点的待匹配影像集记为I＝{I0，I1，…，Ij}；其中，i取0或正整数，j≥3；步骤2.2：在待匹配影像集中选择投影像点最靠近影像中心的一张影像作为匹配扩散主影像记为Im，其投影像点记为pmxc,yc，在物方过种子点P建立一张与主影像Im平行的物方平面记为Patch；步骤2.3：在主影像Im中，在投影像点pmxc,yc周围选择μ×μ个像素记为pmxs,yt，将pmxs,yt投影到Patch上得到μ×μ个地物点，记为PPXst,Yst,Zst；其中，0≤sμ，0≤tμ；步骤2.4：对于Patch上的每个地物点PPXst,Yst,Zst，结合影像参数将其分别投影到影像I0和Ij上，得到像点坐标p0xs,yt和pjxs,yt，作为初始匹配像点；步骤2.5：在影像I0和Ij上，以像点p0xs,yt和pjxs,yt为中心，取局部影像窗口输入匹配优化卷积神经网络，寻找最优匹配点记为pn0xks,ykt和pkjxks,ykt；步骤2.6：将最终匹配点坐标pk0xks,ykt和pkjxks,ykt与影像影像I0和Ij的参数带入前方交会误差方程，计算最终三维点坐标PkPXst,Yst,Zst；步骤2.7：重复步骤2.4-2.6，直到Patch上μ×μ个地物点匹配优化完成，则理论上种子点PXc,Yc,Zc由一个三维点扩散为μ×μ个三维点；步骤2.8：重复步骤2.1-2.7，直到种子点云中所有点扩散完毕，得到加密后三维点云；若投影像点坐标picxic,yic不超过影像像幅的预设范围则将该影像放入待匹配影像集I＝{I0，I1，…，Ij}，j≥2，若j2则取消扩散优化该地物点，在匹配影像集I中仅选择I0和第Ij张影像中的特定像素参与点云扩散及优化过程，所述筛选参与匹配的影像的规则为所有包含待匹配同名像点的影像序列中基线最长的两张影像；步骤3：异常点过滤，获得基于深度学习的低空遥感影像多视立体匹配结果三维点云模型。

全文数据：

权利要求：

百度查询： 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心);黑龙江工程学院 基于深度学习的低空遥感影像多视立体匹配方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD