申请/专利权人：中国矿业大学

申请日：2018-11-07

公开（公告）日：2024-03-22

公开（公告）号：CN109685837B

主分类号：G06T7/33

分类号：G06T7/33;G06T7/13

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2019.05.21#实质审查的生效;2019.04.26#公开

摘要：本发明公开了一种基于地物结构相似度的异源遥感影像配准方法，首先利用分块的Harris算子在参考影像上均匀的提取若干特征点，并形成多个特征点集；然后利用canny算子提取影像边缘，并根据形状上下文算法计算特征点处形状相似性描述符；再根据形状相似性描述符进行特征点匹配以获取同名点，并将错误匹配的特征点移除；最后根据正确匹配的特征点建立参考影像与输入影像间的对应关系对输入影像进行匹配。本发明能有效提高光学影像和SAR影像间的影像配准精度，便于后续的使用。

主权项：1.一种基于地物结构相似度的异源遥感影像配准方法，其特征在于，具体步骤为：1特征提取：采用分块的Harris算子提取参考影像的特征点；2形状相似性描述符的构建：根据地物结构相似度，利用形状上下文算法构建形状相似性描述符，具体为：A、记参考影像上提取的特征点集为kii＝1,2,...,N，根据已知的参考影像和输入影像的地理坐标信息在输入影像上预测出一定大小的搜索区域；B、提取特征点集中的一点ki，以该点为中心在参考影像上选取设定大小的模板窗口；C、设定cell的大小及canny算子提取阈值，先利用canny算子提取阈值对模板窗口边缘点进行提取，再将该窗口划分为若干个cell，形成形状相似性描述符的基本结构，由于形状上下文是一种基于形状轮廓的特征描述方法，其在对数极坐标系下利用直方图描述形状特征能够很好地反映轮廓上采样点的分布情况；基于形状上下文原理，具体计算过程如下：Step1：对于给定的一个形状，通过canny边缘检测算子获取轮廓边缘，对轮廓边缘采样得到一组离散的点集pii＝1,2,...,N；Step2：计算形状上下文；以其中任意一点pi为参考点，在pi为圆心、R为半径的局域内按对数距离间隔建立n个同心圆；将此区域沿圆周方向m等分，形成靶状模板；点pi到其它各点的向量相对位置简化为模板上各扇区内的点分布数；这些点的统计分布直方图hik，称为点pi的形状上下文，其计算公式为：hik＝#{q≠pi:q-pi∈bink}其中，k＝{1,2,...,k},k＝m*n；采用对数距离分割能使形状上下文描述子对邻近的采样点比远离点更敏感，从而能强化局部特征；轮廓不同点处的形状上下文是不同的，但相似轮廓的对应点处趋于有相似的形状上下文；对于整个点集p，分别以其N个点p1,p2,...,pn作参考点，依次计算与剩下的n-1个点构成的形状直方图，最终得到N个形状直方图，以N*N-1大小的矩阵存储；这样，对于任一目标，可用N*N-1大小的矩阵表示其形状信息，N*N-1大小的矩阵就是点集P的形状上下文，它描述了整个轮廓形状的特征；最后，为提高计算效率，仅计算每个cell内中心点的形状上下文；D、收集所有cell的形状上下文，构成描述模板窗口的形状相似性描述符；3特征匹配：采用模板匹配的方法，以构建的形状相似性描述符间的NCC作为相似性测度，在搜索区域内寻找与特征点相关性最大的点作为特征点的同名点；4误匹配点移除：设定标准误差值，计算得出的各个同名点的残差和均方根误差，将各个误差与标准误差值进行比较，若误差超过标准误差值，则移除该同名点，从而得出正确匹配的同名点；5影像配准：根据正确匹配的同名点估计影像间的几何变换模型参数，并利用变换模型对输入影像进行几何变换，且对变换后影像的灰度值进行重采样，最终完成影像配准。

全文数据：一种基于地物结构相似度的异源遥感影像配准方法技术领域本发明涉及一种异源遥感影像配准方法，具体是一种基于地物结构相似度的异源遥感影像配准方法。背景技术影像配准是动态监测、变化信息提取、信息复合等工作不可缺少的组成部分。不同传感器、多分辨率、多时相的遥感影像反映了地物的不同特性，为了获取各自优点需要将这些遥感数据匹配起来。然而，异源遥感影像即光学影像和SAR影像由于成像机理不同，影像间往往存在着灰度差异和几何差异，导致影像配准时难以获取特征点和同名点匹配，因此异源遥感影像的配准问题一直是当今世界研究的热点与难点。目前遥感影像配准的方法主要分为：基于区域灰度的方法和基于特征的方法。基于区域的匹配方法是一种模板匹配的方法，以某种相似性测度为准则，在影像间进行同名点识别，最后根据同名点估计影像间的几何变换模型参数。常用的相似性测度有相关系数、相位相关和互信息等。基于区域的匹配方法计算效率高，配准精度高，但它们对影像间的非线性灰度差异非常敏感，所以它们无法较好适用于异源遥感影像的自动配准。因此，相较于灰度信息，影像间的几何结构属性受灰度差异的影响较小。基于特征的方法是首先在参考影像上提取特征点、线、面等特征，然后构建特征的描述符，通过描述符间的相似性进行匹配，最终完成影像的配准。该方法可以很好地适应影像间的几何结构差异，但当影像间的非线性灰度差异较大时，就难以检测到影像间稳定的共有特征，特征点检测的重复率会大大下降，最终导致影像配准效果不佳。发明内容针对上述现有技术存在的问题，本发明提供一种基于地物结构相似度的异源遥感影像配准方法，能有效提高光学影像和SAR影像间的影像配准精度，便于后续的使用。为了实现上述目的，本发明采用的技术方案是：一种基于地物结构相似度的异源遥感影像配准方法，具体步骤为：1特征提取：采用分块的Harris算子提取参考影像的特征点；2形状相似性描述符的构建：根据地物结构相似度，利用形状上下文算法构建形状相似性描述符；3特征匹配：采用模板匹配的方法，以构建的形状相似性描述符间的NCC作为相似性测度SCNCC，在搜索区域内寻找与特征点相关性最大的点作为特征点的同名点；4误匹配点移除：设定标准误差值如1个像素，计算得出的各个同名点的残差和均方根误差，将各个误差与标准误差值进行比较，若误差超过标准误差值，则移除该同名点，从而得出正确匹配的同名点；5影像配准：根据正确匹配的同名点估计影像间的几何变换模型参数，并利用变换模型对输入影像进行几何变换，且对变换后影像的灰度值进行重采样，最终完成影像配准。进一步，所述步骤1的特征提取具体过程为：将参考影像划分为若干个互不重叠、规则的格网，计算每个格网内每个像素的Harris强度值H，并将H值按从大到小的顺序排列，选取每个格网内前n个H值较大的点作为每个格网的特征点集，这样可以有效的避免提取的特征点过于密集或稀少等情况。进一步，由于形状上下文是一种基于形状轮廓的特征描述方法，其在对数极坐标系下利用直方图描述形状特征能够很好地反映轮廓上采样点的分布情况；基于形状上下文原理，具体如下：Step1：对于给定的一个形状,通过边缘检测算子如：canny算子获取轮廓边缘，对轮廓边缘采样得到一组离散的点集pii＝1,2,...,N；Step2：计算形状上下文；以其中任意一点pi为参考点，在pi为圆心、R为半径的局域内按对数距离间隔建立n个同心圆。将此区域沿圆周方向m等分，形成靶状模板。点pi到其它各点的向量相对位置简化为模板上各扇区内的点分布数。这些点的统计分布直方图hik，称为点pi的形状上下文，其计算公式为：hik＝#{q≠pi:q-pi∈bink}其中，k＝{1,2,...,k},k＝m*n；采用对数距离分割能使形状上下文描述子对邻近的采样点比远离点更敏感，从而能强化局部特征。轮廓不同点处的形状上下文是不同的，但相似轮廓的对应点处趋于有相似的形状上下文。对于整个点集p，分别以其N个点p1,p2,...,pn作参考点，依次计算与剩下的n-1个点构成的形状直方图，最终得到N个形状直方图，以N*N-1大小的矩阵存储。这样，对于任一目标，可用N*N-1大小的矩阵表示其形状信息，N*N-1大小的矩阵就是点集P的形状上下文，它描述了整个轮廓形状的特征。采样点越多，形状表达也越精细，计算量也会成倍加大。Step3：形状上下文之间的相似度计算，代价矩阵cost；其中,hik为目标P的点pi的形状直方图；hik为目标Q的点qi的形状直方图。按照公式，即可得到两个目标之间的代价矩阵C，大小为N*N。Step4：基于计算得到的代价矩阵C，利用匈牙利算子，进行点的匹配操作，使下式获得最小值；Hπ＝∑Cpi,qπi至此，该方法以一个非矢量的数值表示两个目标的相似度。由于是基于代价矩阵进行计算，所以结果越大表示越不相似，结果越小表示越相似。根据以上原理，所述步骤2中形状相似性描述符的构建具体过程为：A、记参考影像上提取的特征点集为pii＝1,2,...,N，根据已知的参考影像和输入影像的地理坐标信息在输入影像上预测出一定大小的搜索区域，以便进行同名点匹配即通过已知的参考影像和输入影像间的地面控制点建立两幅影像间的映射关系将参考影像上的特征点对应到输入影响上，由此预测出了搜索区域的大小；B、提取特征点集pi中的一点，以该点为中心在参考影像上选取设定大小的模板窗口这个模板窗口的大小可根据需要任意设置；C、设定cell即窗口单元的大小及canny算子提取阈值即canny算子提取影像边界时设置的阈值，通过设置不同的阈值可以提取到不同的边界，即提取到不同清晰度的边界，先利用canny算子提取阈值对模板窗口边界进行提取，再将该窗口划分为若干个cell，形成形状相似性描述符的基本结构，为提高计算效率，故仅计算每个cell内中心点的形状上下文。D、收集所有cell的形状上下文，构成描述模板窗口的形状相似性描述符。本发明的关键参数为利用canny算子提取影像轮廓时设置的阈值以及cell的大小，通过设置不同大小的cell和canny算子阈值能寻求影像的最佳匹配。进一步，所述步骤4中同名点的残差公式和均方根误差公式分别为：dx,dy＝x2,y2-x1-y1与现有技术相比，本发明首先利用分块的Harris算子在参考影像上均匀的提取若干特征点；然后利用canny算子提取影像边缘，并根据形状上下文算法计算特征点处形状相似性描述符；再根据形状相似性描述符进行特征点匹配以获取同名点，并将错误匹配的特征点移除；最后根据正确匹配的特征点建立参考影像与输入影像间的对应关系对输入影像进行匹配。本发明成功实现了光学影像和SAR影像间的影像配准，而且配准精度可达到0.65个像素。附图说明图1是本发明的整体流程图；图2是本发明中形状相似性描述符构建流程图；图3是本发明中参考影像及输入影像图；图4是图3采用canny算子提取后的参考影像及输入影像轮廓图；图5是图3中参考影像及输入影像的特征点提取图；图6是图5的其中一个特征点的形状上下文；图7是采用不同cell大小及canny算子阈值情况下的影像配准精度图；图8是采用本发明对图3配准后的示意图。上图中：a为参考影像；b为输入影像。具体实施方式下面将对本发明做进一步说明。实施例：所用光学影像数据来自美国陆地卫星系列Landsat5TM传感器上Band3红光波段数据,因为实验区内有许多房屋、道路等地物，而红光波段恰好能够较好地辨别这些人造地物类型。空间分辨率为30m，影像获取时间为2003年1月。SAR影像数据来自欧空局的对地观测卫星系列ENVISAT卫星ASAR传感器，空间分辨率为20m。影像获取时间为2004年3月。如图所示，一种基于地物结构相似度的异源遥感影像配准方法，具体步骤为：1特征提取：采用分块的Harris算子提取参考影像即光学影像的特征点；2形状相似性描述符的构建：根据地物结构相似度，利用形状上下文算法构建形状相似性描述符；3特征匹配：采用模板匹配的方法，以构建的形状相似性描述符间的NCC作为相似性测度SCNCC，在搜索区域内寻找与特征点相关性最大的点作为特征点的同名点；4误匹配点移除：设定标准误差值如1个像素，计算得出的各个同名点的残差和均方根误差，将各个误差与标准误差值进行比较，若误差超过标准误差值，则移除该同名点，从而得出正确匹配的同名点；5影像配准：根据正确匹配的同名点估计影像间的几何变换模型参数，并利用变换模型对输入影像即SAR影像进行几何变换，且对变换后影像的灰度值进行重采样，最终完成影像配准。进一步，所述步骤1的特征提取具体过程为：将参考影像划分为若干个互不重叠、规则的格网，计算每个格网内每个像素的Harris强度值H，并将H值按从大到小的顺序排列，选取每个格网内前n个H值较大的点作为每个格网的特征点集，这样可以有效的避免提取的特征点过于密集或稀少等情况。进一步，由于形状上下文是一种基于形状轮廓的特征描述方法，其在对数极坐标系下利用直方图描述形状特征能够很好地反映轮廓上采样点的分布情况；基于形状上下文原理，具体如下：Step1：对于给定的一个形状,通过边缘检测算子如：canny算子获取轮廓边缘，对轮廓边缘采样得到一组离散的点集pii＝1,2,...,N；Step2：计算形状上下文；以其中任意一点pi为参考点，在pi为圆心、R为半径的局域内按对数距离间隔建立n个同心圆。将此区域沿圆周方向m等分，形成靶状模板。点pi到其它各点的向量相对位置简化为模板上各扇区内的点分布数。这些点的统计分布直方图hik，称为点pi的形状上下文，其计算公式为：hik＝#{q≠pi:q-pi∈bink}其中，k＝{1,2,...,k},k＝m*n；采用对数距离分割能使形状上下文描述子对邻近的采样点比远离点更敏感，从而能强化局部特征。轮廓不同点处的形状上下文是不同的，但相似轮廓的对应点处趋于有相似的形状上下文。对于整个点集p，分别以其N个点p1,p2,...,pn作参考点，依次计算与剩下的n-1个点构成的形状直方图，最终得到N个形状直方图。以N*N-1大小的矩阵存储。这样，对于任一目标，可用N*N-1大小的矩阵表示其形状信息，N*N-1大小的矩阵就是点集P的形状上下文，它描述了整个轮廓形状的特征。采样点越多，形状表达也越精细，计算量也会成倍加大。Step3：形状上下文之间的相似度计算，代价矩阵cost；其中,hik为目标P的点pi的形状直方图；hik为目标Q的点qi的形状直方图。按照公式，即可得到两个目标之间的代价矩阵C，大小为N*N。Step4：基于计算得到的代价矩阵C，利用匈牙利算子，进行点的匹配操作，使下式获得最小值；Hπ＝∑Cpi,qπi至此，该方法以一个非矢量的数值表示两个目标的相似度。由于是基于代价矩阵进行计算，所以结果越大表示越不相似，结果越小表示越相似。根据以上原理，所述步骤2中形状相似性描述符的构建具体过程为：A、记参考影像上提取的特征点集为pii＝1,2,...,N，根据已知的参考影像和输入影像的地理坐标信息在输入影像上预测出一定大小的搜索区域，以便进行同名点匹配即通过已知的参考影像和输入影像间的地面控制点建立两幅影像间的映射关系将参考影像上的特征点对应到输入影响上，由此预测出了搜索区域的大小；B、提取特征点集中的一点pi，以该点为中心在参考影像上选取100*100大小的模板窗口；C、设定cell的大小及canny算子提取阈值即canny算子提取影像边界时设置的阈值，通过设置不同的阈值可以提取到不同的边界，即提取到不同清晰度的边界，先利用canny算子提取阈值对模板窗口边界进行提取，再将该窗口划分为若干个cell，形成形状相似性描述符的基本结构，为提高计算效率，故仅计算每个cell内中心点的形状上下文。D、收集所有cell的形状上下文，构成描述模板窗口的形状相似性描述符。因此，本发明的关键参数为利用canny算子提取影像轮廓时设置的阈值以及cell的大小，通过设置不同大小的cell和canny算子阈值来寻求影像的最佳匹配。进一步，所述步骤4中同名点的残差公式和均方根误差公式分别为：dx,dy＝x2,y2-x1-y1请见图7、图8，可以看到本发明在不同cell大小及canny算子阈值条件下影像配准的精度，其中配准精度最高的情况是参数设置为：cell大小为15*15、canny算子阈值0.2，精度值为0.65个像素。表1是本发明和传统影像配准方法NCC及基于几何结构相似性测度HOPC的影像配准方法对比，可以看出：本发明的特征点匹配正确率以及影像配准精度明显高于其余两种算法。表1：影像配准结果对比以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，因此，凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

权利要求：1.一种基于地物结构相似度的异源遥感影像配准方法，其特征在于，具体步骤为：1特征提取：采用分块的Harris算子提取参考影像的特征点；2形状相似性描述符的构建：根据地物结构相似度，利用形状上下文算法构建形状相似性描述符；3特征匹配：采用模板匹配的方法，以构建的形状相似性描述符间的NCC作为相似性测度，在搜索区域内寻找与特征点相关性最大的点作为特征点的同名点；4误匹配点移除：设定标准误差值，计算得出的各个同名点的残差和均方根误差，将各个误差与标准误差值进行比较，若误差超过标准误差值，则移除该同名点，从而得出正确匹配的同名点；5影像配准：根据正确匹配的同名点估计影像间的几何变换模型参数，并利用变换模型对输入影像进行几何变换，且对变换后影像的灰度值进行重采样，最终完成影像配准。2.根据权利要求1所述的一种基于地物结构相似度的异源遥感影像配准方法，其特征在于，所述步骤1的特征提取具体过程为：将参考影像划分为若干个互不重叠、规则的格网，计算每个格网内每个像素的Harris强度值H，并将H值按从大到小的顺序排列，选取每个格网内前n个H值较大的点作为每个格网的特征点集。3.根据权利要求2所述的一种基于地物结构相似度的异源遥感影像配准方法，其特征在于，所述步骤2中形状相似性描述符的构建具体过程为：A、记参考影像上提取的特征点集为pii＝1,2,...,N，根据已知的参考影像和输入影像的地理坐标信息在输入影像上预测出一定大小的搜索区域；B、提取特征点集中的一点pi，以该点为中心在参考影像上选取设定大小的模板窗口；C、设定cell的大小及canny算子提取阈值，先利用canny算子提取阈值对模板窗口边界进行提取，再将该窗口划分为若干个cell，形成形状相似性描述符的基本结构，最后计算每个cell内中心点的形状上下文；D、收集所有cell的形状上下文，构成描述模板窗口的形状相似性描述符。4.根据权利要求1所述的一种基于地物结构相似度的异源遥感影像配准方法，其特征在于，所述步骤4中同名点的残差公式和均方根误差公式分别为：dx,dy＝x2,y2-x1-y1

百度查询： 中国矿业大学 一种基于地物结构相似度的异源遥感影像配准方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD