申请/专利权人：广东工业大学

申请日：2019-06-05

公开（公告）日：2023-05-23

公开（公告）号：CN110390336B

主分类号：G06V10/46

分类号：G06V10/46;G06V10/75;G06V10/80;G06V10/82;G06N3/0464;G06N3/0455;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2023.05.23#授权;2019.11.22#实质审查的生效;2019.10.29#公开

摘要：本发明公开了一种提高特征点匹配精度的方法，包括下述步骤：1通过SIFT检测出图像中的特征点；2提取特征点64*64领域的图像块；3分别计算该图像块的训练卷积描述符和预训练卷积描述符；4将预训练描述符通过一个编码器进行降维；5采用典型相关分析融合卷积描述符和降维后的预训练描述符；本发明将光照和视角变化采用两种描述符分别表示，可以有效降低特征点匹配的难度；采用典型相关分析方法来融合两种类型，可以有效提取两类描述符之间的互补信息，提高融合后描述符对光照和视角变化的鲁棒性；描述符融合系统是一个可升级系统，以后随着不同类型的描述符被提出，都可以应用到本系统中。

主权项：1.一种提高特征点匹配精度的方法，其特征在于，包括下述步骤：（1）通过SIFT检测出图像中的特征点；（2）提取特征点64*64领域的图像块；（3）分别计算该图像块的训练卷积描述符和预训练卷积描述符，通过训练卷积描述符表示图像视角变化，通过预训练卷积描述符表示图像光照变化；（4）将预训练卷积描述符通过一个编码器进行降维；（5）采用典型相关分析融合训练卷积描述符和降维后的预训练卷积描述符；所述步骤（3）中的训练卷积描述符选择HardNet模型生成的描述符；而预训练卷积描述符选择在ImageNet数据集上训练好的DenseNet169的第三层卷积作为图像的描述符。

全文数据：一种提高特征点匹配精度的方法技术领域本发明涉及计算机视觉技术领域，具体涉及一种提高特征点匹配精度的方法。背景技术特征点匹配是许多计算机视觉和机器人应用中非常关键的一步，比如运动获取，多视角立体，图像检索，以及视觉导航都依赖于特征点匹配。特征点匹配主要包括四个部分：1检测图像中的特征点；2计算特征点描述符；3计算两幅图像特征点描述符之间的距离，4通过最近邻搜索，找出两幅图像中的特征点匹配对。特征点匹配的好坏非常依赖于特征点描述符的设计，一个好的特征点描述符可以让特征点具有很高的区分度；尤其是两幅图像之间存在明显的光照和视角变化时，一个好的特征点描述符对光照和视角变化应该比较鲁棒。但是，现有特征点匹配中，当匹配的两幅图像存在光照和视角变化的时候，特征点匹配精度较低，不能够很好的满足在计算机视觉和机器人中的应用。发明内容本发明的目的在于克服现有技术的缺点与不足，提供一种提高特征点匹配精度的方法，该方法通过融合训练卷积神经网络模型和预训练卷积神经网络模型来提高描述符对光照和视角变化的鲁棒性。本发明的目的通过下述技术方案实现：一种提高特征点匹配精度的方法，包括下述步骤：1通过SIFT检测出图像中的特征点；2提取特征点64*64领域的图像块；3分别计算该图像块的训练卷积描述符和预训练卷积描述符；4将预训练描述符通过一个编码器进行降维；5采用典型相关分析融合卷积描述符和降维后的预训练描述符。优选地，所述步骤3中的训练卷积描述符选择HardNet模型生成的描述符；而预训练卷积描述符选择在ImageNet数据集上训练好的DenseNet169的第三层卷积作为图像的描述符。优选地，所述步骤4中的编码器即自编码器训练好的模型的编码器部分；所述自编码器主要包括两个部分：编码器部分和解码器部分；而整个模型通过最小化输入与输出的误差来优化模型，模型训练好后，可以使用编码器的输出作为图像压缩后的描述符。优选地，所述编码器部分和解码器部分都包括三个块；其中编码器部分的每个块都包括一个卷积层CL、一个批正则化层BN和一个参数化修正线性单元PReLU激活函数；其中解码器部分每个块都包括一个反卷积层DCL、一个批正则化层BN和一个参数化修正线性单元PReLU。本发明与现有技术相比具有以下的有益效果：1本发明将光照和视角变化采用两种描述符分别表示，可以有效降低特征点匹配的难度；2本发明采用典型相关分析方法来融合两种类型，可以有效提取两类描述符之间的互补信息，提高融合后描述符对光照和视角变化的鲁棒性；3本发明的描述符融合系统是一个可升级系统。附图说明图1为本发明自编码器的流程示意图；图2为本发明卷积自编码模型示意图。具体实施方式下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。如图1～2所示，一种提高特征点匹配精度的方法，包括下述步骤：1通过SIFT检测出图像中的特征点；2提取特征点64*64领域的图像块；3分别计算该图像块的训练卷积描述符和预训练卷积描述符；所述训练卷积描述符选择HardNet模型生成的描述符；而预训练卷积描述符选择在ImageNet数据集上训练好的DenseNet169的第三层卷积作为图像的描述符；4将预训练描述符通过一个编码器进行降维；如图2所示，所述编码器即自编码器训练好的模型的编码器部分；所述自编码器主要包括两个部分：编码器部分和解码器部分；而整个模型通过最小化输入与输出的误差来优化模型，模型训练好后，可以使用编码器的输出作为图像压缩后的描述符；如图2所示，所述编码器部分和解码器部分都包括三个块；其中编码器部分的每个块都包括一个卷积层CL、一个批正则化层BN和一个参数化修正线性单元PReLU激活函数；其中解码器部分每个块都包括一个反卷积层DCL、一个批正则化层BN和一个参数化修正线性单元PReLU；5采用典型相关分析融合卷积描述符和降维后的预训练描述符。本发明的目的是通过融合训练卷积神经网络模型和预训练卷积神经网络模型，来提高描述符对光照和视角变化的鲁棒性。下述本发明的一些基本概念：特征点：图像中一些比较有特征的点，比如图像边缘，角点等；SIFT：一种采用高斯差分的方式来检测图像特征点的算法；训练描述符：图像块经过训练卷积神经网络模型后的输出称为训练描述符；预训练描述符：图像块经过预训练卷积神经网络模型后的输出称为预训练描述符；编码器：一种将高维空间向量压缩到低维空间的方法，通过重构输入与输出数据误差来优化模型；典型相关分析：一种基于最大化两种数据之间相关性的数据融合方法；训练描述符对图像视角变化鲁棒，而预训练描述符对图像光照变化鲁棒，通过融合这两类描述符，使得新的描述符对光照和视角变化都比较鲁棒；相比于现有特征点描述符的方法，本发明的特征点描述符是通过将光照和视角变化看成是两个子问题，采用了两种不同的卷积神经网络来分别解决光照和视角变化问题，最后采用了典型相关分析技术来融合两种不同类型的描述符。训练卷积神经网络模型的输入为一个图像块，然后通过一个卷积神经网络，模型输出一个一维的特征向量作为图像的描述符。预训练卷积神经网络表示该模型已经在图像分类的数据集ImageNet上已经训练好了，通过直接提取模型的中间卷积层作为图像的描述符。本发明将光照和视角变化采用两种描述符分别表示，可以有效降低特征点匹配的难度；采用典型相关分析方法来融合两种类型，可以有效提取两类描述符之间的互补信息，提高融合后描述符对光照和视角变化的鲁棒性；描述符融合系统是一个可升级系统，以后随着不同类型的描述符被提出，都可以应用到本系统中，主要可以替换图1中训练卷积神经网络模型和预训练卷积神经网络模型；目前，本发明专利提出的融合模型中训练卷积神经网络模型选择HardNet模型，而预训练卷积神经网络模型选择在ImageNet数据集上训练好的DenseNet169模型。上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

权利要求：1.一种提高特征点匹配精度的方法，其特征在于，包括下述步骤：1通过SIFT检测出图像中的特征点；2提取特征点64*64领域的图像块；3分别计算该图像块的训练卷积描述符和预训练卷积描述符；4将预训练描述符通过一个编码器进行降维；5采用典型相关分析融合卷积描述符和降维后的预训练描述符。2.根据权利要求1所述提高特征点匹配精度的方法，其特征在于，所述步骤3中的训练卷积描述符选择HardNet模型生成的描述符；而预训练卷积描述符选择在ImageNet数据集上训练好的DenseNet169的第三层卷积作为图像的描述符。3.根据权利要求1所述提高特征点匹配精度的方法，其特征在于，所述步骤4中的编码器即自编码器训练好的模型的编码器部分；所述自编码器主要包括两个部分：编码器部分和解码器部分；而整个模型通过最小化输入与输出的误差来优化模型，模型训练好后，可以使用编码器的输出作为图像压缩后的描述符。4.根据权利要求3所述提高特征点匹配精度的方法，其特征在于，所述编码器部分和解码器部分都包括三个块；其中编码器部分的每个块都包括一个卷积层CL、一个批正则化层BN和一个参数化修正线性单元PReLU激活函数；其中解码器部分每个块都包括一个反卷积层DCL、一个批正则化层BN和一个参数化修正线性单元PReLU。

百度查询： 广东工业大学 一种提高特征点匹配精度的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD