申请/专利权人：城云科技(中国)有限公司

申请日：2024-01-12

公开（公告）日：2024-04-05

公开（公告）号：CN117557881B

主分类号：G06V10/774

分类号：G06V10/774;G06V10/75;G06V10/82;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2024.03.01#实质审查的生效;2024.02.13#公开

摘要：本申请实施例提供了一种基于特征图对齐和图文匹配的道路裂缝检测方法及应用，将待检测图像输入到预训练得到的引入特征图对齐算法的道路裂缝检测模型中进行预测，若待检测图像中存在裂缝目标则截取包括裂缝目标同所在背景的裂缝图像，将裂缝目标和裂缝图像一并输入到图文匹配模块中获取裂缝目标和背景的类别，若裂缝目标为裂缝且背景为路面的话则输出道路裂缝，以此方式提高了道路裂缝的识别准确度。

主权项：1.一种基于特征图对齐和图文匹配的道路裂缝检测方法，其特征在于，包括以下步骤：获取至少一待检测图像；将每一待检测图像输入到预训练的道路裂缝检测模型中进行裂缝目标检测，其中该道路裂缝检测模型包括依次连接的卷积单元、残差单元、特征对齐残差单元、三个预测分支，其中特征对齐残差单元中包括至少一特征对齐残差块，每一特征对齐残差块的第一层前添加特征图对齐操作且第一层的卷积核大小匹配特征大小，图像输入到道路裂缝检测模型中经过卷积单元得到多通道特征图，多通道特征图经过残差单元得到图像特征，图像特征输入到特征对齐残差单元中得到对齐特征，对齐特征经历上采样以及特征跳跃连接后得到待预测特征，待预测特征输入到三个预测分支中分别预测远距离的裂缝目标、中距离的裂缝目标以及近距离的裂缝目标；其中道路裂缝检测模型内引入特征图对齐算法，且利用标注有横向裂缝、纵向裂缝以及网状裂缝的一种或以上组合的图像训练得到，特征图对齐操作包括横向裂缝特征对齐和纵向裂缝对齐的任一种，当需要进行横向裂缝特征对齐时，特征图对齐操作的步骤为：构建输入的图像特征的x坐标矩阵、y坐标矩阵以及对齐矩阵，将x坐标矩阵和对齐矩阵相加并截断后得到对齐坐标矩阵，对输入的图像特征进行卷积后得到y方向偏移矩阵，将y方向偏移矩阵的中间矩阵置零后向中间矩阵前后两侧叠加偏移量得到y方向连续偏移矩阵，将y方向连续偏移矩阵与y坐标矩阵相加得到新y坐标矩阵，将新y坐标矩阵和对齐坐标矩阵的前两个维度进行交换并纵向堆叠后在输入的图像特征上通过插值算法得到像素偏移后的特征图；当需要进行纵向裂缝特征对齐时，特征图对齐操作的步骤为：构建输入的图像特征的x坐标矩阵、y坐标矩阵以及对齐矩阵，将y坐标矩阵和对齐矩阵相加并截断后得到对齐坐标矩阵，对输入的图像特征进行卷积后得到x方向偏移矩阵，将x方向偏移矩阵的中间矩阵置零后向中间矩阵前后两侧叠加偏移量得到x方向连续偏移矩阵，将x方向连续偏移矩阵与x坐标矩阵相加得到新x坐标矩阵，将新x坐标矩阵和对齐坐标矩阵的前两个维度进行交换并横向堆叠后在输入的图像特征上通过插值算法得到像素偏移后的特征图；若当前待检测图像检测到裂缝目标框，则在当前待检测图像中裁剪包括裂缝目标框及对应的裂缝背景的裂缝图像，将当前待检测图像的裂缝目标框和对应的裂缝图像输入到预训练的图文匹配模块中进行语义识别得到裂缝目标框的类别和裂缝背景的类别，其中图文匹配模块包括由条件提示向量加权网络连接的图像分支和文本分支，其中图像分支内含有图像编码器，文本分支内含有文本编码器，当前待检测图像的裂缝目标框和对应的裂缝图像输入到图像编码器中得到图像特征向量，图像特征向量经过条件提示向量加权网络得到自适应条件提示词，自适应提示词输入到文本编码器中得到文本特征向量，文本特征向量同图像特征向量进行相似度匹配后得到裂缝目标框的类别和每个裂缝背景对应的类别，且利用标注有横向裂缝、纵向裂缝以及网状裂缝的一种或以上组合的图像训练得到；若裂缝目标框的类别为裂缝且每个裂缝背景对应的类别为路面，则输出裂缝目标框的类别及位置信息，其中条件提示向量加权网络为两层全连接层的瓶颈结构，其中全连接层之间采用Relu激活函数，用于自图像特征向量中生成自适应条件提示词。

全文数据：

权利要求：

百度查询： 城云科技(中国)有限公司 基于特征图对齐和图文匹配的道路裂缝检测方法及应用

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD