买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华东交通大学;重庆大学溧阳智慧城市研究院申请的专利基于实例分割的道路巡检机器人避障方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119672330B 。

龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411620897.8，技术领域涉及：G06V10/26；该发明授权基于实例分割的道路巡检机器人避障方法及系统是由赵宏宇;王翔宇;黄渝翔;孙浚博;郭乔明;王雨飞;史伟翔设计研发完成，并于2024-11-14向国家知识产权局提交的专利申请。

本基于实例分割的道路巡检机器人避障方法及系统在说明书摘要公布了：本发明为基于实例分割的道路巡检机器人避障方法及系统，所述方法包括以下步骤：获取道路巡检过程中巡检区域的实时视频，并对实时视频中的道路图像逐帧进行障碍物标注，将标注后的障碍物图像分为训练集和测试集；构建实时端到端目标检测模型，所述实时端到端目标检测模型包括图像编码器模块、提示编码器模块、掩码解码器模块、记忆注意力模块、记忆解码器模块和记忆银行；利用训练集训练实时端到端目标检测模型，获得训练好的实时端到端目标检测模型，用于对道路巡检过程中巡检区域的实时视频中的每一帧图像进行逐帧实时检测。本发明可以更加准确、高效地实时检测出巡检过程中的障碍物。

本发明授权基于实例分割的道路巡检机器人避障方法及系统在权利要求书中公布了：1.一种基于实例分割的道路巡检机器人避障方法，其特征在于，所述方法包括以下步骤： 步骤1、获取道路巡检过程中巡检区域的实时视频，并对实时视频中的道路图像逐帧进行障碍物标注，将标注后的障碍物图像分为训练集和测试集； 步骤2、构建实时端到端目标检测模型， 所述实时端到端目标检测模型包括图像编码器模块、提示编码器模块、掩码解码器模块、记忆注意力模块、记忆解码器模块和记忆银行，所述图像编码器模块采用VIM模型，具有识别条件conditioned，使用VIM模型把输入的第一张图像分割成块，并为每块图像提取特征向量，图像编码器输出第一图像嵌入以及第一个识别条件conditioned； 所述提示编码器模块包括卷积块和CLIP，掩码提示输入卷积块中，文本提示输入CLIP中，提示编码器模块最后输出目标令牌和提示令牌，目标令牌和提示令牌结合形成提示嵌入； 所述提示嵌入会被输入进掩码解码器，所述掩码解码器包括第一CBAM注意力机制层、第二CBAM注意力机制层、第一MLP、第三CBAM注意力机制层、第四CBAM注意力机制层、卷积操作、第二MLP，输出一个实例分割图； 所述掩码解码器输出的实例分割图再输入进记忆解码器模块，经过三个卷积操作后得到特征图和一个目标点向量objectpoint，之后再与第一图像嵌入求和，实现三个卷积操作输出的特征图和objectpoint与第一图像嵌入相结合，成为第一个记忆特征；将第一个记忆特征输入记忆银行进行存储；此时，完成第一张图像的处理工作； 然后，开始处理第二张图像，图像编码器模块会输出第二图像嵌入以及第二个识别条件conditioned；第二图像嵌入被输入进记忆注意力模块，所述记忆注意力模块包括依次连接的CBAM注意力机制和交叉注意力机制，CBAM注意力机制的输出结果作为Query输入到交叉注意力机制，同时，记忆银行中存储的第一个记忆特征作为Key和Value被输入进交叉注意力机制，经过交叉注意力机制的运算，输出一个更新过的第二图像嵌入； 最后，更新过的第二图像嵌入被分别输入进掩码解码器的第二CBAM注意力机制层和第三CBAM注意力机制层，掩码解码器输出一个实例分割图，再输入进记忆解码器模块，在记忆解码器模块中掩码解码器输出的实例分割图经过卷积操作处理后与第二图像嵌入相结合，成为第二个记忆特征，然后输入进记忆银行存储，此时，完成第二张图像的处理工作； 按照以上所述流程，处理完所有图像； 所述VIM模型的工作流程为：首先，输入的图像F会被分割为多个固定大小的非重叠块，然后将每个图像块的位置信息嵌入到其对应的像素向量表示信息上，并将每个图像块的像素向量表示信息展平并排列成序列，得到每个图像块的原始像素序列信息以及对应的位置信息；将每个图像块的原始像素序列信息通过一个线性层进行线性变换，以调整其数据维度，得到每个图像块的初级像素序列信息及对应的位置信息的组合嵌入特征；所述线性变换表示为Y＝TWY+bY，其中T是图像块的原始像素序列信息，WY是权重矩阵，bY是偏置向量，Y是变换后得到的初级像素序列信息； 然后，将图像块的初级像素序列信息通过归一化层进行批量归一化； 之后，将图像块的初级像素序列信息YB，M，D经过归一化层处理得到的结果分别使用两个不同的投影层，被分别投影为维度为E的序列XB，M，E和序列ZB，M，E序列； 其中B为批量大小；M为序列长度；D是原始特征维度；E是扩展状态维度，设置为384； 所述两个不同的投影层为两个不同的线性层，该两个线性层对输入序列进行投影，以生成序列X和Z；线性层由权重矩阵和偏置项组成，对于序列X和Z，分别有权重矩阵Wx和Wz以及偏置向量bx和bz；将输入序列与权重矩阵Wx相乘，并加上偏置bx，得到序列X， X＝Wx×Input+bx， Input是输入序列，Wx是一个D×E的矩阵；序列Z的获得方法同理，对应线性层的权重矩阵、偏置向量的维度与序列X的相同，但元素取值不同； 然后，对序列X从向前和向后两个方向进行处理，以捕获向量中的局部依赖关系；对于前向处理，首先对序列X应用一维的前向卷积操作得到X′o，再将X'o线性投影到三个不同的线性层，分别得到序列Bo:B，M，N、Co:B，M，N和Δo,其中序列Δo使用软加激活函数确保其为正； Δo＝log1+expX'o 其中，N是隐藏状态的维度； 然后将序列Δo应用哈达玛积分别按照下式与Ao、Bo相乘得到转换参数和 最后使用序列Co、转换参数转换参数和前向卷积的输出X'o通过空间状态模型SSM，计算得出X的前向处理结果yforward； 应用一维的后向卷积操作和空间状态模型得到序列X的后向处理结果ybackward； 将由序列X得到yforward、ybackward与序列Z经激活函数处理后得到的结果分别进行加和，然后再将得到的两个结果加在一起，得到的结果经过投影层处理后，与图像块的初级像素序列信息Y进行残差连接，然后生成输出最终编码像素序列信息Tl，Tl会被送入多层感知机MLP进行处理，将Tl与对应的图像块位置信息的进行组合，得到图像块的图像嵌入，即为图像编码器的输出； 步骤3、利用训练集训练实时端到端目标检测模型，训练时以掩码作为提示输入提示编码器模块，获得训练好的实时端到端目标检测模型，用于对道路巡检过程中巡检区域的实时视频中的每一帧图像进行逐帧实时检测； 所述掩码解码器模块，用于将图像编码器输出的图像嵌入和提示编码器输出的目标令牌、提示令牌一起结合起来作为输入，最终输出预测的分割掩码，其具体工作流程为： 首先，将目标令牌、提示令牌组合成提示嵌入F0，将F0作为Query、key、value输入第一CBAM注意力机制层，第一CBAM注意力机制层输出一维的第一输出信息F1； 第一CBAM注意力机制层会在内部更新这些令牌的表示，每个令牌都会根据其他令牌的信息进行更新；对于每个令牌，计算其与集合中所有其他令牌的注意力分数，对注意力分数进行归一化，将归一化的注意力分数用作权重，对其他令牌的表示进行加权求和；更新后的令牌表示通过一个残差连接与原始令牌表示相加，接着，使用层归一化对更新后的令牌表示进行归一化处理，得到一维的第一输出信息F1； 然后，将第一输出信息F1作为Query输入进第二CBAM注意力机制层，同时，将记忆注意力模块输出的更新后的图像嵌入特征信息中的编码序列信息作为Key和Value输入进第二CBAM注意力机制层，将Query、Key跟Value组合成三维矩阵的特征信息，该特征信息经过第二CBAM注意力机制层的处理，得到一维的第二输出信息F2； 将第二输出信息F2输入到第一MLP层，经过第一MLP层的处理，得到第三输出信息F3；其中，第三输出信息F3中的与第一输出信息F1对应的部分为图像分割任务相关的掩码预测令牌，与图像嵌入特征信息中的编码像素序列信息对应的部分为用于预测分割掩码的特定图像特征表示； 然后，将第三输出信息F3作为Query被输入到第三CBAM注意力机制层，将记忆注意力的交叉注意机制的输出作为Key跟Value输入第三CBAM注意力机制层，接着经过处理更新信息后，得到一维的第四输出信息F4； 将第四输出信息F4作为key和Value与第三输出信息F3中的掩码预测令牌作为Query再次输入到第四CBAM注意力机制层，经过处理后输出每个目标点的掩码，得到一维的第五输出信息F5；其中F5中的与第一输出信息F1对应的部分为图像分割任务相关的掩码预测令牌，与图像嵌入特征信息中的编码像素序列信息对应的部分为用于预测分割掩码的特定图像特征表示； 同时，第四输出信息F4经过两次卷积，得到与原来的图像F尺寸大小相同的输出特征F6； 将第五输出信息F5中的与掩码预测令牌对应的部分输入到第二MLP层，第二MLP层的输出与输出特征F6点乘，得到最后的实例分割图。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东交通大学;重庆大学溧阳智慧城市研究院，其通讯地址为：330013 江西省南昌市经开区双港东大街808号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。