申请/专利权人：福建南方路面机械股份有限公司;华侨大学

申请日：2023-12-13

公开（公告）日：2024-04-16

公开（公告）号：CN117422709B

主分类号：G06T7/00

分类号：G06T7/00;G06N3/0464;G06N3/048;G06N3/08;G06V10/80;G06V10/82;G06V20/52

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2024.02.06#实质审查的生效;2024.01.19#公开

摘要：本发明公开了一种基于RGB图像和深度图像的坍落度预测方法及装置，涉及坍落度预测领域，该方法包括：获取混凝土搅拌阶段采集到的混凝土表面的原始RGB图像序列和原始深度图像序列，对原始RGB图像序列和原始深度图像序列进行预处理，得到RGB图像序列和深度图像序列；构建基于双模态特征融合的坍落度预测模型并训练，得到经训练的坍落度预测模型；将RGB图像序列中的RGB图像及其对应的深度图像序列中的深度图像输入经训练的坍落度预测模型，得到坍落度的预测值，以解决在混凝土搅拌过程中实时检测坍落度的问题。

主权项：1.一种基于RGB图像和深度图像的坍落度预测方法，其特征在于，包括以下步骤：获取混凝土搅拌阶段采集到的混凝土表面的原始RGB图像序列和原始深度图像序列，对所述原始RGB图像序列和原始深度图像序列进行预处理，得到RGB图像序列和深度图像序列，具体包括：对所述原始深度图像序列中的原始深度图像进行噪点去除，得到经处理的原始深度图像序列；对所述原始RGB图像序列中的原始RGB图像进行亮度提高，得到经处理的原始RGB图像序列；将所述经处理的原始深度图像序列和所述经处理的原始RGB图像序列根据对应的搅拌时刻进行对齐，得到对齐后的原始深度图像序列和对齐后的原始RGB图像序列；将所述对齐后的原始深度图像序列和所述对齐后的原始RGB图像序列进行时间段截取，得到截取后的原始深度图像序列和截取后的原始RGB图像序列，所述时间段截取所对应的图像为混凝土搅拌轴旋转一周的图像；将所述截取后的原始深度图像序列和所述截取后的原始RGB图像序列进行尺寸变换和归一化处理，得到RGB图像序列和深度图像序列；构建基于双模态特征融合的坍落度预测模型并训练，得到经训练的坍落度预测模型；将所述RGB图像序列中的RGB图像及其对应的所述深度图像序列中的深度图像输入所述经训练的坍落度预测模型，得到坍落度的预测值，所述坍落度预测模型包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层、展平层和全连接层，所述RGB图像序列中的RGB图像及其对应的所述深度图像序列的深度图像进行拼接后输入所述第一卷积层，通过所述全连接层输出所述坍落度的预测值，在图像预处理之后，在输入坍落度预测模型之前，先将RGB图像序列中的RGB图像及其对应的深度图像序列的深度图像进行特征融合，经过特征融合后，RGB图像序列中的RGB图像及其对应的深度图像序列的深度图像合二为一，形成RGB-D图像，后续对其进行特征提取，提取的特征同时拥有RGB图像和深度图像两者的特征信息，最终将这些特征送入全连接层中与坍落度值建立坍落度与RGB-D图像之间的数学关系。

全文数据：

权利要求：

百度查询： 福建南方路面机械股份有限公司;华侨大学 基于RGB图像和深度图像的坍落度预测方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD