申请/专利权人：浙江大学

申请日：2024-01-12

公开（公告）日：2024-04-12

公开（公告）号：CN117876397A

主分类号：G06T7/11

分类号：G06T7/11;G06T17/00

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：一种基于多视角数据融合的桥梁构件三维点云分割方法，该方法将二维图像分割模型引入到三维点云分割领域，实现了二维图像与三维点云之间的像素级交互。具体实施步骤为：①收集桥梁构件多视角图像数据；②搭建桥梁构件三维重建方法框架，利用所述的多视角图像数据重建桥梁构件三维点云模型；③搭建并训练DeepLabv3语义分割模型，输出多视角图像分割掩码；④通过多视角数据融合准确分割桥梁构件原始重建点云；⑤基于分割后的桥梁构件点云进行桥梁结构质量评估，包括尺寸质量评估、桥梁病害检测等。本发明公开的方法能够实现桥梁构件点云的三维重建和高精度分割，为桥梁结构的质量评估提供了有力工具。

主权项：1.一种基于多视角数据融合的桥梁构件三维点云分割方法，其特征在于，包括以下步骤：A.收集桥梁构件多视角图像数据；B.搭建桥梁构件三维重建方法框架，利用所述的多视角图像数据重建桥梁构件三维点云模型；B1.基于改进StructurefromMotionSfM方法计算各视角的相机位姿，并输出桥梁构件的稀疏点云，具体为：提取所有多视角图像特征并进行特征匹配；选择两张图片，基于PnP算法估计对应图像下相机位姿，并重建三维坐标点；用BundleAdjustment算法进行优化，消除估计点的误差；对于剩下的多视角图片，重复以上步骤，完成稀疏点云的重建；B2.基于Multi-viewStereoMVS算法估计已知位姿多视角图像的深度信息，输出目标稠密点云；C.搭建并训练改进DeepLabv3图像语义分割模型，输出多视角图像分割掩码；C1.搭建改进DeepLabv3语义分割模型，该模型由ResNet50主干网络、ASPP结构和预测Head三部分组成，为提高图像分割精度，引入下述改进措施：将卷积注意力机制模块集成到原始DeepLabv3的主干网中；提出一种密集连接的ASPP结构，即DC-ASPP结构，以替代原有的ASPP结构；C2.收集桥梁构件的图像数据，利用数据增强技术即翻转、裁剪、对比度、亮度、饱和度等扩充图片数量；对收集到的图像进行标注，标注对象为图像中桥梁构件部分的像素，从而形成桥梁构件的语义分割数据集；C3.将数据集分割为训练集与测试集，训练数据集用于训练改进DeepLabv3模型，测试数据集用于评估改进DeepLabv3模型的分割性能；使用训练好的改进DeepLabv3模型分割所述的桥梁构件多视角图像，输出多视角图像分割掩码，其中桥梁构件的像素值为1，背景的像素值为0；D.基于多视角数据融合实现桥梁构件重建点云的准确分割；D1.基于相机内、外参数将重建点云的点坐标投影到各个相机视角下的像素坐标系中，其中相机外参来自于三维重建方法得到的相机位姿，相机内参来自于张正友标定法；去除像素坐标系下坐标范围不在原始图像长宽范围内的点，得到多视角下的深度图像；D2.将多视角下的深度图像与分割掩码相对应，去除深度图像中背景部分的点，得到分割后的深度图像；D3.将分割后的深度图像按照相机坐标转换关系重新投影回三维点云坐标系中，每个视点对应一张深度图像；为了避免从当前视点看到的点云中，隐藏在桥梁构件背后的背景点被错误地还原到点云坐标系中，采用HiddenPointsRemovalHPR算法来去除这些不可见点；D4.将多个视角下还原得到的桥梁构件点云融合，去除其中距离过近的重复点，得到语义分割后的桥梁构件点云；E.基于分割后的桥梁构件点云进行桥梁构件质量评估，包括尺寸质量评估、桥梁病害检测等。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于多视角数据融合的桥梁构件三维点云分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD