申请/专利权人：上海城建城市运营(集团)有限公司

申请日：2020-10-13

公开（公告）日：2024-04-09

公开（公告）号：CN112348775B

主分类号：G06T7/00

分类号：G06T7/00;G06T7/62;G06T7/73;G06T7/80;G06T7/90;G06T3/047;G06T3/4038;G06T5/80;G06V10/44;G06V10/764;G06V10/80;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2021.03.02#实质审查的生效;2021.02.09#公开

摘要：本发明揭示了一种基于车载环视的路面坑塘检测系统及方法，所述路面坑塘检测系统包括：图像采集模块，用以获取视频流数据；矫正模块，用以对所述图像采集模块获取的图像进行畸变矫正；鸟瞰拼接模块，用以对经过所述矫正模块矫正的图像进行融合拼接；深度特征提取模块，用以基于深度神经网络对不同路况下坑塘目标信息的量化和习得特征抽取；病害分析模块，用以基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，获取图像中潜在的坑塘位置及坑塘目标区域的大小。本发明可实现在复杂路面及光照环境下快速准确的对路面坑塘病害进行检测。

主权项：1.一种基于车载环视的路面坑塘检测系统，其特征在于，所述路面坑塘检测系统包括：图像采集模块，用以获取视频流数据；矫正模块，用以对所述图像采集模块获取的图像进行畸变矫正；鸟瞰拼接模块，用以对经过所述矫正模块矫正的图像进行融合拼接；深度特征提取模块，用以基于深度神经网络对不同路况下坑塘目标信息的量化和习得特征抽取；以及病害分析模块，用以基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，获取图像中潜在的坑塘位置及坑塘目标区域的大小；所述矫正模块用以利用多张棋盘格鱼眼图像，在已知棋盘格方格尺寸的前提下，通过角点特征提取，确定鱼眼图像中每个方格顶点的位置，建立关于下列多项式函数的超定非线性方程组，通过求其最小二乘解，得到鱼眼相机内参a0，a1，a2，...，aNfρ＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...其中u、v分别为像素点在传感器平面的坐标；在求解上述鱼眼相机内参的过程中，得到无畸变传感器平面图像u，v和畸变图像u′，v′的放射变换关系： 根据上述放射变换关系，为了加速鱼眼矫正模块的运算速度，建立畸变鱼眼图像到无畸变线性平面图像映射的第一查找表LUT1；所述鸟瞰拼接模块，用以根据广角相机模型，fu，v＝PX；其中，fu，v即为上述多项式函数fρ＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面；基于投影矩阵P，建立矫正图像与鸟瞰图像转换关系的第二查找表LUT2；所述拼接采用图像融合方法，该方法基于像素值的加权平均平滑转换；设定图像I1x，y和图像I2x,y是需要无缝拼接的两幅相邻平面图像，x,y是像素坐标；融合后的图像像素值为： 其中，a是权重系数，由下面公式计算： 其中，r和c分别代表两幅拼接图像重叠区域的长和宽；k是增益；亮度平衡是指环视系统中，所拼接的环视图像来源于四个独立相机成像，亮度曝光不尽相同；需要利用增益补偿算法来最小化全局亮度差异，使得环视拼接图像亮度一致；对于一个图像序列s1、s2、s3、s4，假设si-1和si是两幅相邻的平面图像，在它们的重叠区域，计算图像si的校正系数： 其中，cc，jρ是像素点p在色彩通道c的伽马矫正后的颜色值；三维二维坐标转化方式为：fu，v＝PX；其中，fu，v即为上述多项式函数fρ＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面。

全文数据：

权利要求：

百度查询： 上海城建城市运营(集团)有限公司 基于车载环视的路面坑塘检测系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD