申请/专利权人：广州国交润万交通信息有限公司

申请日：2022-10-13

公开（公告）日：2024-03-15

公开（公告）号：CN115565134B

主分类号：G06V20/52

分类号：G06V20/52;G06V20/40;G06V10/74;G06T17/00

优先权：

专利状态码：有效-授权

法律状态：2024.03.15#授权;2023.03.21#实质审查的生效;2023.01.03#公开

摘要：本发明公开了一种球机监控盲区诊断方法、系统、设备及存储介质，该方法通过深度学习技术，将球机视频监控中不同监控视角的单张图像进行匹配，实现3D场景重建，重建成三维点云坐标；获取当前监控视频区域的路面标志物视频帧图片，将路面标志物从2D坐标转换为对应的3D点云坐标，具体为：获取当前视频帧图片；使用目标检测模型对路面标志物进行检测，并给出路面标志物的二维坐标；根据路面标志物的2D坐标获取对应的3D点云坐标；将路面标志物的3D点云坐标与重建的三维点云坐标进行匹配，根据匹配度来判断是否存在监控盲区。本发明通过路面分割得到路面可行使区域，并通过3D重建技术进行是否存在盲区的判断，从而减少光照影响和车流的影响。

主权项：1.球机监控盲区诊断方法，其特征在于，包括下述步骤：通过深度学习技术，将球机视频监控中不同监控视角的单张图像进行匹配，实现3D场景重建，重建成三维点云坐标，具体为：获取球机正常状态下主监控视频帧图片和多个不同角偏转角度下的视频帧图片；使用下采样提取多通道特征图；采用立体变换将其他角度的视频帧图片的特征利用单应性变换转换到主监控区域视频帧图片；使用3D卷积操作，输出每个深度的概率，求深度的加权平均得到预测的深度信息，利用多个视角的信息对深度进行滤波平滑；利用多张图片的重建约束选择正确的深度信息，重建成三维点云；获取当前监控视频区域的路面标志物视频帧图片，将路面标志物从2D坐标转换为对应的3D点云坐标，具体为：获取当前视频帧图片；使用目标检测模型对路面标志物进行检测，并给出路面标志物的二维坐标；根据路面标志物的2D坐标获取对应的3D点云坐标；所述根据路面标志物的2D坐标获取对应的3D点云坐标的步骤中，一个空间点[x,y,z]和它在图像中的像素坐标[u,v,d]的对应关系如下：u=x*fxz+cx；v=y*fyz+cy；d=z*s；fx,fy,cx,cy这四个参数定义为相机的内参矩阵C，给定内参之后，每个点的空间位置与像素坐标用矩阵模型来转换： ；将路面标志物的3D点云坐标与重建的三维点云坐标进行匹配，根据匹配度来判断是否存在监控盲区；具体为：以关键点p为中心R为半径的球体，在对数极坐标系下对3D模型形状和轮廓进行直方图的描述，在框架内，径向划分j次，经度方向划分k次，纬度方向划分l次，每个划分出来的小区域对应于j*k*l个特征向量中的一个元素，权重计算如下： ；其中，Vj,k,l是小区域的体积，pi是小区域周围的局部点密度；利用小区域体积的归一化处理，补偿小区域尺寸随半径和纬度改变而产生的巨大变化，通过计数每个小区域的点数的加权总和，计算最终的3D描述符。

全文数据：

权利要求：

百度查询： 广州国交润万交通信息有限公司 球机监控盲区诊断方法、系统、设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD