申请/专利权人：北京国泰星云科技有限公司

申请日：2023-03-30

公开（公告）日：2024-04-02

公开（公告）号：CN116343125B

主分类号：G06V20/52

分类号：G06V20/52;G06V20/40;G06V10/24

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2023.07.14#实质审查的生效;2023.06.27#公开

摘要：本发明公开了一种基于计算机视觉的集装箱箱底锁头检测方法，包括如下步骤：步骤一、通过安装在自动化港口起重设备的多台摄像头实时拍摄集卡车托架和集装箱的图像数据传输给服务器；步骤二、服务器对所获取的图像数据进行特征点检测并将多台摄像头的图像进行融合处理，输出一张图像；步骤三、服务器对融合处理后的图像数据进行目标检测，并在识别出集装箱箱底锁头特征后，对锁头进行目标跟踪，输出锁头位置信息。本发明利用目标检测算法和目标跟踪算法，实现对箱底锁头在视频流中的实时检测和跟踪，本发明方法能够自动识别锁头并输出锁头位置信息，从而提高箱底锁头检测的效率和准确性。

主权项：1.一种基于计算机视觉的集装箱箱底锁头检测方法，其特征在于：包括如下步骤：步骤一、通过安装在自动化港口起重设备的多台摄像头实时拍摄集卡车托架和集装箱的图像数据传输给服务器；步骤二、服务器对所获取的图像数据进行特征点检测并将多台摄像头的图像进行融合处理，输出一张图像；其中：对所获取的图像数据进行特征点检测并将多台摄像头的图像进行融合处理的方法包括：（1）特征点提取：1）使用高斯差分算法对多台摄像头采集的图像进行尺度空间变换，提取尺度不变的特征点；2）使用海森矩阵对特征点进行筛选，去除低对比度和不稳定的特征点；3）使用方向梯度直方图对特征点进行描述，得到特征向量；4）对于每张图像，使用SURF算法得到该图像的特征点集合；5）将特征点集合进行归一化，使得每个特征点的描述子的L2范数为1；（2）特征点匹配：1）对于两张图像，使用FLANN算法寻找最近邻特征点，得到初始的特征点对；2）使用随机抽样一致算法对初始的特征点对进行筛选，排除误匹配的特征点对；3）使用透视变换矩阵将第二张图像映射到第一张图像的坐标系中，从而实现两张图像的配准；（3）图像融合：1）将两张图像进行重叠，得到重合部分和非重合部分，其中：对于重合部分的像素，使用alpha通道对像素进行加权平均；对于非重合部分的像素，直接复制到融合后的图像中；2）改变融合缝隙附近的灰度，使得融合后的图像在边缘处产生平滑的过渡效果；步骤三、服务器对融合处理后的图像数据进行目标检测，并在识别出集装箱箱底锁头特征后，对锁头进行目标跟踪，输出锁头位置信息；其中：（一）服务器对融合处理后的图像数据进行目标检测的方法为：（1）判断当前作业区域是否出现作业集卡车；（2）若出现作业集卡车，则判断集卡车是否停车作业；（3）若集卡车停车作业，则判断集卡车是否为载箱状态；（4）若集卡车为载箱状态，则判断是否为收箱作业；（5）若为收箱作业，则采用目标检测算法来检测集装箱箱底是否有锁头：1）输入多台摄像头融合预处理后的图像；2）采用卷积神经网络对图像进行特征提取：采用一个基于PicoDet的主干网络来提取图像特征，采用的特征金字塔网络BiFPN的结构包括多层级特征融合模块和自适应特征选择模块，其中：多层级特征融合模块通过上下采样、加权融合和跨层连接操作，将来自不同层级的特征图进行融合，产生多尺度的特征图，以便在不同尺度上检测不同大小的目标；自适应特征选择模块对于每个特征图的每个空间位置，根据其自身的语义信息和周围特征图的语义信息，动态地学习一个权重，以自适应地选择和融合周围特征图的信息；3）使用多层感知器进行位置回归，得到锁头位置信息；（二）对锁头进行目标跟踪的方法为：（1）输入目标检测得到的锁头位置信息，得到锁头的初始位置和大小；（2）采用卡尔曼滤波对锁头的运动状态进行预测；（3）使用最小二乘法对锁头的轨迹进行拟合，输出锁头位置信息；（4）若跟踪到集装箱箱底锁头移动到了新的位置，则再次使用PicoDet算法检测集装箱箱底锁头并更新其位置；（5）实时对每一帧图像进行处理，直到此次作业结束；（6）从输出的连续跟踪结果中提取集装箱箱底锁头的位置信息，以便在图像中标示出集装箱箱底锁头位置区域。

全文数据：

权利要求：

百度查询： 北京国泰星云科技有限公司 一种基于计算机视觉的集装箱箱底锁头检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD