申请/专利权人：大连海事大学

申请日：2021-09-26

公开（公告）日：2024-04-02

公开（公告）号：CN113850848B

主分类号：G06T7/277

分类号：G06T7/277;G06T7/73;G06V10/74;G06T7/66;G06T7/136;G06T7/11;G06T7/187;G01S13/937;G01S13/66

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.01.14#实质审查的生效;2021.12.28#公开

摘要：本发明公开了一种无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法，包括：读取雷达图像与视觉传感器图像信息并进行预处理和深度处理；通过获取得到的雷达图像的比例尺，获取无人艇周围环境中的障碍物的距离、方位等；读取到障碍物目标信息控制视觉传感器旋转到障碍物方向，读取摄像机图像，使用YOLOv5s算法对无人艇航行环境中的障碍物进行检测，检测出无人艇航行环境中的海面船只；对视觉传感器中检测到目标船只使用卡尔曼滤波和匈牙利算法进行目标跟踪；通过目标检测算法得到目标在视觉图像中的位置信息控制云台转动实现长期的目标检测和跟踪，在出现短期和长期目标丢失时，采用记忆追踪和航海雷达辅助云台追踪的方案。

主权项：1.一种无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法，其特征在于包括：读取搭载在无人艇上的航海雷达和视觉传感器采集到的目标船只的航行状态信息获取雷达图像和视觉传感器图像；对雷达图像进行降像素、平滑和灰度处理，再对得到的图像进行连通域提取和面积滤波处理获得雷达清晰图像；对雷达清晰图像进行障碍物轮廓提取，采用OpenCV库中的轮廓提取函数提取图像中的障碍物轮廓并求取障碍物质心，根据障碍物质心获取障碍物与无人艇的距离和方位信息；基于所述距离和方位信息控制视觉传感器旋转到障碍物方向，读取视觉传感器图像，采用YOLOv5s算法对无人艇航行环境中的障碍物进行检测，获取无人艇航行环境中的目标船只；采用卡尔曼滤波算法对视觉传感器中检测到的目标船只进行目标跟踪；当视觉传感器中心检测到目标船只后，利用检测框中心点横坐标位置与图像中心点位置之间的差值控制云台的转动，从而对目标船只进行长期跟踪；所述采用卡尔曼滤波算法对视觉传感器中检测到的目标船只进行目标跟踪时，具体采用如下方式：使用8维向量对图像中船只目标轨迹进行描述，其中μ,ν为预测框的中心坐标位置，框体的长宽比为γ，框体高度为h和这四个参数的速度信息使用卡尔曼滤波对跟踪轨迹信息进行预测，卡尔曼滤波器使用匀速模型和线性观测模型，观测向量选取为μ,ν,γ,h；利用马氏距离的运动匹配和方向梯度直方图特征的二范数的融合值，对船只目标的预测位置和检测位置进行相似性的度量匹配；对一个均值是μ，协方差阵为∑的随机变量，马氏距离M计算如下式所示： 使用马氏距离对船只目标的检测位置与卡尔曼滤波的跟踪信息进行运动匹配程度的计算： 式中d1i,j为第i条轨迹和第j个检测框间的运动匹配程度，为第i条轨迹卡尔曼滤波预测得到的协方差预测矩阵，yi为第i条轨迹状态向量，dj为第j个检测框状态向量；对预测位置和检测位置进行相似性的度量匹配，即度量值d1i,j；根据检测位置得到检测框、根据预测位置得到跟踪框，提取检测框和跟踪框之间的HOG特征归一化的向量，使用欧式距离对未匹配的检测框和跟踪框进行匹配，求取这两个向量间的欧氏距离，即对这两个向量的差向量的最大奇异值进行提取，即差向量的二范数，如果差向量的二范数越小，则两向量所代表的轮廓越相似：d2i,j＝normHi-H'j,2d2i,j为未匹配的第j个检测框和第i个跟踪框的HOG特征向量之间的欧式距离，Hi表示未匹配的第i个跟踪框的HOG特征的归一化向量，H'j表示未匹配的第j个检测框的HOG特征的归一化向量；通过这两个度量值之间的融合值进行匈牙利匹配，融合值计算如下：a＝λd1i,j+1-λd2i,j通过融合值表示检测框与跟踪框的匹配程度，设当前检测框由J个，轨迹有L条，能够获得一个L×J的目标匹配矩阵CL×J，使用匈牙利匹配算法找到匹配数量最大且匹配成功的全部检测框与轨迹的马氏距离之和最小的匹配方案；当跟踪框与检测框匹配成功后，通过跟踪框得到船只目标图像跟踪结果。

全文数据：

权利要求：

百度查询： 大连海事大学 无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD