买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明公布】一种移动式面向2D图像的3D河蟹实时检测方法_江苏大学;常州市金坛区水产技术指导站_202011064927.3 

申请/专利权人:江苏大学;常州市金坛区水产技术指导站

申请日:2020-09-30

公开(公告)日:2021-01-12

公开(公告)号:CN112215116A

主分类号:G06K9/00(20060101)

分类号:G06K9/00(20060101);G06K9/34(20060101);G06K9/46(20060101);G06T7/60(20170101);G06T7/70(20170101);G06N3/04(20060101)

优先权:

专利状态码:有效-授权

法律状态:2022.06.24#授权;2021.01.29#实质审查的生效;2021.01.12#公开

摘要:本发明公开了一种移动式面向2D图像的3D河蟹实时检测方法,该方法通过安装在自动投饵船下方的CMOS摄像头进行俯拍,随船运动,连续采集能够反映河蟹自然生活状态的水下二维RGB图像,并利用注释工具和增强现实会话数据共同建立具有标注姿态且形状多变的河蟹数据集;受无锚框机制启发,采用高斯中心分布仅从单个RGB图像出发,在编码器‑解码器架构提取特征后,采用形状、检测和回归相辅的多任务联合学习方式预测未知河蟹的2D边界框;再通过完善的姿态估计算法EPnP,将2D预测扩展到3D边界框以估计河蟹的姿态和物理尺寸,从而构建超轻量型单阶3D河蟹检测模型。该方法能够提高自动投饵船的变量投饵效率和投喂效果。

主权项:1.一种移动式面向2D图像的3D河蟹实时检测方法,其特征在于,包括以下步骤:步骤1,通过安装在自动投饵船下方的CMOS摄像头进行俯拍,随船运动,连续采集能够反映河蟹自然生活状态的水下二维RGB图像;步骤2,利用新颖的标注工具以3D矩形边界框方式,快速标记采集的真实2D视频帧图像数据中的河蟹,并与利用增强现实会话数据合成的具有3D边界框、分割和坐标图标签的3D数据,共同建立具有标注姿态且形状多变的河蟹数据集;步骤3,构建超轻量型单阶3D河蟹检测模型,采用高斯中心分布仅从单个RGB图像出发,在编码器-解码器架构提取特征后,采用形状、检测和回归相辅的多任务联合学习方式预测未知河蟹的2D边界框;再通过完善的姿态估计算法EPnP,将2D预测扩展到3D边界框以估计河蟹的姿态和物理尺寸,该3D检测模型主要由主干网、预测头和后处理三部分构成,具体如下:步骤3.1,以编码器-解码器架构作为3D河蟹检测模型的主干,并选择超轻量的MobileNetV3来构建主干网络的编码器;步骤3.2,在主干网络后的预测头采用多任务联合学习:形状预测、目标检测和回归任务,通过检测和回归共同预测河蟹的形状,预测的河蟹形状会在网络输出用于构建2D-3D的对应关系;步骤3.3,后处理部分提取检测输出的峰值,利用完善的姿态估计算法EPnP,在无需先验了解河蟹尺寸的情况下恢复并最终获取河蟹的3D黏连边界框,然后基于获取的3D黏连边界框,可以轻松估算河蟹的姿态和大小;步骤4,采用建立的河蟹数据集在TensorFlow框架中训练3D河蟹检测模型,使用Adam优化器更新和计算影响模型训练和模型输出的网络参数,使其逼近或达到最优值,从而训练出最优的模型实现未知河蟹快速精准的3D检测和大小测量;步骤5,为了能够在自动投饵船上部署训练的3D检测模型,将其转换为TFLite模型,并在转换过程中删除一些推理计算不需要的层。

全文数据:

权利要求:

百度查询: 江苏大学;常州市金坛区水产技术指导站 一种移动式面向2D图像的3D河蟹实时检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术