买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜福州大学申请的专利基于图像融合的遮挡目标数据采集与姿态识别的方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116030316B 。

龙图腾网通过国家知识产权局官网在2025-05-20发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211680663.3，技术领域涉及：G06V10/774；该发明授权基于图像融合的遮挡目标数据采集与姿态识别的方法是由陈丹;林哲;徐哲壮;羊淼海;柯寅;曾元仑设计研发完成，并于2022-12-26向国家知识产权局提交的专利申请。

本基于图像融合的遮挡目标数据采集与姿态识别的方法在说明书摘要公布了：本发明涉及一种基于图像融合的遮挡目标数据采集与姿态识别的方法。包括图像随机融合生成特定数据集和利用模板点云信息进行网格下采样并配准得到目标姿态。通过图像融合方式生成特定目标的遮挡数据集，减少人工采集图像成本；通过统计图像融合过程中不同目标数据量，保证图像融合均衡性，进行动态数据集补充，保证不同目标数据量的平衡，减小检测器的过拟合程度；通过网格下采样、设定阈值等方法减小点云配准过程的计算量，最后计算横偏角得到目标姿态；由此提出遮挡目标检测与姿态识别方法。本发明可以识别严重遮挡目标，并且得到目标的姿态，实现高效率遮挡目标图像融合与姿态识别，具有非常高的工程应用价值。

本发明授权基于图像融合的遮挡目标数据采集与姿态识别的方法在权利要求书中公布了：1.一种基于图像融合的遮挡目标数据采集与姿态识别的方法，其特征在于，包括如下步骤：S1、图像预处理：采集K种目标物体在机械臂正下方并且姿态保持与机械臂末端成90°的RGB图K张；对图像进行分割，将每个种类的目标物体均提取在一张像素为grd,ggd,gbd的图中，得到K张不同目标物体的前景图，并采集一张不包含任何目标物体的工作台背景图，即得到K+1张图像；S2、图像融合：对K张前景图随机选取i张，以目标物体中心点坐标作为旋转中心随机旋转预定角度；对随机旋转完后的前景图，遍历所有像素值，将像素值非grd,ggd,gbd的像素点坐标存储于集合M＝[x1,y1,x2,y2,…xm,ym]中，为保证旋转后的目标物体能完整显示在图片中，以集合M中所有坐标的中心点作为扩充或裁剪中心，将旋转后的图片尺寸扩充或裁剪为统一尺寸W，H；S3、重新对像素矩阵进行遍历，更新M中坐标信息；判断M中的所有点坐标是否落入工作台范围x∈xs,xe,y∈ys,ye，取工作台中心若存在某个点不在工作台范围中，分情况判断并进行平移操作；S4、完成平移操作后，将工作台背景图中像素值非grd,ggd,gbd的像素值替换成前景图中同位置的像素值，批量生成n张图片，统计K种前景图被随机使用次数Ci，将Ci存入集合N＝[C1,C2,…CK]；S5、为保证数据采集均衡性，判断集合N中C1,C2,…CK是否相等；若不相等，对集合N从大到小进行排序得到N＝[Cm1,Cm2,…CmK]，以集合N中最大的Cm1值作为标准，利用除了Cm1外的前景图进行随机旋转，并融合生成Cm1-Cm2张图片；更新集合N，再次判断N中其他Ci-1是否等于Cm1，若其余Ci-1有一个或多个等于Cm1，则仅对剩余Ci不等于Cm1的前景图进行同样操作，直到所有Ci＝Cm1；S6、对生成的数据集进行划分训练集和验证集，并利用卷积神经网络进行训练得到检测器；利用检测器对目标物体进行检测，将目标物体检测框的坐标定位于深度图中，通过检测框的坐标得到目标物体的RGB图以及深度图，并由RGB-D图得到对应的点云图；S7、由得到点云图进行网格下采样，与机械臂末端成90°的物体点云图作为模板点，记为集合Q＝{q1,q2,....qn}；检测的目标物体点云图作为目标点，记为集合P＝{p1,p2,....pn}；根据集合Q的点利用最近邻法来估计集合P中对应点的坐标，为简化计算量，设定距离阈值θ，当距离小于阈值θ时，将其作为对应点；计算欧式变换：pi＝Rqi+t；其中R为旋转矩阵，t为平移矩阵；基于最小二乘法进行迭代计算，使得误差平方和达到极小值：输出最终的旋转矩阵R和平移矩阵t作为位姿变换；S8、在线检测：经过图像融合数据集训练过的模型，对目标进行检测时，得到目标物体的检测框坐标信息定位于深度图中，由RGB-D图得到对应目标点云图；再对目标进行点云配准，得到旋转矩阵R和平移矩阵t，机械臂末端姿态满足旋转矩阵和平移矩阵要求，到达目标点抓取目标物体；步骤S2具体实现如下：S21、随机旋转前，遍历前景图的像素矩阵，将像素值非grd,ggd,gbd的像素点坐标存储于集合M＝[x1,y1,x2,y2,…xm,ym]中，以集合M中第或个坐标或作为旋转中心xc,yc对前景图进行随机旋转；S22、得到旋转完后前景图的尺寸，同时对随机旋转完后的前景图，遍历所有像素值，将像素值非grd,ggd,gbd的像素点坐标存储于集合M＝[x1,y1,x2,y2,…xm,ym]，为保证训练集图像尺寸均为W，H，需要对旋转完后的前景图进行填充或裁剪；判断旋转完后的图像尺寸WR,HR与W，H的差距，计算WR,HR与W，H的差w1＝WR-W和h1＝HR-H，根据不同的情况选择修正的形式；具体修正方法如下：情况一：当h10且w10，对高利用像素值为grd,ggd,gbd的像素点扩充至H；若在像素矩阵右端补充列像素值为grd,ggd,gbd的像素点；若则在像素矩阵左端补充列像素值为grd,ggd,gbd的像素点；若不做任何补充；最终均以作为宽度，以0,H作为高度；情况二：当h10且w10，对高利用像素值为grd,ggd,gbd的像素点扩充至H；对宽利用像素值为grd,ggd,gbd进的像素点扩充至W；最终均以0,W作为宽度，以0,H作为高度；情况三：当h10且w10，对宽利用像素值为grd,ggd,gbd的像素点扩充至W；若在像素矩阵末端补充行像素值为grd,ggd,gbd的像素点；若在像素矩阵起始补充行像素值为grd,ggd,gbd的像素点；若不做任何补充；最终均以0,W作为宽度，以作为高度；情况四：当h10且w10，若在像素矩阵右端补充列像素值为grd,ggd,gbd的像素点；若在像素矩阵左端补充列像素值为grd,ggd,gbd的像素点；若则不做补充；若在像素矩阵末端补充行像素值为grd,ggd,gbd的像素点；若在像素矩阵起始补充行像素值为grd,ggd,gbd的像素点；若不做任何处理；最终均以作为宽度，作为高度；情况五：1当h1＝0且w1＝0，无需裁剪，保留原图片即可；2当h1＝0且w10，若在像素矩阵右端补充列像素值为grd,ggd,gbd的像素点；若在像素矩阵左端补充列像素值为grd,ggd,gbd的像素点；最终均以作为宽度，以0,H作为宽度；3当h1＝0且w10，对宽利用像素值为grd,ggd,gbd的像素点扩充至W，最终均以0,W作为宽度，以0,H作为高度；4当w1＝0且h10，若在像素矩阵末端补充行像素值为grd,ggd,gbd的像素点；若在像素矩阵起始补充行像素值为grd,ggd,gbd的像素点；最终均以0,W作为宽度，以作为高度；5当w1＝0且h10，对高利用像素值为grd,ggd,gbd的像素点扩充至H；最终均以0,W作为宽度，以0,H作为高度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。