申请/专利权人：中德(珠海)人工智能研究院有限公司;珠海市四维时代网络科技有限公司

申请日：2020-10-27

公开（公告）日：2024-03-22

公开（公告）号：CN112347882B

主分类号：G06V20/64

分类号：G06V20/64;G06T5/70;G06T5/40;G06T7/00;G06T7/11;G06T7/80;G06T17/00;B25J9/16

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.03.02#实质审查的生效;2021.02.09#公开

摘要：本发明涉及工业机器人技术领域，具体涉及一种智能分拣控制方法和智能分拣控制系统，所述智能分拣控制系统应用所述智能分拣控制方法，所述智能分拣控制方法，包括：获取待分拣工件的若干个图像信息；其中，所述图像信息携带格雷码正码光栅图像和格雷码反码光栅图像的信息；根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，利用所述稠密视差图生成所述待分拣工件的3D模型；将所述3D模型输入至基于Solo框架构建的识别模型中，以完成对待分拣工件的识别及分拣。可见，该智能分拣控制方法和智能分拣控制系统，能够有效降低算法复杂度和系统运行负担，大幅度提高识别精度以及识别速度，并提升工件识别种类。

主权项：1.一种智能分拣控制方法，其特征在于，包括：获取待分拣工件的若干个图像信息；其中，所述图像信息携带格雷码正码光栅图像和格雷码反码光栅图像的信息；根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，利用所述稠密视差图生成所述待分拣工件的3D模型；将所述3D模型输入至基于Solo框架构建的识别模型中，以完成对待分拣工件的识别及分拣；所述基于Solo框架构建的识别模型为神经网络模型，所述神经网络模型是通过若干组训练数据训练获得，所述若干组训练数据中的每一组训练数据均包括已预先设定注释的各类工件3D模型，以便实现工件类型的自动识别；所述获取待分拣工件的若干个图像信息之前，还包括：对图像获取模块进行标定；其中，用于标定的标定板为黑白格棋盘；所述对图像获取模块进行标定，具体包括：通过所述图像获取模块获得不同空间角度位置拍摄的若干幅所述标定板的图像；获得每幅标定板的图像对应的参数，并根据所述参数进行图像角点检测；其中，所述参数包括被拍摄的所述黑白格棋盘上对应的棋盘格的行数、列数、物理高度和物理宽度；通过坐标变换方式实现所述参数与所述图像获取模块内参数之间的转换，再利用所述标定板的图像以及对应的所述图像获取模块的内参数，计算所述图像获取模块的外参数；通过LM算法对标定过程中计算得到的各参数进行优化，以完成所述图像获取模块的最终标定；所述获取待分拣工件的若干个图像信息，包括：通过用于向待分拣工件投射光栅图像的图像投射模块向待分拣工件投射格雷码正码光栅图像以及格雷码反码光栅图像；其中，所述图像投射模块为光栅投影仪；通过用于获取图像信息的图像获取模块从不同空间角度位置拍摄被投射格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件的图像，以完成待分拣工件图像信息的获取；其中，所述图像获取模块为双目相机；所述获取待分拣工件的若干个图像信息之后，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图之前，还包括：将携带格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件图像进行逐幅展开以及畸变校正，并通过图像预处理算法的如下公式1对经过畸变校正的待分拣工件图像进行图像增强及去噪；Fu,v＝Round[Tu,v-med_Tu,v*δ]+Tu,v1其中，Fu,v为经过图像预处理后的图像灰度，Tu,v为原始图像灰度函数，med_Tu,v为经过中值滤波后得到的图像灰度，δ为调节原始图像和经过中值滤波图像的像素灰度差值的调节因子，δ值越大，代表图像轮廓越明显，Round[·]为取证函数；分别计算携带格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件图像的各像素点的灰度值，将携带有格雷码正码光栅图像的图片像素点灰度值与携带有格雷码反码光栅图像的图片像素点灰度值作差；若差值小于零，则将该像素点对应灰度值设置为黑色，若差值大于或等于零，则将该像素点对应灰度值设置为白色；通过上述方法完成待分拣工件图像上所有像素点灰度值的调整，以得到修正后的一幅待分拣工件图片；重复上述过程，以完成所有待分拣工件图片的修正；利用如下公式2对完成修正后的待分拣工件图片进行解码，并重复上述过程直至完成所有已修正的待分拣工件图片的解码； 其中，Bi为二进制码，Gi为格雷码，0≤i≤m-1；其中，所述完成所有已修正的待分拣工件图片的解码之后，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图之前，还包括：利用Bought算法构建双目立体校正模型，以便对经过解码后的待分拣工件图片进行立体校正；基于DP优化的全局匹配算法对经过立体校正的待分拣工件图片进行立体匹配；其中，所述待分拣工件图片包括左右两幅图片；所述立体匹配，具体包括：通过如下公式3计算经过立体校正后的待分拣工件的左右两幅图片的原始匹配代价； 其中，|FiLxi-FiRyi|为左右两幅图片各像素点灰度差的绝对值，A为针对计算得到的原始匹配代价设置的预设阈值；通过如下公式4构建待分拣工件的左右两幅图片的全局匹配算法能量函数方程； 其中，Cdn代表数据项，用于约束像素点在偏移前后的变化量，Vdn，dn-1代表平滑项，用于约束像素点在偏移前后与周围像素点的关系变化量；通过如下公式5构建及优化对应数据项Cdn； 其中，u，v表示图像中像素，FiLu，v以及FiRu，v分别表示左图和右图中像素的灰度值，d表示视差值，w和k表示块分割匹配中窗口大小；利用DP算法优化平滑项Vdn，dn-1，根据所述公式4计算得到的全局匹配算法能量函数方程获得最小值，并计算此时对应的视差值，以完成待分拣工件图片的立体匹配；重复上述过程直至完成所有待分拣工件图片的立体匹配；所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，包括：利用如下公式6对待分拣工件图片的视差图进行图像分割以形成超像素块，并对分割后的每个像素赋予一个标签，针对同一超像素块内具有视差值的像素点的视差值进行滤波，将滤波结果补充至视差空洞的超像素块内，以此得到初步的稠密视差图； 其中，SLI表示每个超像素块的边长，K表示图像中像素的数量，D表示分割的超像素块数；选择所述初步的稠密视差图中的一个不平整超像素块作为目标块，利用K邻近算法搜索所述目标块相邻的超像素块，并依据距离的远近赋予这些相邻超像素块不同的权重，分别计算所述相邻超像素块与所述目标块相邻的每个超像素块的直方图，并进行两两比较直方图的相似度，筛选出相似度大于预设相似度阈值的超像素块，依据筛选出的超像素块对应的视差值的高低，对筛选出的超像素块进行重排后提取中间值，将所述中间值赋值给所述目标块，以完成所述目标块的平滑；其中，所述不平整超像素块为所述初步的稠密视差图的图像边界位置出现的需要进行平滑处理的超像素块；重复上述过程，直至完成所述初步的稠密视差图的全部平滑，以得到待分拣工件的最终稠密视差图；所述利用所述稠密视差图生成所述待分拣工件的3D模型，包括：将所述最终稠密视差图通过如下公式7计算，生成待分拣工件对应的稠密3D点云，重复上述过程直至获得所有待分拣工件图片对应的稠密3D点云； 其中，Tdouble表示两个图像获取模块中心距离，h表示经过立体校正的图像获取模块的焦距，dn表示每个像素的视差值，n≥1；利用ICP算法对在不同空间角度位置拍摄的待分拣工件图片相应的稠密3D点云进行配准拼接，再利用泊松表面重建算法生成所述待分拣工件的3D模型；所述完成对待分拣工件的识别及分拣，包括：完成对待分拣工件的识别后，提取所述待分拣工件的3D模型中图像的形状特征和几何特征，依据所述形状特征和所述几何特征，并结合用于抓取待分拣工件的机械手模块的类型计算工件抓取位置；其中，所述几何特征包括轮廓数、周长和面积；若所述机械手模块为吸盘且所述待分拣工件为平面类工件，则计算待分拣工件形心对应的像素点的坐标，再分别利用坐标变换算法和图像获取模块标定算法将所述待分拣工件的形心对应像素点的坐标转换到所述机械手模块对应坐标系下的坐标，以便所述机械手模块获得自动规划的运动路径，对所述待分拣工件进行抓取及分拣；若所述机械手模块为抓夹且所述待分拣工件为非平面类工件，则依据待分拣工件3D模型中图像的形状特征和几何特征，构建所述待分拣工件3D模型对应的最小外接矩形，并获得所述最小外接矩形对应的四个顶点坐标，利用坐标变换将所述四个顶点坐标转换为世界坐标系下对应位置点的坐标，再通过计算得到所述待分拣工件在世界坐标下最小外接矩形对应参数信息，利用图像获取模块标定算法将所述待分拣工件在世界坐标下最小外接矩形对应参数信息转换到机械手模块对应坐标系下的坐标，以便所述机械手模块获得自动规划的运动路径，对所述待分拣工件进行抓取及分拣；其中，所述参数信息包括外接矩形的宽、高以及外接矩形的宽相对于世界坐标系的X轴的夹角。

全文数据：

权利要求：

百度查询： 中德(珠海)人工智能研究院有限公司;珠海市四维时代网络科技有限公司 一种智能分拣控制方法和智能分拣控制系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD