申请/专利权人：重庆邮电大学

申请日：2018-05-02

公开（公告）日：2020-03-17

公开（公告）号：CN108529180B

主分类号：B65G47/248(20060101)

分类号：B65G47/248(20060101);B65G57/22(20060101);B65G61/00(20060101);G06T7/00(20170101);G06T7/33(20170101)

优先权：

专利状态码：有效-授权

法律状态：2020.03.17#授权;2018.10.16#实质审查的生效;2018.09.14#公开

摘要：本发明请求保护一种基于机器视觉的不规则烟包组合码垛系统，包括通过视觉系统对不规则烟包图像进行处理得到目标二值图，然后提取烟包的角点特征从而进行特征点匹配并且用改进的RANSAC算法消除其中的误匹配点对，实现烟包的识别匹配，其识别结果再与上位机数据库中的订单烟包信息校对。完成校对后，烟包进入组合码垛系统，依据上位机的预排列算法组合码垛进行调整并精确定位，最后由码垛机器人抓取码垛。本发明中，不规则烟包正确识别率达100％，高效且快速的完成不规则烟包的校对和组合码垛。创造出一种新的烟包自动码垛模式，促使烟草物流行业向智能化迈出坚实的一步。

主权项：1.一种基于机器视觉的不规则烟包组合码垛系统，其特征在于，包括：组合码垛系统和视觉识别系统，所述视觉识别系统包括视觉检测区1和图像处理设备2，其中图像处理设备2包括工业CCD相机、镜头和光源，当烟包进入检测区，上位机则发送指令采集烟包图像并进行处理；所述组合码垛系统包括硬件部分和软件部分，所述硬件部分主要包括翻转机构3、矫正装置4、工业机器人5、机械抓手6、气动装备7、缓冲平台8、升降平台9和托盘管理装置10，所述翻转机构3与矫正装置4相连接，气动装备7连接于矫正装置4末端，缓冲平台8与矫正装置4相连接，机械抓手6安装在工业机器人5末端，其中翻转机构3对需要翻转的目标烟包完成180°翻转；矫正装置4用于对烟包的位姿矫正和固定，以方便工业机器人的快速抓取，所述工业机器人5的末端执行机构为机械抓手6，用于烟包的抓放而不损坏烟包；升降平台9和托盘管理装置10协同对托盘的固定、自由升降和自动输送；所述软件部分包括上位机控制模块和底层PLC模块以及机器人执行模块，所述上位机控制模块用于完成不规则烟包的预排层处理、烟包路径规划和实时信息的监控；底层PLC模块控制翻转机构、矫正装置、抓手、升降平台以及传感器的信号反馈；机器人执行模块包括接收启动停止信号，根据上位机发送的烟包码放路径实时执行码垛动作。

全文数据：一种基于机器视觉的不规则烟包组合码垛系统技术领域[0001]本发明属于不规则烟包控制领域，尤其涉及基于机器视觉的不规则烟包组合码垛系统。背景技术[0002]在烟草物流的码垛装配中，由于客户订单的复杂性和随机性会导致数量不同的条烟包装成形状不同的烟包，卷烟行业要求必须5层为一个整体，交叉码放，以利于码放的稳定性同时避免条烟的损坏。所以由25条条烟组成的整5X5烟包是可以直接简单的进行码垛，而其他不规则形状的烟包则需要匹配成五层烟包再进行码垛操作。目前常用的码垛系统和传统码垛机一样，一般是对单一或是规则的物体搬运码垛，过程中动作固定智能化程度较低，这对于多品种不规则的组合码垛则无法满足需求。而这正是目前需要研究解决的问题。[0003]而在组合码垛过程中有一点十分关键的因素就是要确保输送带上烟包实时信息的正确，一旦因为人工失误或者包装时出错导致输送带的实时烟包与数据库原本的烟包信息有所偏差则会导致后续工序的连续错误。为此，引入机器视觉识别系统，对输送带上的不规则烟包识别校对，及时反馈烟包信息，避免码垛时组合匹配的错误，增加了整个系统的智能化程度和安全性。发明内容[0004]本发明旨在解决以上现有技术的问题。提出了一种增加了整个系统的智能化程度和安全性的方法。本发明的技术方案如下：[0005]—种基于机器视觉的不规则烟包组合码垛系统，其特征在于，包括:组合码垛系统和视觉识别系统，所述视觉识别系统包括视觉检测区和图像处理设备，其中图像处理设备包括工业CCD相机、镜头和光源，当烟包进入检测区，上位机则发送指令采集烟包图像并进行处理;所述组合码垛系统包括硬件部分和软件部分，所述硬件部分主要包括翻转机构、矫正装置、工业机器人、机械抓手、气动装备、缓冲平台、升降平台和托盘管理装置，所述翻转机构与矫正装置4相连接，气动装备连接于矫正装置末端，缓冲平台与矫正装置相连接，机械抓手安装在工业机器人末端，其中翻转机构对需要翻转的目标烟包完成180°翻转;矫正装置用于对烟包的位姿矫正和固定，以方便工业机器人的快速抓取，所述工业机器人的末端执行机构为机械抓手，用于烟包的抓放而不损坏烟包;升降平台和托盘管理装置协同对托盘的固定、自由升降和自动输送;所述软件部分包括上位机控制模块和底层PLC模块以及机器人执行模块，所述上位机控制模块用于完成不规则烟包的预排层处理、烟包路径规划和实时信息的监控;底层PLC模块控制翻转机构、矫正装置、抓手、升降平台的控制以及传感器的信号反馈;机器人执行模块包括接收启动停止信号，根据上位机发送的烟包码放路径实时执行码垛动作。[0006]进一步的，在连续输送中，当输送不规则烟包传送至视觉校对区，上位机通过CCD相机拍取不规则烟包侧面照片，获取数字化图像的信息，在经过图像预处理得到较为理想的目标二值图后就进行特征提取;再对目标二值图采用Harris角点特征提取，结合归一化互相关的匹配方法完成特征粗匹配，最后利用改进的RANSAC算法提高匹配精度，利用目标图与模板特征点之间正确配对的点对相对斜率相等的关系做出改进以排除误匹配对点，实现不规则烟包配准以确定烟包条烟的数量，最后将校对结果反馈给组合码垛系统。[0007]进一步的，在上位机中将每天的烟包订单数据信息导入到自己的数据库中，使用预排层算法计算出每个烟包需要进行的处理包括是否需要匹配、待匹配的烟包在缓冲区的暂放位置、是否需要翻转、缓冲区摆放位置及在托盘上摆放位置在内的数据，并将这些数据保存在上位机中等待PLC的调用;翻转机构以及校正装置处各安装了一个计数器，并将计数值采集并发送到上位机，计数值用于确定当前待处理烟包的序列，上位机将对应此序列的烟包需要进行的操作编码发送给PLC，由PLC控制现场设备实现对烟包的翻转和校正;根据上位机的计算结果，系统最终确定烟包是否可以直接在托盘上码放，如果不能则会在缓冲区中寻找合适的烟包进行匹配然后再进行码垛，如果依然无法满足条件，则将烟包放置在缓冲区中等待后面烟包的匹配。[0008]进一步的，所述图像预处理主要包括图像的增强，图像滤波和图像二值化以及孔洞填充步骤;所述图像的增强通过改变灰度值而达到对比度增强的效果，增加图像中目标和背景的区分度；图像滤波是通过直方图均衡、线性灰度变换来实现；图像二值化主要采用中值滤波、均值滤波;孔洞填充主要采用FloodFill算法.[0009]进一步的，所述改进的RANSAC算法具体包括步骤:利用准确匹配点间相对斜率相同的关系来剔除误匹配点，设A1,^和BllBj是处理后的图像A和待匹配的模板图像B两两正确的匹配对，那么Ai和Bi的绝对斜率kAi，Bi等于Aj和Bj的绝对斜率kAj，Bj，基于以上原理，利用参考图像A中的A1与它自身中所有的特征点、的斜率关系和待匹配图像B中的B1与它自身中所有的特征点的斜率关系的相似性评价两点对应关系，提出如下的评价函数：[0012]KiJ=[kAi，Bi+kAj，Bj]2⑶[0013]其中T⑴表示特征点i的匹配度，Ri，j表示A1,81与各自图像每个兴趣点斜率的相对差异;Ki，j表示Ai，Bi与各自图像每个兴趣点的评价斜率，kAi，Aj表示图像A中Ai和Aj两点间的斜率，kAhBj表示、和叫的绝对斜率kAhBj。这样消除误匹配点对后模板图与目标处理图实现了精确的特征点配对。[0014]本发明的优点及有益效果如下：[0015]本系统对于不规则烟包码垛确保着的精确性和实用性，在保证码垛可靠性的同时还满足码垛的速度要求。同时探索了烟包自动匹配、码垛等技术的可行性，完成了多项技术的融合，创造出一种基于机器视觉的烟包自动码垛模式，大大增加了码垛的智能化程度，减少由于误操作导致的码垛错误，同时也减轻了工人的劳动强度，促使烟草物流行业向智能化迈出坚实的一步，初步形成了烟包机器人自动码垛新模式，对全省乃至全国的机器人码垛研究具有一定的参考价值和指导意义。[0016]创新点：对不规则烟包多形状的特征提出了一种新的组合码垛的方法，通过翻转机构和矫正装置等机械装置协同对烟包位姿经行调整以方便工业机器人的组合匹配和码垛。除此，引入机器视觉系统，使之集成融合，增加了整个码垛系统的稳定性和智能化。在特征匹配过程中对RANSAC方法提出改进有效的消除了匹配点对中的误匹配点对。附图说明[0017]图1是本发明提供优选实施例系统布局示意图；[0018]图2系统框架图；[0019]图3组合码垛流程；[0020]图4是视觉处理流程图；[0021]图5是预处理流程图；[0022]图6角点示意图。具体实施方式[0023]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。[0024]本发明解决上述技术问题的技术方案是：[0025]本发明旨在解决以上问题，提出了一种新的基于机器视觉的不规则烟包校对码垛系统。不规则烟包正确识别率达100%，高效且快速的完成不规则烟包的校对和组合码垛，在保证码垛可靠性的同时还满足安全码垛的要求。创造出一种新的烟包自动码垛模式，促使烟草物流行业向智能化迈出坚实的一步。本发明技术方案如下：[0026]该系统由组合码垛系统（3-11和视觉识别系统（1-2两部分构成。系统布局示意图如附图1所示。其中组合码垛系统为整个系统的框架支撑，针对不规则烟包码垛设计的机械设备和算法实现对码垛烟包的预排层、位姿调整、及上位机界面、机械臂动作编程与信号反馈等。[0027]组合码垛系统的硬件部分主要包括翻转机构（3、矫正装置4、工业机器人（5、机械抓手6、气动装备7、缓冲平台（8、升降平台⑶和托盘管理装置10等。其中，翻转机构对需要翻转的目标烟包完成180°翻转;矫正装置通过其导条、挡板、气缸和光电传感器等使烟包的位姿矫正和固定以方便码垛机器人的快速抓取;作为执行机构的码垛机器人，采用库卡公司的6轴机械臂;机器人末端执行机构为机械抓手，适合烟包的抓放而不损坏烟包;升降平台和托盘管理装置协同对托盘的固定、自由升降和自动输送。[0028]软件设计部分包含上位机控制程序和底层PLC程序以及机器人执行程序的设计。上位机界面程序用C#和SQLSever实现，完成不规则烟包的预排层处理、烟包路径规划和实时信息的监控。PLC程序控制翻转机构、矫正装置、抓手、升降平台的控制以及传感器的信号反馈。机器人执行程序包括接收启动停止信号，根据上位机发送的烟包码放路径实时执行码垛动作。系统结构及各部分通信如附图2。[0029]在组合码垛过程中有一点十分关键的因素就是要确保输送带上烟包实时信息的正确，一旦因为人工失误或者包装时出错导致输送带的实时烟包与数据库原本的烟包信息有所偏差则会导致后续工序的连续错误。为此，引入机器视觉识别系统，对输送带上的不规则烟包识别校对，及时反馈烟包信息，避免码垛时组合匹配的错误，增加了整个系统的智能化程度和安全性。[0030]根据码垛系统的性能要求，视觉识别系统必须要有正确、快速和及时响应等特性。由光源、CXD相机、计算机、图像处理单元，机器视觉处理软件、人机接口，通讯接口等设备组成。在连续输送中，当输送不规则烟包传送至视觉校对区，上位机通过CCD相机拍取不规则烟包侧面照片，获取数字化图像的信息，在经过图像预处理得到较为理想的目标二值图后就可以进行特征提取，考虑到本系统中的不规则烟包是由条烟组成，有很明显的角点、边缘特征，因此对目标二值图采用Harris角点特征提取，结合归一化互相关的匹配方法完成特征粗匹配，最后利用改进的RANSAC算法提高匹配精度，排除误配对点，实现不规则烟包配准以确定烟包条烟的数量，最后将校对结果反馈给组合码垛系统。保证整个过程的完全性和智能性。[0031]在上位机中将每天的烟包订单数据信息导入到自己的数据库中，使用预排层算法计算出每个烟包需要进行的处理包括是否需要匹配，待匹配的烟包在缓冲区的暂放位置，是否需要翻转，缓冲区摆放位置，在托盘上摆放位置等数据并将这些数据保存在上位机中等待PLC的调用。翻转机构以及校正装置处各安装了一个计数器，并将计数值采集并发送到上位机。计数值用于确定当前待处理烟包的序列，上位机将对应此序列的烟包需要进行的操作编码发送给PLC，由PLC控制现场设备实现对烟包的翻转和校正。根据上位机的计算结果，系统最终确定烟包是否可以直接在托盘上码放，如果不能则会在缓冲区中寻找合适的烟包进行匹配然后再进行码垛，如果依然无法满足条件，则将烟包放置在缓冲区中等待后面烟包的匹配。烟包的匹配和码放都是在机械臂和抓手的配合下完成的，机械臂移动的路径由上位机经过计算并由PLC发送给机械臂的。组合码垛流程如附图3所示。[0032]1.2.从直接得到的图像信息中，快速进行图像处理，在尽量短的时间内给出识别信息，保证系统运行和烟包输送的正确性。为此，对不规则烟包的识别过程如图4所示。[0033]图像预处理主要包括图像的增强，图像滤波和图像二值化以及孔洞填充。图像增强通过改变灰度值而达到对比度增强的效果，增强对比度能够使得图像中目标相对于背景更加突出，增加图像中目标和背景的区分度。在采集图像过程中，由于相机曝光时间较短或者视觉系统硬件功效等问题，可能会消弱图像对比度，这样就可能导致目标在图像上表现出较为模糊的边角特征。图像的平滑滤波可以去除图像在获取及传输过程所携带的噪声。图像二值化是以阈值为标准进行图像分割，将目标区域从原图中区分出来。经预处理后得到目标的二值图像，任然遗留一些未分割掉的小片区域，这可能是物体边缘的毛刺噪声或是影响到目标识别的物体内的孔洞噪声等。若保留这些噪声将会影响后续图像目标特征的提取和匹配。为此将二值图像进行数学形态学运算处理，则会有效地去除这些噪声。图像预处理流程图如图5所示：[0034]3.在经过图像预处理得到较为理想的目标二值图后就可以进行特征提取，考虑到本系统中的不规则烟包是由条烟组成，有很明显的角点、边缘特征，因此对目标二值图采用Harris角点特征提取，结合归一化互相关的匹配方法完成特征粗匹配，最后利用改进的RANSAC算法提高匹配精度，排除误配对点，实现不规则烟包配准以确定烟包条烟的数量。[0035]图像角点可以认为是图像亮度变化剧烈的点或者是图像边缘曲线上曲率极大值的点。角点对噪声和光照不敏感，抗干扰能力强，容易测量并且对旋转和遮挡也有较好的鲁棒性。同时，在提取角点特征的过程中，系统也能保持较高的运算速度，有助于图像快速识别匹配。[0036]角点示意图如图6所示：[0037]4.归一化互相关匹配法是一种简单的可用于角点匹配的方法，并在一定程度上改善了错误匹配和无法匹配的问题。这个方法是通过比对原图和模板图中角点邻域窗口内灰度的相似程度，进而完成角点匹配。该方法让大部分角点特征实现了匹配。但是仍然存在少量的误匹配点，这是因为这种灰度相关单纯的通过一个侧面进行了两幅图角点邻域窗口的灰度相似性。但最大相关却不完全代表着正确匹配，在点集中存在误匹配点，必须进行剔除。[0038]对于存在的少量的误匹配点，在本视觉系统中提出了一种改进的RANSAC算法用以消除。利用准确匹配点间相对斜率相同的关系来剔除误匹配点。设AuAj和BllBj是处理后的图像A和待匹配的模板图像B两两正确的匹配对。那么Ai和Bi的绝对斜率kAi，Bi应该相等于、和叫的绝对斜率k㈧，Bj。基于以上原理，利用参考图像A中的A1与它自身中所有的特征点Aj的斜率关系和待匹配图像B中的Bi与它自身中所有的特征点Bj的斜率关系的相似性评价两点对应关系，提出如下的评价函数：[0041]Ki,j=[kAi1Bi+kAj1Bj]23[0042]其中Ri，j表示Ai，Bi与各自图像每个兴趣点斜率的相对差异;Ki，j表示Ai，Bi与各自图像每个兴趣点的评价斜率。经过改进的RANSAC算法去除误匹配对后，可以看到误匹配点对有明显的消除，这样模板图与目标处理图实现了精确的特征点配对。[0043]5.在完成不规则烟包视觉系统的识别匹配后，与组合码垛系统集成整合。[0044]以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

权利要求：1.一种基于机器视觉的不规则烟包组合码垛系统，其特征在于，包括:组合码垛系统和视觉识别系统，所述视觉识别系统包括视觉检测区（1和图像处理设备2，其中图像处理设备⑵包括工业CCD相机、镜头和光源，当烟包进入检测区，上位机则发送指令采集烟包图像并进行处理;所述组合码垛系统包括硬件部分和软件部分，所述硬件部分主要包括翻转机构3、矫正装置4、工业机器人5、机械抓手6、气动装备7、缓冲平台（8、升降平台⑼和托盘管理装置（10，所述翻转机构3与矫正装置⑷相连接，气动装备⑺连接于矫正装置⑷末端，缓冲平台⑻与矫正装置⑷相连接，机械抓手⑹安装在工业机器人5末端，其中翻转机构3对需要翻转的目标烟包完成180°翻转;矫正装置4用于对烟包的位姿矫正和固定，以方便工业机器人的快速抓取，所述工业机器人⑸的末端执行机构为机械抓手6，用于烟包的抓放而不损坏烟包;升降平台（9和托盘管理装置（10协同对托盘的固定、自由升降和自动输送;所述软件部分包括上位机控制模块和底层PLC模块以及机器人执行模块，所述上位机控制模块用于完成不规则烟包的预排层处理、烟包路径规划和实时信息的监控;底层PLC模块控制翻转机构、矫正装置、抓手、升降平台的控制以及传感器的信号反馈;机器人执行模块包括接收启动停止信号，根据上位机发送的烟包码放路径实时执行码垛动作。2.根据权利要求1所述的基于机器视觉的不规则烟包组合码垛系统，其特征在于，在连续输送中，当输送不规则烟包传送至视觉校对区，上位机通过CCD相机拍取不规则烟包侧面照片，获取数字化图像的信息，在经过图像预处理得到较为理想的目标二值图后就进行特征提取;再对目标二值图采用Harris角点特征提取，结合归一化互相关的匹配方法完成特征粗匹配，最后利用改进的RANSAC算法提高匹配精度，改进的RANSAC算法改进在于:利用目标图与模板特征点之间正确配对的点对相对斜率相等的关系做出改进以排除误匹配对点，实现不规则烟包配准以确定烟包条烟的数量，最后将校对结果反馈给组合码垛系统。3.根据权利要求1所述的基于机器视觉的不规则烟包组合码垛系统，其特征在于，在上位机中将每天的烟包订单数据信息导入到自己的数据库中，使用预排层算法计算出每个烟包需要进行的处理包括是否需要匹配、待匹配的烟包在缓冲区的暂放位置、是否需要翻转、缓冲区摆放位置及在托盘上摆放位置在内的数据，并将这些数据保存在上位机中等待PLC的调用;翻转机构以及校正装置处各安装了一个计数器，并将计数值采集并发送到上位机，计数值用于确定当前待处理烟包的序列，上位机将对应此序列的烟包需要进行的操作编码发送给PLC，由PLC控制现场设备实现对烟包的翻转和校正;根据上位机的计算结果，系统最终确定烟包是否可以直接在托盘上码放，如果不能则会在缓冲区中寻找合适的烟包进行匹配然后再进行码垛，如果依然无法满足条件，则将烟包放置在缓冲区中等待后面烟包的匹配。4.根据权利要求2所述的基于机器视觉的不规则烟包组合码垛系统，其特征在于，所述图像预处理主要包括图像的增强，图像滤波和图像二值化以及孔洞填充步骤;所述图像的增强通过改变灰度值而达到对比度增强的效果，增加图像中目标和背景的区分度；图像滤波是通过直方图均衡、线性灰度变换来实现；图像二值化主要采用中值滤波、均值滤波;孔洞填充主要采用FloodFi11算法。5.根据权利要求2所述的基于机器视觉的不规则烟包组合码垛系统，其特征在于，所述改进的RANSAC算法具体包括步骤:利用准确匹配点间相对斜率相同的关系来剔除误匹配点，设A1,Aj和BllBj是处理后的图像A和待匹配的模板图像B两两正确的匹配对，那么A1和Bi的绝对斜率kAi，Bi等于Aj和Bj的绝对斜率kAj,Bj，基于以上原理，利用参考图像A中的Ai与它自身中所有的特征点Aj的斜率关系和待匹配图像B中的Bi与它自身中所有的特征点叫的斜率关系的相似性评价两点对应关系，提出如下的评价函数：其中T⑴表示特征点i的匹配度，Ri，j表示A1,B1与各自图像每个兴趣点斜率的相对差异;Ki，j表示A1,81与各自图像每个兴趣点的评价斜率，IcAllAj表示图像A中仏和、两点间的斜率，kAhBj表示、和叫的绝对斜率kAhBj，这样消除误匹配点对后模板图与目标处理图实现了精确的特征点配对。

百度查询： 重庆邮电大学 一种基于机器视觉的不规则烟包组合码垛系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD