申请/专利权人：深圳市华成工业控制股份有限公司

申请日：2018-11-08

公开（公告）日：2023-05-23

公开（公告）号：CN109740613B

主分类号：G06V10/50

分类号：G06V10/50;G06V10/56;G06V20/40;G06T7/207;G06T7/246;G06T7/33

优先权：

专利状态码：有效-授权

法律状态：2023.05.23#授权;2019.06.04#实质审查的生效;2019.05.10#公开

摘要：本发明公开了一种基于Feature‑Shift和预测的视觉伺服控制方法，包括：S1、以工件落到传送带的时刻所采集的图像作为第一帧，调用Feature‑Shift方法检测目标特征；S2、判断初始化是否成功，如果不成功则返回步骤S1，成功则进行步骤S3；S3、计算当前帧的K个特征的重心位置，预测目标状态；S4、读取下一帧的图像，调用Feature‑Shift方法检测目标特征，寻找初始帧的K个特征的匹配；S5、用找到匹配的若干特征，计算得到校正后的目标状态，作为该帧图像上目标的实际定位来驱动机械臂跟踪目标；S6、若执行工件目标抓取，则跟踪结束，否则，继续进行跟踪。本发明着力解决因工件发生偏转、远近大小变化、光照变化等情况下，目标检测存在误差进一步影响定位精度的问题。

主权项：1.一种基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，包括以下步骤：S1、以工件落到传送带的时刻所采集的图像作为第一帧，调用Feature-Shift方法检测目标特征，并取前K个特征作为代表目标的显著特征，确定目标区域，作为初始目标位置，同时初始化目标运动的速度；S2、判断初始化是否成功，如果不成功则返回步骤S1调节Feature-Shift方法的参数，成功则进行步骤S3；S3、针对当前帧的K个特征，计算其重心位置，将此坐标作为当前目标状态和运动参数一起传入Kalman滤波器，预测目标状态；S4、读取下一帧的图像，根据步骤S3预测得到的坐标，转换为距离，并用其更新目标位置，在此新区域内，调用Feature-Shift方法检测目标特征，取前K个特征作为代表目标的显著特征，寻找初始帧的K个特征的匹配；S5、用找到匹配的若干特征，计算其重心位置，作为目标的观测结果，将此观测传入Kalman滤波器，计算得到校正后的目标状态，根据此坐标，转换为距离，并用其更新目标位置，作为该帧图像上目标的实际定位，再将此定位信息传入伺服控制机构，驱动机械臂跟踪目标；S6、若执行工件目标抓取，则跟踪结束，否则，继续进行跟踪，将校正后的目标状态作为当前状态，和运动参数一起传入Kalman滤波器，预测下一帧的目标状态，执行步骤S4；在步骤S1中Feature-Shift方法检测目标特征的具体步骤如下：S11、建立多尺度特征空间，形成一个中心级和至少两个边缘级；S12、计算灰度对比图，用Gc，s表示，计算公式为： 其中，G代表灰度值，是级间对比度算子，定义为： 其中，Gijc代表中心级图像的坐标为i,j像素点的灰度特征值，Gmc代表中心级图像的灰度特征的均值，Gijs、Gms分别代表边缘级图像的灰度特征值与均值；S13、计算纹理对比度；首先计算图像上每点的梯度方向θ，计算公式为： 其中，Gij代表坐标为i,j像素点的灰度值；然后以每点为中心，统计八邻域的梯度方向，并取统计值最高的方向作为每个像素点的主方向，形成梯度方向纹理图T，再计算级间纹理对比度，可以产生两张子图，计算公式为：Tc，s＝Tc-Ts；其中，Tc代表中心级图像的梯度方向纹理图，Ts代表边缘级图像的梯度方向纹理图；S14、综合四张对比子图，形成显著性指示图S，再在显著性指示图S上取前K个显著点，并以该点的灰度归一值和梯度主方向作为该点的显著特征表示。

全文数据：一种基于Feature-Shift和预测的视觉伺服控制方法技术领域本发明涉及伺服控技术领域，具体涉及一种基于Feature-Shift和预测的视觉伺服控制方法。背景技术基于机器视觉的分拣系统是指在获知工件类型以及工件传送位置的前提下，通过图像传感器对工件进行图像采集，根据预设分析程序，引导机械臂对其进行分拣。现阶段国内外学者正对基于机器视觉的自动分拣系统进行更深一步的研究，针对分拣速度、精确度、抗干扰度等方向对分拣系统做进一步完善。按照自动分拣系统的工作流程将其依次分为三个组成部分：目标跟踪子系统、目标识别子系统、视觉伺服机构。其中目标跟踪子系统负责在图像上定位工件目标；目标识别子系统负责对定位的工件进行识别分类；视觉伺服技术则是最后驱动执行机构机械臂根据工件定位信息和分类信息对工件进行分拣操作。系统涉及的机器视觉技术主要是目标跟踪技术和目标识别技术。对于自动分拣系统，首要任务是定位工件。直接使用目标检测技术从每帧图像上检测工件目标的方法当然也属于目标跟踪的一类方法，虽然容易操作和理解，但适用面窄，而且每帧图像都进行检测的计算量比较大。因此，实践中更多使用针对连续多帧图像的目标跟踪方法。这类方法充分利用目标运动信息，进行目标导向的图像分析，例如Mean-Shift方法，从而提高目标跟踪计算效率和精确度，也适用于多目标的跟踪便于后续目标识别。根据需要跟踪的目标自身信息的不同以及跟踪环境的不同，目标跟踪的方法大致可以分为五类：基于对比度分析的方法、基于匹配的方法、预测跟踪的方法、运动检测的方法以及其他方法。基于对比度分析的方法是在每一帧图像中根据目标图像与目标背景的差异来锁定目标，其根据参照点的不同，一般有边缘跟踪、形心跟踪和质心跟踪，此类算法适合背景图像较为简单的目标跟踪，属于基于目标检测的跟踪方法。基于匹配的方法是在相邻两帧图像中根据特征的匹配从而确定目标图像，特征匹配一般因特征提取方法与特征的选择不同而分为多种方法。一般选择的特征有：外形轮廓、几何形状、特征点以及子空间特征。近几年来，经常被用到的特征提取算法有：SURF算法、KLTKanade-Lucas-Tomasi算法、SIFT算法和Harris算法。而有些目标的特征经常是随目标运动而变化的，为此一般用直方图统计的方法对目标特征进行描述，常用到的有边缘方向直方图和彩色直方图。预测跟踪的方法，相比于传统的特征匹配方法，其具有一定的预测性。即跟踪目标在运动时，可以通过该方法比较准确的预测目标下一时刻到达的位置。这类方法目前比较流行，主要可以分为两类，即贝叶斯滤波跟踪方法和基于核的跟踪方法。对于前者，主要包括卡尔曼滤波KalmanFilter，KF方法及其变形。KF能够预估目标运动的位置，从而特征匹配只需在预估位置进行特征提取，减少了一定的工作量与检测时间。至于核方法，其直接对跟踪目标的相似概率密度函数进行连续估计，具有代表性的是Mean-shift方法。Mean-shift跟踪算法将数据点按其矢量方向收敛于一个概率密度极值点，能够稳定的定位目标位置，但是对于运动较快的目标会失效，之后又有多核跟踪算法与最优核平移算法等对其进行完善。运动检测的方法不是对单帧的图像进行目标定位，而是根据目标与背景运动的方向不同来锁定目标。只需将图像划分为目标区域与非目标区域，该方法可用于多目标的检测与跟踪。传统的运动检测方法有三种：光流法、帧间差分法和背景减除法。其他方法。我们常用的一般是对单目标的跟踪，生产应用中常常会遇到需要对多个目标进行跟踪的问题。对于多目标跟踪，主要算法有概率数据关联与联合概率数据关联，主要是根据多个特征来检测目标的相似度，从而可以对不同目标进行编号，即不同目标拥有不同的特征检测标准。除此之外还存在另一种多目标跟踪的方法，即随机集滤波和有限集统计算法，该算法相比于前者可以有效的解决目标数量增减的问题。目标定位后，需要进一步识别工件，以便确定操作策略。当然，工件定位和识别工作也可以同步并行完成。在得到工件定位信息和操作策略后，驱动执行机构机械臂完成抓取或吸附等分拣动作。当然，这其中需要将工件定位信息从图像坐标空间转换到机械臂的坐标空间。Kalman滤波和Mean-Shift算法是两种业内广泛使用，并且比较有效的目标跟踪算法，大多应用在视频监控的运动目标跟踪环境中。文献【刘振宇,赵彬等.Mean-Shift和Kalman算法在工件分拣技术中的应用[J].仪器仪表学报,2012,3312:2796-2802】针对生产线上动态工件的跟踪分拣问题，提出了一种Kalman预测目标和Mean-Shift搜索目标综合应用的跟踪算法，实现了对履带上工件的动态跟踪。该算法首先利用Kalman滤波估计出后续运动目标的位置、速度和匹配范围，然后使用基于HSV色彩空间融合的Mean-Shift算法进行小范围搜索和目标匹配，最后将Mean-Shift算法得到的目标位置作为下一帧Kalman滤波器的输入参数使得后续状态具有预测的能力，迭代执行，直至搜索到目标为止。为了跟踪算法的简化，做如下要求:1履带匀速运动；2为了避免抓取干涉和碰撞，机械工件离散放置，并且有足够间隙；3同类别工件不相邻放置，有助于检验算法的可靠性和准确性；4目前仅限于处理几何形状规则的机械工件。由于HSV色彩空间对目标亮度变化具有不敏感性，该方法采用的Mean-Shift跟踪算法是以HSV颜色直方图作为目标的特征。该方法选取的核函数窗口是Uniform核函数，表示如下：该算法工作过程是首先在第一帧中指定核窗口大小h的目标区域，并计算该区域的Hhue,色调颜色直方图作为特征。使用Kalman滤波器估计出运动目标在下一帧中最可能出现的位置，在下一帧图像到来时，在预测的候选目标位置，进行最小范围搜索。搜索跟踪实际上就是要寻找出在图像的候选位置附近到底哪个位置才能使得候选位置目标特征与目标本身特征最匹配。匹配判断需要计算核函数窗口内图像的H颜色直方图，并基于Bhattacharyya系数定义相似度量函数。在找到匹配程度最好的位置以后，将其作为Kalman滤波的测量值，校正候选目标位置，从而可以获得更好的跟踪效果。Mean-Shift算法是一种半自动快速跟踪的基于密度梯度的无参数估计算法，具有效率高、快速模式匹配等优点。但当背景和目标的颜色相同或者接近时，背景会对该算法产生较大的干扰甚至使算法失效。目标快速移动超过核窗口大小时，该算法也会失效。Kalman滤波器是一种迭代预测，有预测目标位置的能力，然而当目标形状大小变化时，目标检测本身误差较大会造成目标跟踪失败。将Kalman预测目标和Mean-Shift方法结合是一种有益的尝试，但该方法同样不能解决目标偏转、远近尺度变化等问题，而且Mean-Shift的搜索效率不高。发明内容本发明提供一种基于Feature-Shift和预测的视觉伺服控制方法，着力解决因工件发生偏转、远近大小变化、光照变化等情况下，目标检测存在误差进一步影响定位精度的问题；以及利用运动信息预测进而快速定位工件的方法中，无法适应快速运动目标的问题。为解决上述技术问题，本发明采用了如下的技术方案：一种基于Feature-Shift和预测的视觉伺服控制方法，包括以下步骤：S1、以工件落到传送带的时刻所采集的图像作为第一帧，调用Feature-Shift方法检测目标特征，并取前K个特征作为代表目标的显著特征，确定目标区域，作为初始目标位置，同时初始化目标运动的速度；S2、判断初始化是否成功，如果不成功则返回步骤S1调节Feature-Shift方法的参数，成功则进行步骤S3；S3、针对当前帧的K个特征，计算其重心位置，将此坐标作为当前目标状态和运动参数一起传入Kalman滤波器，预测目标状态；S4、读取下一帧的图像，根据步骤S3预测得到的坐标，转换为距离，并用其更新目标位置，在此新区域内，调用Feature-Shift方法检测目标特征，取前K个特征作为代表目标的显著特征，寻找初始帧的K个特征的匹配；S5、用找到匹配的若干特征，计算其重心位置，作为目标的观测结果，将此观测传入Kalman滤波器，计算得到校正后的目标状态，根据此坐标，转换为距离，并用其更新目标位置，作为该帧图像上目标的实际定位，再将此定位信息传入伺服控制机构，驱动机械臂跟踪目标；S6、若执行工件目标抓取，则跟踪结束，否则，继续进行跟踪，将校正后的目标状态作为当前状态，和运动参数一起传入Kalman滤波器，预测下一帧的目标状态，执行步骤S4。进一步地，在步骤S1中，以工件落到传送带的时刻所采集的图像作为第一帧，以无工件的传送带图像作为模板，运用帧差法从第一帧图像中检测到工件的粗轮廓，以工件轮廓为边界向外延十六像素，从而产生工件目标区域，再通过Feature-Shift方法检测目标特征。进一步地，在步骤S1中Feature-Shift方法检测目标特征的具体步骤如下：S11、建立多尺度特征空间，形成一个中心级和至少两个边缘级；S12、计算灰度对比图，用Gc，s表示，计算公式为：其中，G代表灰度值，是级间对比度算子，定义为：其中，Gijc代表中心级图像的坐标为i,j像素点的灰度特征值，Gmc代表中心级图像的灰度特征的均值，Gijs、Gms分别代表边缘级图像的灰度特征值与均值；S13、计算纹理对比度；首先计算图像上每点的梯度方向θ，计算公式为：其中，Gij代表坐标为i,j像素点的灰度值；然后以每点为中心，统计八邻域的梯度方向，并取统计值最高的方向作为每个像素点的主方向，形成梯度方向纹理图T，再计算级间纹理对比度，可以产生两张子图，计算公式为：Tc，s＝Tc-Ts；其中，Tc代表中心级图像的梯度方向纹理图，Ts代表边缘级图像的梯度方向纹理图；S14、综合四张对比子图，形成显著性指示图S，再在显著性指示图S上取前K个显著点，并以该点的灰度归一值和梯度主方向作为该点的显著特征表示。进一步地，在步骤S3中，计算K个特征的重心位置的具体计算公式为：px表示重心位置的横坐标，py表示重心位置的纵坐标；pkx表示第k个特征点的横坐标，pky表示第k个特征点的纵坐标。进一步地，在步骤S4中，寻找初始帧的K个特征的匹配方法为：根据K个特征的表示值，在第二帧的候选区域搜索是否存在匹配的特征点，匹配计算为：其中，Y代表第二帧的像素，X代表第一帧的像素，并设置合理的阈值作为判断依据。进一步地，在步骤S3和S6中采用Kalman滤波器预测目标状态的具体方法为：首先、工件随着传送带运动方程如下：xt+1＝xt+vxt，yt+1＝yt+vyt；其中，x，y分别表示工件在图像坐标系中的横纵坐标，v代表速度，t代表时间；其次，设状态向量X为x，y，vx，vy，则可以列出时间离散情况下的系统状态方程为；其中，ω是系统噪声，设其符合高斯分布；系统的观测方程为：其中，τ是观测噪声，设其符合高斯分布；最后，预测过程计算公式为：其中，为根据状态方程计算的k时刻的状态估计值，Xk-1为k-1时刻的状态，AT是系统状态方程的系数矩阵A的转秩矩阵，Pk-1为k-1时刻的协方差矩阵，是估计的k时刻的协方差矩阵，Q是噪声ω的方差。进一步地，在步骤S5中计算得到校正后的目标状态的具体计算方法为：其中，Kk为Kalman增益，R是噪声τ的方差，Zr是实际观测到的工件位置，即校正后的工件位置，HT是观测方程的系数矩阵H的转秩矩阵，是估计的k时刻的协方差矩阵，Pk是校正后的k时刻的协方差矩阵。进一步地，在步骤S1中，如果目标运动的速度未知则设置速度为零。本发明的有益效果是：1、本发明提供了基于特征的Feature-Shift方法，能够容忍工件目标发生偏转、远近大小变化和光照变化情况，提高目标检测和定位的精度；2、本发明引入Kalman滤波器结合Feature-Shift方法，为寻找目标区域提供有效的导引信息，有效加快了目标跟踪的速度，能够适用于有一定快速要求的自动分拣系统；3、本发明提出了快速显著特征提取方法，与传统特征提取方法相比计算量小，工件代表性好，并且具有良好的视觉不变性。附图说明附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：图1是本发明提供的基于Feature-Shift和预测的视觉伺服控制方法的流程图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。本发明的方法适用于全局摄像头监视下的工件分拣和传送带自动分拣情况，摄像头固定在工作场所包括传送带的上方。如图1所示，本发明提供一种基于Feature-Shift和预测的视觉伺服控制方法，主要技术包括快速两级局部显著特征提取方法、基于Feature-Shift的目标跟踪方法以及基于Kalman滤波器的带预测跟踪定位方法。一、快速两级局部显著特征提取方法本发明根据注意力机制设计了从局部图像中提取显著特征的方法，并进行了算法优化，大大提高了实时性。具体方法步骤如下：1从工件落到传送带作为连续图像的第一帧，是后续跟踪的基础。以无工件的传送带图像作为模板，运用帧差法从第一帧图像中检测到工件的粗轮廓。2以工件轮廓为边界向外延16像素，从而产生工件目标区域局部图像。以下运用center-surround算子中心-周围差算子，从此目标图像上提取显著特征。a.建立多尺度特征空间。针对转化为灰度图的目标图像，首先用高斯低通滤波器滤除噪声，输出作为第1级子图。在此基础上采样生成3级特征空间子图，各级图像大小依次为1:1Scale1、1:4Scale2、1:16Scale3。取Scale1为中心级，即center简称c＝{Scale1}；取Scale2、3为边缘级，即surround简称s＝{Scale2,Scale3}。b.计算灰度对比图，用Gc，s表示，可以产生两张子图。计算公式为：其中，G代表灰度值，是级间对比度算子，定义为：其中，Gijc代表Center级图像的每一像素点i，j为像素点坐标的灰度特征值，Gmc代表Center级图像的灰度特征的均值，Gijs、Gms分别代表Surround级图像的灰度特征值与均值。c.计算纹理对比度。采用基于梯度方向的纹理计算方法，具体步骤如下：首先计算图像上每点的梯度方向θ，计算公式为：其中，Gij代表某一像素点坐标为i,j的灰度值。然后以每点为中心，统计8邻域的梯度方向按0，45，90，135，180，225，270，315度共8个方向桶进行统计，并取统计值最高的方向作为每个像素点的主方向，形成梯度方向纹理图T。然后计算级间纹理对比度，可以产生两张子图。计算公式为：Tc,s＝Tc-Ts；其中，Tc代表Center级图像的梯度方向纹理图，Ts代表Surround级图像的梯度方向纹理图。d.综合4张对比子图，形成显著性指示图S。综合时，首先对子图进行一次低通滤波，然后进行对比度归一化0-1的范围内，最后将4张子图对应像素点的值求和再归一化，形成了显著性指示图S。S上的某像素点的值越大，表示该像素点在原图上越显著。将这些显著点按显著性排序，取前K个显著点。以该点的灰度归一值normalizedgray,NG和梯度主方向mainorientationofgradient,MOG作为该点的显著特征表示。这样，从工件目标区域局部图像中总共检测出K个显著特征，用于代表工件目标。两级局部显著特征提取算法优势：a.按上述方法计算出的显著特征，能够抵抗光线变化、图像旋转和远近变化，具有较好的光照、旋转、尺度不变性。b.首先采用帧差法粗定位工件轮廓再进行特征提取的方法，极大降低了显著性计算的计算量，使计算速度可以达到毫秒级。c.若干算法优化，例如进行级间灰度对比度计算时，可以先进行所有像素灰度求和，再进行一次差和一次除法，可以提高计算速度。二、基于Feature-Shift的目标跟踪方法在上述特征feature提取的基础上，本方案还提出一种Feature-Shift的目标跟踪方法。与Mean-Shift方法相比，本方法不需要指定候选图像区域核窗口大小，跟踪计算仅局限于若干特征，极大降低计算量。具体计算过程如下：1如前所述，从第一帧中提取出特征包括特征位置和特征表示后，计算K个特征的重心位置，计算公式为：这里，px表示重心位置的横坐标，py表示重心位置的纵坐标；pkx表示第k个特征点的横坐标，pky表示第k个特征点的纵坐标。然后以此位置为中心，参照第一帧图像中工件目标区域大小，在第二帧中选定一个候选工件目标区域简称为候选区域。2根据K个特征的表示值灰度归一值和梯度主方向，在第二帧的候选区域搜索是否存在匹配的特征点。匹配计算采用简单的欧式距离公式，即其中，Y代表第二帧的像素，X代表第一帧的像素，同时设置合理的阈值作为判断依据。3由于第二帧图像上目标随着传送带运动而发生了位置偏移，因此找到的匹配点已不同于原位置。计算K个匹配点的重心，以得到新的候选图像区域。在后续帧上，针对新的候选图像区域，重复上述步骤。4若两次计算的重心位置变化低于给定阈值，则认为跟踪到了目标。根据第二帧计算出的特征重心位置和第一帧的特征中心位置，得出偏移距离。从而，计算得出当前情况下的工件目标区域。与Mean-Shift方法相比，本方法计算量小，计算速度快，不受工件目标偏转、远近大小和光照变化影响。与Mean-Shift方法类似，若工件目标移动速度过快，已经超出了候选区域范围，则本方法失效。因此，本发明引入了Kalman滤波器来克服此局限。三、基于Kalman滤波器的带预测跟踪定位方法在不考虑上述Mean-Shift或Feature-Shift进行目标跟踪的情况下，单纯依赖每帧图像上进行目标检测来定位工件的话，由于检测结果的不稳定，可能造成分拣抓取机械臂的摆动。为解决此问题，很多研究引入了Kalman滤波来进行位置预测和校正。本发明中也引入了此方法。由于工件随传送带运动，一般属于匀速运动，因此可以列出运动方程如下：xt+1＝xt+vxt，yt+1＝yt+vyt；这里，x，y分别表示工件在图像坐标系中的横纵坐标，v代表速度，t代表时间单位时间处理时该值为1。可见，该运动方程为线性方程，可以直接采用Kalman滤波器方法。设状态向量X为x，y，vx，vy，则可以列出时间离散情况下的系统状态方程为：其中，ω是系统噪声，设其符合高斯分布。系统的观测方程为：其中，τ是观测噪声，设其符合高斯分布。按照Kalman滤波器的工作原理，首先利用状态方程预测估计工件的位置，然后再利用实际观测值校正出更准确的位置。具体计算过程如下：a.预测估计过程其中，为根据状态方程计算的k时刻的状态估计值，Xk-1为k-1时刻的状态，AT是系统状态方程的系数矩阵A的转秩矩阵，Pk-1为k-1时刻的协方差矩阵，是估计的k时刻的协方差矩阵，Q是噪声ω的方差。b.校正更新过程其中，Kk为Kalman增益，R是噪声τ的方差，Zr是实际观测到的工件位置，即校正后的工件位置，HT是观测方程的系数矩阵H的转秩矩阵，是估计的k时刻的协方差矩阵，Pk是校正后的k时刻的协方差矩阵。虽然经过校正后的工件位置依然是估计值，但是与仅通过目标检测确定的位置相比更接近真实值，所以具有较好的定位精度。Kalman滤波器通过预测和校正，对目标检测的不准确进行一定程度的弥补。但如果目标发生了偏转、形状大小变化等情况，单纯的目标检测出现较大偏差，Kalman滤波器也无能为力。Feature-Shift方法通过特征检测和跟踪，能够克服目标偏转、光照和远近大小变化等引起的目标检测误差。但Feature-Shift方法要求目标运动不能过快，否则无法确定下次迭代的偏移区域。本发明综合了上述两种方法的优点，提出一种结合Feature-Shift和预测的视觉伺服控制方法。首先进行不变性特征检测，然后利用Kalman滤波器预测特征在后续帧的位置即使运动速度快也没关系，再进行特征匹配和定位。结合图1，详细计算过程如下：S1、以工件落到传送带的时刻所采集的图像作为第一帧，调用Feature-Shift方法检测目标特征取前K个特征作为代表目标的显著特征，确定目标区域，作为初始目标位置。同时，初始化目标运动传送带运动的速度，如果目标运动的速度未知则设置速度为零；S2、判断初始化是否成功，如果不成功则返回步骤S1调节Feature-Shift方法的参数，成功则进行步骤S3；S3、针对当前帧的K个特征所在位置，计算其重心位置坐标，将此坐标作为当前目标状态和运动参数一起传入Kalman滤波器，预测目标状态新位置坐标；S4、读取下一帧的图像，根据步骤S3预测得到的坐标，转换为距离，并用其更新目标位置图像区域，在此新区域内，调用Feature-Shift方法检测目标特征取前K个特征作为代表目标的显著特征，寻找初始帧的K个特征的匹配；S5、用找到匹配的若干特征，计算其重心位置坐标，作为目标的观测结果，将此观测传入Kalman滤波器即Zr，计算得到校正后的目标状态新位置坐标，根据此坐标，转换为距离，并用其更新目标位置图像区域，作为该帧图像上目标的实际定位，再将此定位信息传入伺服控制机构，驱动机械臂跟踪目标；S6、若执行工件目标抓取，则跟踪结束，否则，继续进行跟踪，将校正后的目标状态新位置坐标作为当前状态，和运动参数一起传入Kalman滤波器，预测下一帧的目标状态新位置坐标，执行步骤S4。通过以上实施例，本发明具有以下优点：本发明提出了基于特征的Feature-Shift方法，能够容忍工件目标发生偏转、远近大小变化和光照变化情况，提高目标检测和定位的精度。本发明引入Kalman滤波器结合Feature-Shift方法，为寻找目标区域提供有效的导引信息，有效加快了目标跟踪的速度，能够适用于有一定快速要求的自动分拣系统。提出了快速显著特征提取方法，与传统特征提取方法相比计算量小，工件代表性好，并且具有良好的视觉不变性。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

权利要求：1.一种基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，包括以下步骤：S1、以工件落到传送带的时刻所采集的图像作为第一帧，调用Feature-Shift方法检测目标特征，并取前K个特征作为代表目标的显著特征，确定目标区域，作为初始目标位置，同时初始化目标运动的速度；S2、判断初始化是否成功，如果不成功则返回步骤S1调节Feature-Shift方法的参数，成功则进行步骤S3；S3、针对当前帧的K个特征，计算其重心位置，将此坐标作为当前目标状态和运动参数一起传入Kalman滤波器，预测目标状态；S4、读取下一帧的图像，根据步骤S3预测得到的坐标，转换为距离，并用其更新目标位置，在此新区域内，调用Feature-Shift方法检测目标特征，取前K个特征作为代表目标的显著特征，寻找初始帧的K个特征的匹配；S5、用找到匹配的若干特征，计算其重心位置，作为目标的观测结果，将此观测传入Kalman滤波器，计算得到校正后的目标状态，根据此坐标，转换为距离，并用其更新目标位置，作为该帧图像上目标的实际定位，再将此定位信息传入伺服控制机构，驱动机械臂跟踪目标；S6、若执行工件目标抓取，则跟踪结束，否则，继续进行跟踪，将校正后的目标状态作为当前状态，和运动参数一起传入Kalman滤波器，预测下一帧的目标状态，执行步骤S4。2.根据权利要求1所述的基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，在步骤S1中，以工件落到传送带的时刻所采集的图像作为第一帧，以无工件的传送带图像作为模板，运用帧差法从第一帧图像中检测到工件的粗轮廓，以工件轮廓为边界向外延十六像素，从而产生工件目标区域，再通过Feature-Shift方法检测目标特征。3.根据权利要求1所述的基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，在步骤S1中Feature-Shift方法检测目标特征的具体步骤如下：S11、建立多尺度特征空间，形成一个中心级和至少两个边缘级；S12、计算灰度对比图，用Gc，s表示，计算公式为：其中，G代表灰度值，是级间对比度算子，定义为：其中，Gijc代表中心级图像的坐标为i,j像素点的灰度特征值，Gmc代表中心级图像的灰度特征的均值，Gijs、Gms分别代表边缘级图像的灰度特征值与均值；S13、计算纹理对比度；首先计算图像上每点的梯度方向θ，计算公式为：其中，Gij代表坐标为i,j像素点的灰度值；然后以每点为中心，统计八邻域的梯度方向，并取统计值最高的方向作为每个像素点的主方向，形成梯度方向纹理图T，再计算级间纹理对比度，可以产生两张子图，计算公式为：Tc，s＝Tc-Ts；其中，Tc代表中心级图像的梯度方向纹理图，Ts代表边缘级图像的梯度方向纹理图；S14、综合四张对比子图，形成显著性指示图S，再在显著性指示图S上取前K个显著点，并以该点的灰度归一值和梯度主方向作为该点的显著特征表示。4.根据权利要求1所述的基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，在步骤S3中，计算K个特征的重心位置的具体计算公式为：px表示重心位置的横坐标，py表示重心位置的纵坐标；pkx表示第k个特征点的横坐标，pky表示第k个特征点的纵坐标。5.根据权利要求1所述的基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，在步骤S4中，寻找初始帧的K个特征的匹配方法为：根据K个特征的表示值，在第二帧的候选区域搜索是否存在匹配的特征点，匹配计算为：其中，Y代表第二帧的像素，X代表第一帧的像素，并设置合理的阈值作为判断依据。6.根据权利要求1所述的基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，在步骤S3和S6中采用Kalman滤波器预测目标状态的具体方法为：首先、工件随着传送带运动方程如下：xt+1＝xt+vxt，yt+1＝yt+vyt；其中，x，y分别表示工件在图像坐标系中的横纵坐标，v代表速度，t代表时间；其次，设状态向量X为x，y，vx，vy，则可以列出时间离散情况下的系统状态方程为；其中，ω是系统噪声，设其符合高斯分布；系统的观测方程为：其中，τ是观测噪声，设其符合高斯分布；最后，预测过程计算公式为：其中，为根据状态方程计算的k时刻的状态估计值，Xk-1为k-1时刻的状态，AT是系统状态方程的系数矩阵A的转秩矩阵，Pk-1为k-1时刻的协方差矩阵，是估计的k时刻的协方差矩阵，Q是噪声ω的方差。7.根据权利要求6所述的基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，在步骤S5中计算得到校正后的目标状态的具体计算方法为：其中，Kk为Kalman增益，R是噪声τ的方差，Zr是实际观测到的工件位置，即校正后的工件位置，HT是观测方程的系数矩阵H的转秩矩阵，是估计的k时刻的协方差矩阵，Pk是校正后的k时刻的协方差矩阵。8.根据权利要求1所述的基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，在步骤S1中，如果目标运动的速度未知则设置速度为零。

百度查询： 深圳市华成工业控制股份有限公司 一种基于Feature-Shift和预测的视觉伺服控制方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD