申请/专利权人：北京伟景智能科技有限公司

申请日：2017-11-29

公开（公告）日：2020-10-30

公开（公告）号：CN107950402B

主分类号：A01J5/007(20060101)

分类号：A01J5/007(20060101);G06T7/73(20170101)

优先权：

专利状态码：有效-授权

法律状态：2020.10.30#授权;2018.05.18#实质审查的生效;2018.04.24#公开

摘要：本发明公开一种基于双目视觉的挤奶器自动控制方法，包括以下步骤：通过设置在挤奶区相对位置固定的双目摄像头拍摄奶牛乳房区域的第一平面图像和第二平面图像；利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立所述奶牛乳房的三维坐标空间；根据奶牛乳头的特定认知特征，输出所述三位坐标空间中奶牛乳房4个乳头的位置信息，并根据4个乳头位置信息将挤奶器的4个乳杯套在奶牛的4个乳头上。

主权项：1.一种基于双目视觉的挤奶器自动控制方法，其特征在于，包括以下步骤：通过设置在挤奶区相对位置固定的双目摄像头拍摄奶牛乳房区域的第一平面图像和第二平面图像；利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立所述奶牛乳房的三维坐标空间；根据奶牛乳头的特定认知特征，输出所述三维坐标空间中奶牛乳房4个乳头的位置信息，并根据4个乳头位置信息将挤奶器的4个乳杯套在奶牛的4个乳头上；所述利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立所述奶牛乳房的三维坐标空间包括：S1：对所述第一平面图像和第二平面图像进行预处理；S2：对经过预处理的第一平面图像和第二平面图像进行智能认知，确定视差计算前的泛化认知特征，并建立所述第一平面图像和第二平面图像之间的匹配关系，以辨认所述奶牛乳房区域的认知属性；所述确定视差计算前的泛化认知特征的方法包括：图形种类、组成图形的线条的几何长度、组成图形的不同特征区域的颜色、组成图形的线条的连接关系、本图形和其它泛化图形的几何关系、组成图形的轮廓的长度比例关系；S3：根据所述奶牛乳房区域的认知属性，确认与该认知属性相对应的一个或多个特定认知特征；S4：根据双目立体成像原理进行视差计算；其中，步骤S4中还包括获取奶牛乳房区域的点云图；S5：结合所述特定认知特征和点云图，建立奶牛乳房的三维坐标空间；其中，所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种；所述特定认知特征包含在所述泛化认知特征之内；所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构；S6：判断所述三维坐标空间的识别度是否满足精度和误差要求；如满足，则输出奶牛乳房4个乳头的位置信息，并根据4个乳头位置信息将挤奶器的4个乳杯套在奶牛的4个乳头上；如不满足，转至步骤S7；S7：返回步骤S2，重新确定所述泛化认知特征，并继续执行步骤S3-S6。

全文数据：基于双目视觉的挤奶器自动控制方法技术领域[0001]本发明属于机器视觉技术领域，特别涉及一种基于双目识别的立体认知方法。背景技术[0002]随着机器识别技术的发展，目前很多领域都应用到了机器视觉认知。传统的机器识别包括机器臂定位、智能车辆导航、规避障碍物、甚至人脸识别、指纹识别等等。然而，所有目前的机器识别系统都存在一个不可避免的缺陷，就是识别速度慢，误差率较高。因此，如何快速有效得提高机器视觉识别的性能，成为本领域亟待解决的技术问题。[0003]推进信息化，用图像处理技术改造养殖业传统挤奶方式，提高养殖业综合竞争力，是当前畜牧业经济发展的重要方向，也是学术界和企业界研究的热点问题之一。奶牛产奶的机械化是现代化奶牛养殖场中必不可少的环节。传统的挤奶方式通过人工方式将挤奶器的4个乳杯套在奶牛的4个乳头上，首先由于人工操作速度慢，在实际工作中往往由于奶牛饲养场规模大，效率较低;其次，人工操作的干预，容易对奶牛造成惊吓。发明内容[0004]本发明的目的就是克服现有技术中提到的上述弊端，提供一种识别准确率高、速度快的基于双目视觉的挤奶器自动控制方法。[0005]为达上述目的，本发明采取以下技术方案：[0006]一种基于双目视觉的挤奶器自动控制方法，包括以下步骤：[0007]通过设置在挤奶区相对位置固定的双目摄像头拍摄奶牛乳房区域的第一平面图像和第二平面图像；[0008]利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立所述奶牛乳房的三维坐标空间；[0009]根据奶牛乳头的特定认知特征，输出所述三位坐标空间中奶牛乳房4个乳头的位置信息，并根据4个乳头位置信息将挤奶器的4个乳杯套在奶牛的4个乳头上。[0010]进一步地，所述利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立所述奶牛乳房的三维坐标空间包括：[0011]S1:对所述第一平面图像和第二平面图像进行预处理；[0012]S2:对经过预处理的第一平面图像和第二平面图像进行智能认知，确定视差计算前的泛化认知特征，并建立所述第一平面图像和第二平面图像之间的匹配关系，以辨认所述乳房区域的认知属性；[0013]S3:根据所述乳房区域的认知属性，确认与该认知属性相对应的一个或多个特定认知特征；[0014]S4:根据双目立体成像原理进行视差计算；[0015]S5:结合所述特定认知特征和点云图，建立奶牛乳房的三维坐标空间。[0016]进一步地，上述挤奶器自动控制方法还包括以下步骤：[0017]S6:判断所述三维坐标空间的识别度是否满足精度和误差要求;如满足，则输出奶牛乳房4个乳头的位置信息，并根据4个乳头位置信息将挤奶器的4个乳杯套在奶牛的4个乳头上;如不满足，转至步骤S7;[0018]S7:返回步骤S2，重新确定所述泛化认知特征，并继续执行步骤s3_se。[0019]进一步地，所述步骤S4中还包括获取所述目标对象的点云图。[0020]进一步地，所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种;所述特定认知特征包含在所述泛化认知特征之内；所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。[0021]进一步地，所述步骤S1中的预处理包括滤波、降噪、白平衡、扭曲处理、放射变化。[0022]进一步地，所述步骤S3中确定视差计算前的泛化认知特征的方法包括:图形种类、组成图形的线条的几何长度、组成图形的不同特征区域的颜色、组成图形的线条的连接关系、本图形和其它泛化图形的几何关系、组成图形的轮廓的长度比例关系。[0023]本发明提出的基于双目视觉的挤奶器自动控制方法是一种非常先进的机器认知方法，不仅可以分辨奶牛乳房的泛化特征，还可以根据泛化特征进一步确定奶牛乳房的特定特征，用而可以用最准确、高效的特征识别技术来对奶牛乳房的4个乳头进行识别定位，适合于养殖园区大规模的养殖模式，降低了人工成本，有效的提高了工作效率，具有非常广阔的应用前景。附图说明[0024]图1为本发明一个实施里的基于双目视觉的挤奶器自动控制使用场景示意图；[0025]图2为本发明另一视角的基于双目视觉的挤奶器自动控制使用场景示意图；[0026]图3为本发明再一视角的基于双目视觉的挤奶器自动控制使用场景示意图。[0027]附图标记说明：10-双目摄像头。具体实施方式[0028]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0029]请参见图1-图3,本发明一个实施例的基于双目视觉的挤奶器自动控制方法，包括以下步骤：[0030]通过设置在挤奶区相对位置固定的双目摄像头10拍摄奶牛乳房区域的第一平面图像和第二平面图像；[0031]利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立所述奶牛乳房的三维坐标空间；[0032]根据奶牛乳头的特定认知特征，输出所述三位坐标空间中奶牛乳房4个乳头的位置信息，并根据4个乳头位置信息将挤奶器的4个乳杯套在奶牛的4个乳头上。[0033]在一个较佳的实施例中，所述利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立所述奶牛乳房的三维坐标空间包括：[0034]SI:对所述第一平面图像和第二平面图像进行预处理；[0035]S2:对经过预处理的第一平面图像和第二平面图像进行智能认知，确定视差计算前的泛化认知特征，并建立所述第一平面图像和第二平面图像之间的匹配关系，以辨认所述乳房区域的认知属性；[0036]S3:根据所述乳房区域的认知属性，确认与该认知属性相对应的一个或多个特定认知特征；[0037]S4:根据双目立体成像原理进行视差计算；[0038]S5:结合所述特定认知特征和点云图，建立奶牛乳房的三维坐标空间。[0039]进一步地，上述挤奶器自动控制方法还包括以下步骤：[0040]S6:判断所述三维坐标空间的识别度是否满足精度和误差要求;如满足，则输出奶牛乳房4个乳头的位置信息，并根据4个乳头位置信息将挤奶器的4个乳杯套在奶牛的4个乳头上;如不满足，转至步骤S7;[0041]S7:返回步骤S2，重新确定所述泛化认知特征，并继续执行步骤S3-S6。[0042]进一步地，所述步骤S4中还包括获取所述目标对象的点云图。[0043]进一步地，所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种;所述特定认知特征包含在所述泛化认知特征之内；所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。[0044]进一步地，所述步骤S1中的预处理包括滤波、降噪、白平衡、扭曲处理、放射变化。[0045]进一步地，所述步骤S3中确定视差计算前的泛化认知特征的方法包括：图形种类、组成图形的线条的几何长度、组成图形的不同特征区域的颜色、组成图形的线条的连接关系、本图形和其它泛化图形的几何关系、组成图形的轮廓的长度比例关系。[0046]本发明相对于现有技术，最大的创新点在于，采用了泛化认知特征和特定认知特征相结合的方式来对奶牛乳房乳头进行识别定位的技术手段。首先，所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种;而所述特定认知特征包含在所述泛化认知特征之内。所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。所述特定认知特征则是基于图像的深度学习认知特征，辨认出乳头及其位置。[0047]综上所述，本发明提出的基于双目视觉的挤奶器自动控制方法是一种非常先进的机器认知方法，不仅可以分辨奶牛乳房的泛化特征，还可以根据泛化特征进一步确定奶牛乳房的特定特征，用而可以用最准确、高效的特征识别技术来对奶牛乳房的4个乳头进行识别定位，适合于养殖园区大规模的养殖模式，降低了人工成本，有效的提高了工作效率，具有非常广阔的应用前景。[0048]本领域普通技术人员可以理解:附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。[0049]本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。[0050]最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制;尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换;而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

权利要求：1.一种基于双目视觉的挤奶器自动控制方法，其特征在于，包括以下步骤：通过设置在挤奶区相对位置固定的双目摄像头拍摄奶牛乳房区域的第一平面图像和第二平面图像；利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立所述奶牛乳房的三维坐标空间；_根据奶牛乳头的特定认知特征，输出所述三位坐标空间中奶牛乳房4个乳头的位置信息，并根据4个乳头位置信息将挤奶器的4个乳杯套在奶牛的4个乳头上。2.根据权利要求1所述的基于双目视觉的挤奶器自动控制方法，其特征在于，所述利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立所述奶牛乳房的三维坐标空间包括：S1:对所述第一平面图像和第二平面图像进行预处理；S2:对经过预处理的第一平面图像和第二平面图像进行智能认知，确定视差计算前的泛化认知特征，并建立所述第一平面图像和第二平面图像之间的匹配关系，以辨认所述乳房区域的认知属性；S3:根据所述乳房区域的认知属性，确认与该认知属性相对应的一个或多个特定认知特征；S4:根据双目立体成像原理进行视差计算；S5:结合所述特定认知特征和点云图，建立奶牛乳房的三维坐标空间。3.根据权利要求2所述的基于双目视觉的挤奶器自动控制方法，其特征在于，还包括以下步骤：S6:判断所述三维坐标空间的识别度是否满足精度和误差要求;如满足，则输出奶牛乳房4个乳头的位置信息，并根据4个乳头位置信息将挤奶器的4个乳杯套在奶牛的4个乳头上;如不满足，转至步骤S7;S7:返回步骤S2，重新确定所述泛化认知特征，并继续执行步骤S3-S6。4.根据权利要求2所述的基于双目视觉的挤奶器自动控制方法，其特征在于，所述步骤S4中还包括获取所述目标对象的点云图。5.根据权利要求2所述的基于双目视觉的挤奶器自动控制方法，其特征在于，所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种;所述特定认知特征包含在所述泛化认知特征之内；所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。6.根据权利要求2所述的基于双目视觉的挤奶器自动控制方法，其特征在于，所述步骤S1中的预处理包括滤波、降噪、白平衡、扭曲处理、放射变化。7.根据权利要求2所述的基于双目视觉的挤奶器自动控制方法，其特征在于，所述步骤S3中确定视差计算前的泛化认知特征的方法包括:图形种类、组成图形的线条的几何长度、组成图形的不同特征区域的颜色、组成图形的线条的连接关系、本图形和其它泛化图形的几何关系、组成图形的轮廓的长度比例关系。

百度查询： 北京伟景智能科技有限公司 基于双目视觉的挤奶器自动控制方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD