申请/专利权人：阿里巴巴集团控股有限公司

申请日：2016-08-10

公开（公告）日：2021-04-27

公开（公告）号：CN107729901B

主分类号：G06K9/46(20060101)

分类号：G06K9/46(20060101);G06K9/62(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.04.27#授权;2018.03.20#实质审查的生效;2018.02.23#公开

摘要：本申请提供了一种图像处理模型的建立方法、装置以及一种图像处理方法及系统，这四个方案的技术思想一致，其中，图像处理系统包括：图像处理设备和矩阵乘法器；图像处理设备配置有预先建立的图像处理模型，该图像处理模型包括第一模型和第二模型；该图像处理设备，用于通过所述图像处理模型对待处理图像进行处理，得到所述待处理图像的区域特征矩阵和区域特征权重矩阵；该矩阵乘法器，用于所述待处理图像的区域特征矩阵和区域特征权重矩阵作矩阵相乘处理，得到所述待处理图像的特征。该系统可以快速地实现“图像到目标特征”的端到端的特征提取，而其中，图像处理模型的建立过程，大大减少对样本量的需求，从而减少了前期的人工标注成本。

主权项：1.一种图像处理模型的建立方法，其特征在于，所述方法包括：将预先标注的样本图像输入至第一模型进行学习，得到所述样本图像中每个图像的区域特征矩阵，所述区域特征矩阵用于表征该图像中每个区域内的目标特征情况；将所述每个图像的区域特征矩阵输入至第二模型中进行学习，得到所述每个图像的区域特征权重矩阵，所述区域特征权重矩阵用于表征该区域特征矩阵中每个区域的权重，该权重表征该区域内目标特征的显著性；根据所述每个图像的区域特征矩阵和对应的区域特征权重矩阵，计算得到所述每个图像的特征；当学习后得到所述每个图像的特征和预先标注的样本图像中该图像的特征的精度趋于稳定时，则确定学习得到的图像处理模型包括：所述第一模型和所述第二模型，其中，所述预先标注的样本图像中每个图像被标注的目标特征包括该图像所属产品类目的产品属性特征以及该图像与另一图像的相似关系特征。

全文数据：图像处理模型的建立方法、装置及图像处理方法及系统技术领域[0001]本申请涉及图像处理技术领域，特别涉及一种图像处理模型的建立方法、一种图像处理模型的建立装置、一种图像处理方法及一种图像处理系统。背景技术[0002]近年来，随着移动互联网技术的不断发展，搜索入口正在由传统的文本搜索向图像搜索转变，图像搜索目前已经得到很好的发展，也已经成为用户常用的一种搜索方式。例如:在电子商务领域中，用户可以通过“以图搜图”搜索方式来搜索商品。[0003]图像搜索的实现主要依赖与图像描述算法，目前，常用的图像描述算法主要包括两个模块，检测模块和特征提取模块;其中，检测模块用于从原始图像中将需要提取特征的目标部分抠出来，以去除背景干扰。特征提取模块，用于从监测模块抠出来的目标部分中提取特征。在实现时，需要专门地训练检测模块和特征提取模块，而这两个模块的训练过程是分离的，但却又是样本相关的。[0004]在训练时，需要人工为检测模块的训练标注大量的训练样本一般都得要求是百万级到千万级的样本量）；先训练检测模块，再利用检测模块的训练结果，人工的标注特征提取模块所需的训练样本，对于人工来说，标注工作量较大，并且，特征提取模块的训练是在检测模块训练完成之后才开始的，因此，整个训练流程较长，时间成本较高。发明内容[0005]本申请所要解决的技术问题是提供一种图像处理模型的建立方法，能够快速地实现端到端的模型建立，减少人工标注样本的工作量，既能够提高模型建立的效率，又能够保证模型的可靠性。[0006]另外，本申请还提供一种图像处理模型的建立装置、一种图像处理方法及一种图像处理系统，以保证上述方法在实际中的实现以及应用。[0007]在本申请第一方面提供了一种图像处理模型的建立方法，该方法包括：[0008]将预先标注的样本图像输入至第一模型进行学习，得到所述样本图像中每个图像的区域特征矩阵，所述区域特征矩阵用于表征该图像中每个区域内的目标特征情况；[0009]将所述每个图像的区域特征矩阵输入至第二模型中进行学习，得到所述每个图像的区域特征权重矩阵，所述区域特征权重矩阵用于表征该区域特征矩阵中每个区域的权重，该权重表征该区域内目标特征的显著性；[0010]根据所述每个图像的区域特征矩阵和对应的区域特征权重矩阵，计算得到所述每个图像的特征；[0011]当学习后得到所述每个图像的特征和预先标注的样本图像中该图像的特征的精度趋于稳定时，则确定学习得到的图像处理模型包括:所述第一模型和所述第二模型。[0012]在本申请第二方面提供了一种图像处理模型的建立装置，该装置包括：[0013]第一模型学习模块，用于将预先标注的样本图像输入至第一模型进行学习，得到所述样本图像中每个图像的区域特征矩阵，所述区域特征矩阵用于表征该图像中每个区域内的目标特征情况；[0014]第二模型学习模块，用于将所述每个图像的区域特征矩阵输入至第二模型中进行学习，得到所述每个图像的区域特征权重矩阵，所述区域特征权重矩阵用于表征该区域特征矩阵中每个区域的权重，该权重表征该区域内目标特征的显著性；[0015]计算模块，用于根据所述每个图像的区域特征矩阵和对应的区域特征权重矩阵，计算得到所述每个图像的特征；[0016]确定模块，用于当学习后得到所述每个图像的特征和预先标注的样本图像中该图像的特征的精度趋于稳定时，则确定学习得到的图像处理模型包括:所述第一模型和所述第二模型。[0017]在本申请第三方面提供了一种图像处理系统，所述系统包括：[0018]图像处理设备和矩阵乘法器；[0019]其中，所述图像处理设备与所述矩阵乘法器相通信；[0020]所述图像处理设备配置有预先建立的图像处理模型，所述图像处理模型包括第一模型和第二模型;所述第一模型是能够对图像进行学习得到图像的区域特征矩阵的模型；所述第二模型是能够对图像的区域特征矩阵进行学习得到图像的区域特征权重矩阵的模型；[0021]所述图像处理设备，用于通过所述图像处理模型对待处理图像进行处理，得到所述待处理图像的区域特征矩阵和区域特征权重矩阵，并将所述区域特征矩阵和区域特征权重矩阵输出至所述矩阵乘法器；[0022]所述矩阵乘法器，用于对接收到的所述待处理图像的区域特征矩阵和区域特征权重矩阵作矩阵相乘处理，得到所述待处理图像的特征。[0023]在本申请第四方面，提供了一种图像处理方法，所述方法包括：[0024]将待处理图像输入至预先建立的图像处理模型，所述图像处理模型包括第一模型和第二模型；[0025]通过所述图像处理模型中的第一模型对所述待处理图像进行处理得到所述待处理图像的区域特征矩阵，并将所述区域特征矩阵输入至所述第二模型得到所述待处理图像的区域特征权重矩阵；[0026]根据所述待处理图像的区域特征矩阵和所述待处理图像的区域特征权重矩阵，计算得到所述待处理图像的特征。[0027]与现有技术相比，本申请提供的技术方案具有以下优点：[0028]本申请提供的技术方案提出了端到端的图像处理模型的建立方式，而端到端的模型学习仅需要预先标注的具有特征属性的样本图像。而我们知道现有技术在实现时，既需要针对检测模块的训练预先标注大量的具有目标信息的样本图像，又需要针对特征提取模块的训练预先标注大量的具有特征属性的样本图像，因此，与现有技术相比，本申请的技术方案不需要那么多的样本图像，减少了近一半的标记工作量。[0029]另外，现有技术的图像处理模型包括:检测模块和特征提取模块;其中，检测模块主要是能够检测出图像中的目标区域;而特征提取模块是针对目标区域提取出图像的目标特征。与现有技术所不同的是，本申请提供的图像处理模型第一模型和第二模型，其中，第一模型主要是能够针对图像的区域位置的特征进行学习的模型;而第二模型主要是能够针对图像的区域位置的特征权重进行学习的模型。[0030]可见:这两个模型的相结合就能够学习得到图像的目标特征情况，能够实现从“图像直接到特征”的“端到端”地学习，相比现有技术的从“图像到目标区域，从目标区域到特征”的分层学习，本申请的这种学习方式具有学习效率高、学习模型的可靠性的优点。附图说明[0031]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。[0032]图1是本申请提供的一种图像处理系统实施例1的结构图；[0033]图2是本申请提供的一种图像处理系统实施例2的结构图；[0034]图3是本申请提供的一种图像处理模型的建立方法的流程图；[0035]图4是本申请提供的一种图像处理方法的流程图；[0036]图5是本申请提供的一种图像处理模型的建立装置的结构图。具体实施方式[0037]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。[0038]本申请可用于众多通用或专用的计算装置环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。[0039]本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。[0040]本申请提供的技术方案主要是提供了一种新的图像处理模型，与现有技术所不同的是，本申请的这种新的图像处理模型是第一模型和第二模型相结合形成的，而第一模型和第二模型各自的功能与现有技术中的测量模块和特征提取模块完全不同；一方面本申请提供了针对这种新的图像处理模型的建立方法也可以理解为训练方法或者学习方法），该方法与现有技术所不同的是，不再针对每个模块的训练分别标注大量的样本图像，而在本申请的整个建立过程中，仅需要预先标注好的具有特征属性的样本图像即可。这就大大减少了样本量的需求，从而减少了前期的人工标注成本。另一方面本申请基于这种新的图像处理模型还提供了一种图像处理系统，基于该系统可以快速地实现“图像到目标特征”的端到端的特征提取，能够较好地适应于有大量图像需要处理的业务场景中，例如可以较好地适应于电子商务平台。另一方面为了保证本申请的建立方法在实际中的应用和实现，本申请还提供了一种图像处理模型的建立装置。[0041]为了方便本领域技术人员很好地理解本申请的技术方案，接下来，先对本申请提供的图像处理系统进行解释说明。[0042]参见图1，图1是本申请提供的一种图像处理系统的结构图，如图1所示，该系统1〇〇包括：[0043]图像处理设备101和矩阵乘法器1〇2;[0044]其中，所述图像处理设备101与所述矩阵乘法器102相通信；[0045]所述图像处理设备配置有预先建立的图像处理模型，所述图像处理模型包括第一模型和第二模型；[0046]其中，所述第一模型是能够对图像进行学习得到图像的区域特征矩阵的模型；所述第二模型是能够对图像的区域特征矩阵进行学习得到图像的区域特征权重矩阵的模型；[0047]在实现时，所述图像处理模型可以是利用本申请提供的图像处理模型的建立方法所建立的图像处理模型。[0048]所述图像处理设备101，用于通过所述图像处理模型对待处理图像进行处理，得到所述待处理图像的区域特征矩阵和区域特征权重矩阵，并将所述区域特征矩阵和区域特征权重矩阵输出至所述矩阵乘法器；[0049]所述矩阵乘法器102,用于对接收到的所述待处理图像的区域特征矩阵和区域特征权重矩阵作矩阵相乘处理，得到所述待处理图像的特征。[0050]基于图1示出的系统100,当有图像需要提取目标特征时，则将该图像输入至系统100的图像处理设备101，然后，由图像处理设备101中的第一模型1011进行训练得到该图像的区域特征矩阵;然后，由第一模型101将训练得到的区域特征矩阵输出至第二模型1012和矩阵乘法器102,由第二模型1012进行训练得到该图像的区域特征权重矩阵A，并将区域特征权重矩阵B输出至矩阵乘法器102。最后，由矩阵乘法器102对接收到的该图像的区域特征矩阵A和区域特征权重矩阵B作矩阵相乘处理得到目标特征矩阵C，该目标特征矩阵C就能够表征该图像所包含的目标特征情况。[0051]另外，在上述图1所示系统的基础上，本申请还提供了一种更实用的系统，参见图2示出的系统200,该系统200与图1所示系统100的区别在于，在图2所示的系统中，图像处理设备内配置的图像处理模型给出了更实用，更具体的模型结构，提出了采用全卷积神经网络模块融合注意力模型的模型结构，既能够较好地发挥全卷积神经网络模型学习能力高，学习速度快的优势，又能够较好地发挥注意力模型快速学习区域显著性的优势，使得整个图像处理模型发挥较好的处理效果。[0052]如图2所示，该系统200包括：[0053]图像处理设备201和矩阵乘法器202;[0054]其中，所述图像处理设备201与所述矩阵乘法器202相通信；[0055]所述图像处理设备201配置有预先建立的图像处理模型，所述图像处理模型包括全卷积神经网络模型和注意力模型；[0056]所述图像处理设备201，用于通过所述图像处理模型对待处理图像进行处理，得到所述待处理图像的区域特征矩阵和区域特征权重矩阵，并将所述区域特征矩阵和区域特征权重矩阵输出至所述矩阵乘法器；[0057]所述矩阵乘法器202,用于对接收到的所述待处理图像的区域特征矩阵和区域特征权重矩阵作矩阵相乘处理，得到所述待处理图像的特征。[0058]接下来，结合电子商务平台的实际应用场景，对上述系统200的工作原理进行解释说明。[0059]在电子商务平台上需要对服装类图像进行特征提取，提取出图像中的具体服装特征。基于这样的业务需求，可以将该电子商品平台上需要被处理的服装类图像分别输入至上述系统100中的图像处理设备101，然后，由于图像处理设备1〇1中的全卷积神经网络模型2011对服装类图像进行学习得到该图像的区域特征矩阵，则该区域特征矩阵就能够表征该服务类图像的区域位置的特征情况，这里的特征可以包括:衣领形状、衣领颜色、袖口形状、袖口颜色、衣袖长度等和具体服装的属性相关的特征信息。[0060]然后，由注意力模型2012对服装类图像的区域特征矩阵进行学习得到该服装类图像的区域特征权重矩阵，该区域特征权重矩阵就能够标准该服务类图像的区域位置的目标特征的显著性，主要以区域位置对应的权重大小来体现。[0061]基于此，由矩阵乘法器202对该服装类图像的区域特征矩阵和对应的区域特征权重矩阵作矩阵相乘得到目标特征矩阵，该目标特征矩阵就能够得到该服装类图像所包含的目标特征情况。[0062]上述示例仅以电子商务平台中服装类产品图像为例进行解释说明，而本申请实施例提供的系统可以适用于任何需要对图像进行特征提取的平台中，能够对其他类型的图像进行处理的，并不局限于上述服务类产品图像的处理。[0063]这里需要说明的是，为了适应于不同的应用场景，上述系统中的图像处理设备可以针对性地配置有利用具体应用场景的样本图像预先建立的图像处理模型;在图像处理设备中可以配置有一个图像处理模型，也可以配置有多个图像处理模型。当然，与图像处理设备的功能相匹配的，在系统中我们可以配置有一个矩阵乘法器，也可以针对每个图像处理模型配置一个对应的矩阵乘法器。当然，在系统中，也可以针对多个图像处理模型仅配置一个矩阵乘法器，则多个图像处理模型可以共同一个矩阵乘法器。如此可知：图1、图2所示的结构图仅是为了便于本领域技术人员的理解，而本申请提供的系统的结构并不局限于图1和图2。[0064]另外，在实现时，图1、图2中的图像处理设备和矩阵乘法器可以集成在同一硬件设备中，也可以部署成独立的硬件设备。[0065]上述系统100、200其工作主要依赖于配置好的图像处理模型，本申请针对如何建立这种图像处理模型，还提供了对应的建立方法和装置，接下来，先对这种图像处理模型的建立方法进行介绍。[0066]参见图3,图3示出本申请提供的一种图像处理模型的建立方法的流程图，如图3所示，该方法可以包括:步骤301至步骤304:[0067]步骤301:将预先标注的样本图像输入至第一模型进行学习，得到所述样本图像中每个图像的区域特征矩阵，所述区域特征矩阵用于表征该图像中每个区域内的目标特征情况。[0068]在实现时，可以根据实际的模型学习的需求，收集一定数量的预先标注好的样本图像，然后将收集到的这些样本图像输入至第一模型进行学习，第一模型在训练开始时，可以随机初始化，然后，对这些样本图像依次进行学习，得到每个图像各自对应的区域特征矩阵。[0069]在本申请实施例中，第一模型可以采用现有的模型结构，只要该模型能够针对图像进行学习，学习得到图像的区域特征情况即可。[0070]发明人针对第一模型的具体实现还提出，在本申请实施例中，第一模型采用全卷积神经网络模型结构，全卷积神经网络只有卷积处理，非全连接，能保证区域特征的独立性;另外，全卷积神经网络具有结构简单、训练参数少和适应性强的特点。[0071]在实现时，本申请实施例可以支持任一格式的图像，这些格式包括但不限于JPG、PNG、TIF、BMP等。当然，在实现时，为了保证图像处理的统一性和处理速率，也可以在接收到样本图像时，先将样本图像转换成系统所支持的统一的一种格式，然后再进行相应处理。当然，为了适应系统的处理性能，还可以针对不同大小的样本图像，先将其剪裁成系统支持的固定大小的图像，然后再对图像进行相应处理。[0072]在实现时，为了适应于电子商务平台，预先标注的样本图像中每个图像被标注的目标特征包括:该图像所属产品类目的产品属性特征。例如，衣服类图像，其所述产品类目是服装类，则这一类图像被标注的目标特征包括服装属性特征。[0073]更进一步地，为了提供更多、更有效地样本特征，预先标注的样本图像中每个图像被标注的目标特征还可以包括:该图像与另一图像的相似关系特征。[0074]例如，图像A与图像B相似度为90%，图像A与图像C的相似度为0%;这些图像相似关系特征，能够从两幅图像的整体来间接表征其内部特征的关系。在具体产品特征的基础上，还可以以图像的相似关系特征为样本数据进行模型学习，使得学习到的模型更可靠，性能更优质。[0075]步骤302:将所述每个图像的区域特征矩阵输入至第二模型中进行学习，得到所述每个图像的区域特征权重矩阵，所述区域特征权重矩阵用于表征该区域特征矩阵中每个区域的权重，该权重表征该区域内目标特征的显著性。[0076]在本申请实施例中，第二模型可以采用现有的模型结构，只要该模型能够针对图像进行学习，学习得到表征图像的区域特征的显著性情况即可。[0077]发明人针对第二模型的具体实现还提出，在本申请实施例中，第二模型采用注意力模型结构，注意力模型也被称为视觉注意力模型，该模型是一种用计算机模拟人类视觉注意力系统的模型，在一幅图像中提取人眼所能观察到的引人注意的特征，对于计算机而言，就是该图像的显著性区域特征。注意力模型主要是能够确定出图像中显著性较高的区域，在本申请中以权重大小来表征图像中区域的显著性的高低。利用注意力模型能够通过各个区域位置的权重大小，达到排除图像背景干扰，并降低不重要的信息权重的目的，从而能够利用权重大小提取出图像中的具体目标特征部分。[0078]这里需要说明的是，为了便于计算，提高学习效率，在实现时，可以预先设置第一模型和第二模型输出的矩阵大小规格相同，如第一模型学习到的区域特征矩阵大小为N*M，则第二模型学习到的区域特征权重矩阵大小同样为N*M，其中，N和M均为大于等于2的正整数，N和M可以取值相同，也可以取值不同。[0079]当然，本申请实施例的实现对这两个模型的输出的矩阵大小也可以不作具体要求。但，如果第一模型输出的区域特征矩阵与第二模型输出的区域特征权重矩阵大小不同时，可以通过矩阵变换的方式将其变换成相同大小的矩阵，这样，便于步骤303中的计算操作。[0080]步骤303:根据所述每个图像的区域特征矩阵和对应的区域特征权重矩阵，计算得到所述每个图像的特征。[0081]在实现时，可以利用矩阵乘法器来实现步骤203,以计算得到每个图像的特征部分。其中，矩阵乘法器是指能够实现矩阵相乘的乘法器。[0082]通过上述步骤301至303的多次重复处理，可以针对样本图像多次学习得到对应的特征部分。在学习之后，通过步骤304来决定是否停止学习以得到学习好的图像处理模型。[0083]步骤304:当学习后得到所述每个图像的特征和预先标注的样本图像中该图像的特征的精度趋于稳定时，则确定学习得到的图像处理模型包括:所述第一模型和所述第二模型。[0084]在实现时，本申请实施例还可以通过以下方式判断所述学习后得到的所述每个图像的特征和预先标注的样本图像中该图形的特征的精度是否趋于稳定：[0085]计算每次学习得到所述每个图像的特征和预先标注的样本图像中该图像的特征两者之间的精度，将所述精度作为该次学习模型的精度；[0086]判断多次学习模型的精度的变化幅度是否小于预设变化幅度阈值，如果是，则确定所述多次学习后得到所述每个图像的特征和预先标注的样本图像中该图像的特征两者的精度趋于稳定。[0087]当判断出多次学习模型的精度趋于稳定，不再突变时，则说明此时学习的第一模型和第二模型已经达到稳定状态，无需再继续学习，此时，就可以确定学习好的图像处理模型包括:第一模型和第二模型。这种判断方式，既能够有效控制学习得到一个性能较好的图像处理模型，又能够尽可能节省样本学习时间。[0088]在实现时，可以预先设置一个学习周期如学习周期为迭代次数1000次），那么，当模型学习的迭代次数达到1000次时，就通过上述步骤304判断所有预先标注的样本图像的学习精度，如果，精度在学习过程中提升非常小，那么就认为当前学习的模型已经达到稳定状态，可以停止学习。[0089]另外，本申请发明人还考虑到预先标记的样本图像都是人工标记的，而人工标记的样本图像有时候会出现标记失误，特征标注错误等问题，为了便于人工修正标记图像，以为下一次模型训练提供较高质量的样本图像，在上述方法的基础上，还可以增加如下步骤：[0090]当学习得到的某个样本图像的特征和预先标注的样本图像中该图像的特征两者之间的精度小于预设精度阈值时，则向后台人工监控系统反馈告警信息，所述告警信息用于提示所述某个样本图像存在标记问题。[0091]基于该告警信息，后台人员可以针对性地对可疑的样本图像的标记情况进行修正，以保证图像标记的准确性。[0092]本申请提供的图像处理模型的建立方法，提出了一种端到端的图像处理模型的建立方式，而端到端的模型学习仅需要预先标注的具有特征属性的样本图像。而我们知道现有技术在实现时，既需要针对检测模块的训练预先标注大量的具有目标信息的样本图像，又需要针对特征提取模块的训练预先标注大量的具有特征属性的样本图像，因此，与现有技术相比，本申请的技术方案不需要那么多的样本图像，减少了近一半的标记工作量。[0093]另外，现有技术的图像处理模型包括:检测模块和特征提取模块;其中，检测模块主要是能够检测出图像中的目标区域;而特征提取模块是针对目标区域提取出图像的目标特征。与现有技术所不同的是，本申请提供的图像处理模型包括:第一模型和第二模型，其中，第一模型主要是能够针对图像的区域位置的特征进行学习的模型；而第二模型主要是能够针对图像的区域位置的特征权重进行学习的模型。[0094]可见:第一模型和第二模型，这两个模型的相结合就能够学习得到图像的目标特征情况，能够实现从“图像直接到特征”的“端到端”地学习，相比现有技术的从“图像到目标区域，从目标区域到特征”的分层学习，本申请的这种学习方式具有学习效率高、学习模型的可靠性的优点。[0095]基于上述图像处理模型的建立方法，本申请还提供了一种图像处理方法，该方法主要是利用该图像处理模型对图像进行特征提取，主要应用于上述图1、图2所示的系统中，下面对该图像处理方法进行解释说明。[0096]参见图4,图4示出了本申请提供的一种图像处理方法的流程图，该方法应用于利用图2所示方法建立的图像处理模型中，该方法可以包括:步骤401至步骤403:[0097]步骤401:将待处理图像输入至预先建立的图像处理模型，所述图像处理模型包括第一模型和第二模型；[0098]步骤402:通过所述图像处理模型中的第一模型对所述待处理图像进行处理得到所述待处理图像的区域特征矩阵，并将所述区域特征矩阵输入至所述第二模型得到所述待处理图像的区域特征权重矩阵；[0099]步骤403:根据所述待处理图像的区域特征矩阵和所述待处理图像的区域特征权重矩阵，计算得到所述待处理图像的特征。[0100]当上述方法适用于上述图2所示的系统中，该图像处理模型中的所述第一模型采用全卷积神经网络模型;该图像处理模型中的所述第二模型采用注意力模型。即，该图像处理模型包括全卷积神经网络模型和注意力模型。[0101]另外，与上述图像处理模型的建立方法相对应的，本申请实施例还提供了对应的图像处理模型的建立装置，用于实现上述方法。下面结合图5对该装置进行解释说明。[0102]图5是本申请提供的一种图像处理模型的建立装置，如图5所示，该装置可以包括：第一模型学习模块5〇1、第二模型学习模块5〇2、计算模块503以及确定模块5〇4,下面基于该装置的工作原理对其内部各个模块的功能和连接关系进行解释说明。[0103]第一模型学习模块501，用于将预先标注的样本图像输入至第一模型进行学习，得到所述样本图像中每个图像的区域特征矩阵，所述区域特征矩阵用于表征该图像中每个区域内的目标特征情况；[0104]第二模型学习模块5〇2,用于将所述每个图像的区域特征矩阵输入至第二模型中进行学习，得到所述每个图像的区域特征权重矩阵，所述区域特征权重矩阵用于表征该区域特征矩阵中每个区域的权重，该权重表征该区域内目标特征的显著性；[0105]计算模块503,用于根据所述每个图像的区域特征矩阵和对应的区域特征权重矩阵，计算得到所述每个图像的特征；[0106]确定模块504,用于当学习后得到所述每个图像的特征和预先标注的样本图像中该图像的特征的精度趋于稳定时，则确定学习得到的图像处理模型包括:所述第一模型和所述第二模型。[0107]在实现时，所述第一模型学习模块所采用的第一模型可以是全卷积神经网络模型。[0108]在实现时，所述第二模型学习模块所采用的第二模型可以是注意力模型。[0109]在实现时，所述预先标注的样本图像中每个图像被标注的目标特征包括:该图像所属产品类目的产品属性特征。[0110]进一步地，所述预先标注的样本图像中每个图像被标注的目标特征还包括:该图像与另一图像的相似关系特征。[0111]在实现时，所述装置还可以包括:判断模块，用于判断所述学习后得到的所述每个图像的特征和预先标注的样本图像中该图形的特征的精度是否趋于稳定；[0112]所述判断模块包括：[0113]精度计算子模块，用于计算每次学习得到所述每个图像的特征和预先标注的样本图像中该图像的特征两者之间的精度，将所述精度作为该次学习模型的精度；[0114]确定子模块，用于判断多次学习模型的精度的变化幅度是否小于预设变化幅度阈值，如果是，则确定所述多次学习后得到所述每个图像的特征和预先标注的样本图像中该图像的特征两者的精度趋于稳定。[0115]在实现时，所述装置还可以包括：[0116]告警模块，用于当学习得到的某个样本图像的特征和预先标注的样本图像中该图像的特征两者之间的精度小于预设精度阈值时，则向后台人工监控系统反馈告警信息，所述告警信息用于提示所述某个样本图像存在标记问题。[0117]本申请提供的图像处理模型的建立装置，提出了一种端到端的图像处理模型的建立方式，而端到端的模型学习仅需要预先标注的具有特征属性的样本图像。而我们知道现有技术在实现时，既需要针对检测模块的训练预先标注大量的具有目标信息的样本图像，又需要针对特征提取模块的训练预先标注大量的具有特征属性的样本图像，因此，与现有技术相比，本申请的技术方案不需要那么多的样本图像，减少了近一半的标记工作量。[0118]另外，现有技术的图像处理模型包括:检测模块和特征提取模块;其中，检测模块主要是能够检测出图像中的目标区域;而特征提取模块是针对目标区域提取出图像的目标特征。与现有技术所不同的是，本申请提供的图像处理模型包括:第一模型和第二模型，其中，第一模型主要是能够针对图像的区域位置的特征进行学习的模型；而第二模型主要是能够针对图像的区域位置的特征权重进行学习的模型。[0119]可见:第一模型和第二模型，这两个模型的相结合就能够学习得到图像的目标特征情况，能够实现从“图像直接到特征”的“端到端”地学习，相比现有技术的从“图像到目标区域，从目标区域到特征”的分层学习，本申请的这种学习方式具有学习效率高、学习模型的可靠性的优点。[0120]需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。[0121]最后，还需要说明的是，在本文中，诸如第一、第二、第三、第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。[0122]以上对本申请所提供的一种图像处理模型的建立方法、一种图像处理模型的建立装置、一种图像处理方法、以及一种图像处理系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

权利要求：1.一种图像处理模型的建立方法，其特征在于，所述方法包括：将预先标注的样本图像输入至第一模型进行学习，得到所述样本图像中每个图像的区域特征矩阵，所述区域特征矩阵用于表征该图像中每个区域内的目标特征情况；将所述每个图像的区域特征矩阵输入至第二模型中进行学习，得到所述每个图像的区域特征权重矩阵，所述区域特征权重矩阵用于表征该区域特征矩阵中每个区域的权重，该权重表征该区域内目标特征的显著性；根据所述每个图像的区域特征矩阵和对应的区域特征权重矩阵，计算得到所述每个图像的特征；当学习后得到所述每个图像的特征和预先标注的样本图像中该图像的特征的精度趋于稳定时，则确定学习得到的图像处理模型包括:所述第一模型和所述第二模型。2.根据权利要求1所述的图像处理模型的建立方法，其特征在于，所述第一模型采用全卷积神经网络模型；所述第二模型采用注意力模型。3.根据权利要求1所述的图像处理模型的建立方法，其特征在于，所述预先标注的样本图像中每个图像被标注的目标特征包括:该图像所属产品类目的产品属性特征。4.根据权利要求3所述的图像处理模型的建立方法，其特征在于，所述预先标注的样本图像中每个图像被标注的目标特征还包括:该图像与另一图像的相似关系特征。5.根据权利要求1所述的图像处理模型的建立方法，其特征在于，通过以下方式判断所述学习后得到的所述每个图像的特征和预先标注的样本图像中该图形的特征的精度是否趋于稳定：计算每次学习得到所述每个图像的特征和预先标注的样本图像中该图像的特征两者之间的精度，将所述精度作为该次学习模型的精度；判断多次学习模型的精度的变化幅度是否小于预设变化幅度阈值，如果是，则确定所述多次学习后得到所述每个图像的特征和预先标注的样本图像中该图像的特征两者的精度趋于稳定。6.根据权利要求1所述的图像处理模型的建立方法，其特征在于，所述方法还包括：当学习得到的某个样本图像的特征和预先标注的样本图像中该图像的特征两者之间的精度小于预设精度阈值时，则向后台人工监控系统反馈告警信息，所述告警信息用于提示所述某个样本图像存在标记问题。7.—种图像处理方法，其特征在于，应用于上述权利要求1至6中任一项所述方法建立的图像处理模型中，所述方法包括:将待处理图像输入至预先建立的图像处理模型，所述图像处理模型包括第一模型和第二模型；通过所述图像处理模型中的第一模型对所述待处理图像进行处理得到所述待处理图像的区域特征矩阵，并将所述区域特征矩阵输入至所述第二模型得到所述待处理图像的区域特征权重矩阵；根据所述待处理图像的区域特征矩阵和所述待处理图像的区域特征权重矩阵，计算得到所述待处理图像的特征。8.根据权利要求7所述的图像处理方法，其特征在于，所述第一模型采用全卷积神经网络模型；所述第二模型采用注意力模型。9.一种图像处理系统，其特征在于，所述系统包括：图像处理设备和矩阵乘法器；其中，所述图像处理设备与所述矩阵乘法器相通信；所述图像处理设备配置有预先建立的图像处理模型，所述图像处理模型包括第一模型和第二模型;所述第一模型是能够对图像进行学习得到图像的区域特征矩阵的模型;所述第二模型是能够对图像的区域特征矩阵进行学习得到图像的区域特征权重矩阵的模型；所述图像处理设备，用于通过所述图像处理模型对待处理图像进行处理，得到所述待处理图像的区域特征矩阵和区域特征权重矩阵，并将所述区域特征矩阵和区域特征权重矩阵输出至所述矩阵乘法器；所述矩阵乘法器，用于对接收到的所述待处理图像的区域特征矩阵和区域特征权重矩阵作矩阵相乘处理，得到所述待处理图像的特征。10.—种图像处理模型的建立装置，其特征在于，所述装置包括：第一模型学习模块，用于将预先标注的样本图像输入至第一模型进行学习，得到所述样本图像中每个图像的区域特征矩阵，所述区域特征矩阵用于表征该图像中每个区域内的目标特征情况；第二模型学习模块，用于将所述每个图像的区域特征矩阵输入至第二模型中进行学习，得到所述每个图像的区域特征权重矩阵，所述区域特征权重矩阵用于表征该区域特征矩阵中每个区域的权重，该权重表征该区域内目标特征的显著性；计算模块，用于根据所述每个图像的区域特征矩阵和对应的区域特征权重矩阵，计算得到所述每个图像的特征；确定模块，用于当学习后得到所述每个图像的特征和预先标注的样本图像中该图像的特征的精度趋于稳定时，则确定学习得到的图像处理模型包括:所述第一模型和所述第二模型。

百度查询： 阿里巴巴集团控股有限公司 图像处理模型的建立方法、装置及图像处理方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD