申请/专利权人：北京字节跳动网络技术有限公司

申请日：2018-09-30

公开（公告）日：2021-10-12

公开（公告）号：CN109117831B

主分类号：G06K9/00(20060101)

分类号：G06K9/00(20060101);G06K9/62(20060101);G06T7/73(20170101)

优先权：

专利状态码：有效-授权

法律状态：2021.10.12#授权;2019.01.25#实质审查的生效;2019.01.01#公开

摘要：本申请实施例公开了物体检测网络的训练方法和装置。该方法的一具体实施方式包括：将训练样本图像输入至初始物体检测网络，得到训练样本图像中的训练目标的预测信息，预测信息包括预测边界框；根据预测边界框的位置以及与训练目标对应的预设锚点框的位置差异，确定第一损失函数的损失值；基于第一损失函数的损失值调整初始物体检测网络的参数，以对初始物体检测网络进行训练。上述方式通过较少次数的训练，将训练目标的预测边界框固定在训练目标对应的预设锚点框附近。有助于提高物体检测网络的学习效率，进一步可以加快对物体检测网络训练的速度。

主权项：1.一种物体检测网络的训练方法，包括：将训练样本图像输入至初始物体检测网络，得到所述训练样本图像中的训练目标的预测信息，所述预测信息包括预测边界框以及预测边界框的位置信息；根据所述预测边界框的位置以及与所述训练目标对应的预设锚点框的位置差异，确定第一损失函数的损失值，其中，每一个训练目标对应至少一个预设锚点框，所述每个预设锚点框至少部分圈住所述训练目标的轮廓，所述预设锚点框以所述训练样本图像的特征图的每一个像素点所映射到的所述训练样本图像的区域的中心点为中心，按照预设长宽比和预设尺寸生成，第一损失函数为各预测边界框与各自对应的至少一个预设锚点框位置差异的累加和；基于所述第一损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练。

全文数据：物体检测网络的训练方法和装置技术领域本申请实施例涉及计算机技术领域，具体涉及图像处理技术领域，尤其涉及物体检测网络的训练方法和装置。背景技术物体检测是计算机视觉领域中一个基础性的研究课题，其在人脸识别、安全监控以及动态追踪等很多方面都有广泛的应用前景。物体检测是指对于任意一幅给定的图像，检测和识别其中包括的每一个物体，并返回图像中各物体的类别信息和位置信息，上述位置信息可以包括位于原图像中的预测边界框。基于深度卷积物体检测网络CNN的物体检测方法是当前较为先进的物体检测方法。现有的使用物体检测网络的过程通常包括生成候选范围、确定物体范围、识别物体以及后续处理。在后续处理中，需要基于物体候选框的打分和分类结果对候选范围进行最终的总结和筛选。在使用物体检测网络识别物体类别以及确定物体位置信息之前，需要对物体检测网络进行训练。发明内容本申请实施例提出了一种物体检测网络的训练方法和装置。第一方面，本申请实施例提供了一种物体检测网络的训练方法，该方法包括：将训练样本图像输入至初始物体检测网络，得到所述训练样本图像中的训练目标的预测信息，所述预测信息包括预测边界框以及预测边界框的位置信息；根据所述预测边界框的位置以及与所述训练目标对应的预设锚点框的位置差异，确定第一损失函数的损失值；基于所述第一损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练。在一些实施例中，所述训练样本图像中包括训练目标的标注框以及标注的标注框的位置信息，以及所述方法还包括：根据所述预测边界框的位置和所述标注框的位置之间的差异，确定第二损失函数的损失值；以及所述基于所述第一损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练，还包括：利用所述第二损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练。在一些实施例中，所述预测信息还包括预测边界框内的图像所对应的训练目标的预测置信度；以及所述方法还包括：根据预测边界框对应的预测置信度与该预测边界框对应的真实置信度之间的差异，确定第三损失函数的损失值，其中，所述真实置信度为与所述预测边界框对应的标注框的真实置信度；以及所述基于所述第一损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练，还包括：利用所述第三损失函数的损失值调整所述初始物体检测网络的网络参数，以对所述初始物体检测网络进行训练。在一些实施例中，所述基于所述第一损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练，包括：确定训练次数是否大于预设训练次数阈值；响应于所述训练次数不大于所述预设预训练次数阈值，采用所述第一损失函数的损失值、第二损失函数的损失值以及第三损失函数的损失值，调整所述初始物体检测网络的参数，以对初始物体检测网络进行预训练。在一些实施例中，该方法还包括：响应于确定训练次数大于预设训练次数阈值，采用所述第二损失函数的损失值以及第三损失函数的损失值，调整所述经过预训练的物体检测网络的参数，以对初始物体检测网络进行预训练。第二方面，本申请实施例提供了一种物体检测网络的训练装置，该装置包括：预测边界框确定单元，被配置成将训练样本图像输入至初始物体检测网络，得到所述训练样本图像中的训练目标的预测信息，所述预测信息包括预测边界框以及预测边界框的位置信息；损失函数确定单元，被配置成根据所述预测边界框的位置以及与所述训练目标对应的预设锚点框的位置差异，确定第一损失函数的损失值；调整单元，被配置成基于所述第一损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练。在一些实施例中，所述训练样本图像中包括训练目标的标注框以及标注的标注框的位置信息，所述损失函数确定单元进一步被配置成：根据所述预测边界框的位置和所述标注框的位置之间的差异，确定第二损失函数的损失值；以及所述调整单元进一步被配置成：利用所述第二损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练。在一些实施例中，所述预测信息还包括预测边界框内的图像所对应的训练目标的预测置信度；以及所述损失函数确定单元进一步被配置成：根据预测边界框对应的预测置信度与该预测边界框对应的真实置信度之间的差异，确定第三损失函数的损失值，其中，所述真实置信度为与所述预测边界框对应的标注框的真实置信度；以及所述调整单元进一步被配置成：利用所述第三损失函数的损失值调整所述初始物体检测网络的网络参数，以对所述初始物体检测网络进行训练。在一些实施例中，所述调整单元进一步被配置成：确定训练次数是否大于预设训练次数阈值；响应于所述训练次数不大于所述预设预训练次数阈值，采用所述第一损失函数的损失值、第二损失函数的损失值以及第三损失函数的损失值，调整所述初始物体检测网络的参数，以对初始物体检测网络进行预训练。在一些实施例中，所述调整单元进一步被配置成：响应于确定训练次数大于预设训练次数阈值，采用所述第二损失函数的损失值以及第三损失函数的损失值，调整所述经过预训练的物体检测网络的参数，以对初始物体检测网络进行预训练。第三方面，本申请实施例提供了一种电子设备，电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。本申请实施例提供的物体检测网络的训练方法和装置，通过使用反映预测边界框的位置与预设锚点框的位置差异，确定第一损失函数的损失值，并通过第一损失函数的损失值对初始物体检测网络的参数进行调整，可以提高物体检测网络的学习效率，进一步可以加快对物体检测网络进行训练的速度。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请的一个实施例的物体检测网络的训练方法可以应用于其中的示例性系统架构图；图2是根据本申请的物体检测网络的训练方法的一个实施例的流程图；图3是根据本申请的物体检测网络的训练方法的一个应用场景的示意图；图4是根据本申请的物体检测网络的训练方法的又一个实施例的流程图；图5是根据本申请的物体检测网络的训练装置的一个实施例的结构示意图；图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了本申请的一个实施例的物体检测网络的训练方法可以应用于其中的示例性系统架构图100。如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用，例如图像标注类应用等。终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块例如用来提供分布式服务的软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。服务器105可以提供各种服务，例如接收对终端设备101、102、103发送的带有标注信息的训练样本图像集，并根据所接收到的训练样本图像集对设置在服务器105上的物体检测网络进行训练。需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块例如用来提供分布式服务的软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。需要说明的是，本申请实施例所提供的物体检测网络的训练方法一般由服务器105执行，相应地，物体检测网络的训练装置一般设置于服务器105中。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。继续参考图2，其示出了根据本申请的物体检测网络的训练方法的一个实施例的流程200。该物体检测网络的训练方法，包括以下步骤：步骤201，将训练样本图像输入至初始物体检测网络，得到训练样本图像中的训练目标的预测信息。在本实施例中，物体检测网络的训练方法的执行主体例如图1所示的服务器可以将训练样本图像输入至初始物体检测网络中，从而得到训练样本图像中的训练目标的预测信息。上述预测信息可以包括训练目标的预测边界框以及预测边界框的位置信息。在本实施例中，上述训练目标的数量可以大于1。每一个训练目标可以对应至少一个预测边界框。上述物体检测网络可以是现有的各种物体检测网络，例如RCNN、FastRCNN、FasterRCNN、YOLO、SSD等物体检测网络。需要说明的是，上述RCNN、FastRCNN、FasterRCNN、YOLO、SSD等物体检测网络目前广泛研究和应用的公知技术，此处不赘述。通常需要使用训练样本图像根据预设的损失函数对物体检测网络进行多次训练，才能得到物体检测网络的较优网络参数。在得到较优的网络参数之后，可以对物体检测网络的网络参数进行保存，以完成对物体检测网络的训练。步骤202，根据预测边界框的位置以及与训练目标对应的预设锚点框的位置差异，确定第一损失函数的损失值。在本实施例中，上述物体检测网络可生成与训练样本图像对应的多个预设锚点框。实践中，可以将训练样本图像输入到物体检测网络来提取训练样本图像的特征图。然后将特征图的每一个像素点映射到原训练样本图像中。这样，对应训练样本图像的特征图中的每一个像素点，都可以在训练样本图像中有一个对应的映射区域。上述锚点框可以是矩形框。以特征图的每一个像素点所映射到的原训练样本图像的区域的中心点为中心，按照预设长宽比和预设尺寸生成预设锚点框。上述预设长宽比例如可以是0.5、1、2等。这样一来，与训练样本图像的特征图中的每一个像素点相对应的训练样本图像的区域中，均包括至少一个预设锚点框。每一个训练目标可以对应至少一个预设锚点框。与一个训练目标对应的一个预设锚点框可以至少部分地圈住该训练目标的轮廓。。在本实施例中，上述执行主体可以根据步骤201中得到的预测边界框的位置以及训练目标对应的预设锚点框的位置差异，确定第一损失函数。也就是说，上述第一损失函数可以反映预测边界框的位置与训练目标对于的锚点框的位置差异。上述预测边界框的位置可以使用x，y，w和h来表示。其中，x，y，可以使预测边界框的中心点相对于训练样本图像的一个预设参考点的相对坐标。这里的预设参考点可以是训练样本图像的一个顶点例如左上顶点。w是预测边界框的宽度。h是预测边界框的高度。此外，上述x，y还可以是预测边界框位置与一个预设锚点框相比的偏移量。通过上面训练样本图像的预设锚点框的设置过程可知，对于任意一个预设锚点框，该预设锚点框的相对于训练样本图像的预设参考点的坐标是已知的。对于训练样本图像中的一个训练目标n而言，与该训练目标对应的预测边界框的坐标可以表示为xn，yn；该预测边界框的高度为hn，宽度为wn。与该训练目标对应的第t个预设锚点框的坐标可以表示为Xnt，Ynt。这里的t为正整数。则该训练目标的预测边界框与该第t个预设锚点框的位置差异，可以由如下公式计算：xn-Xnt2+yn-Ynt2+wn-Wnt2+hn-Hnt21；其中，Wnt和Hnt分别为与该训练目标对应的第t个预设锚点框的宽度和高度。第一损失函数为各预测边界框与各自对应的至少一个预设锚点框位置差异的累加和。第一损失函数Loss1可以由如下公式表示：其中，L，J分别是训练样本图像的特征图中的像素点的行数和列数。K是与每一个像素点对应的预设锚点框的数量。L，J，K为大于等于1的正整数。l为小于等于L的非负整数，j为小于等于J的非负整数数。k为小于等于K的非负整数。Xljk为第l行，第j列的像素点对应的第k个预设锚点框的横坐标。Yljk为第l行，第j列的像素点对应的第k个预设锚点框的纵坐标。Xljk为与第l行，第j列的像素点对应的预测边界框的横坐标，yljk为与第l行，第j列的像素点对应的预测边界框的纵坐标。Wljk为第l行，第j列的像素点对应的第k个预设锚点框的宽度。Hljk为第l行，第j列的像素点对应的第k个预设锚点框的高度。Wljk为与第l行，第j列的像素点对应的预测边界框的宽度，hljk为与第l行，第j列的像素点对应的预测边界框的高度。进一步地，上述执行主体可以根据所述预测边界框的位置以及与所述训练目标对应的预设锚点框的位置差异，确定第一损失函数的损失值。步骤203，基于第一损失函数的损失值调整初始物体检测网络的参数，以对初始物体检测网络进行训练。在本实施例中，在步骤202得到了上述第一损失函数的损失值之后，上述执行主体可以基于第一损失函数的损失值调整初始物体检测网络的参数，以对初始物体检测网络进行训练。具体地，可以调整初始物体检测网络的参数以尽量最小化第一损失函数的损失值。实践中，可以计算第一损失函数的梯度，也即对第一损失函数求偏导，得到第一损失函数的梯度。沿着与上述梯度相反的方向，反向逐级调整初始物体检测网络的参数。重复执行上述步骤，得到收敛的第一损失函数的损失值，以实现对物体检测网络的训练。继续参见图3，图3是根据本实施例的物体检测网络的训练方法的应用场景的一个示意图300。在图3的应用场景中，电子设备301首先将训练样本图像输入至初始物体检测网络，得到训练样本图像中的训练目标的预测信息302，上述预测信息包括预测边界框以及预测边界框的位置信息。之后，电子设备301根据预测边界框的位置以及训练目标对应的预设锚点框的位置差异，确定第一损失函数的损失值303。最后，电子设备301基于第一损失函数的损失值调整初始物体检测网络的参数，以对初始物体检测网络进行训练304。本申请的上述实施例提供的方法通过使用反映预测边界框的位置与预设锚点框的位置差异的第一损失函数的损失值，对初始物体检测网络的参数进行调整。从而通过较少次数的训练，将训练目标的预测边界框固定在训练目标对应的预设锚点框附近。有助于提高物体检测网络的学习效率，进一步可以加快对物体检测网络训练的速度。进一步参考图4，其示出了物体检测网络的训练方法的又一个实施例的流程400。该物体检测网络的训练方法的流程400，包括以下步骤：步骤401，将训练样本图像输入至初始物体检测网络，得到训练样本图像中的训练目标的预测信息。在本实施例中，上述步骤401与图2所示的步骤201相同，此处不赘述。在本实施例中，上述预测信息可以包括预测边界框、预测边界框的位置信息和预测边框框对应的预测置信度。上述预测置信度用于指示预测边界框内的图像是训练目标的图像还是背景图像。在本实施例中，步骤401与图2所示步骤201相同，此处不赘述。步骤402，根据预测边界框的位置以及与训练目标对应的预设锚点框的位置差异，确定第一损失函数的损失值。在本实施例中，步骤402与图2所示步骤202相同，此处不赘述。步骤403，训练样本图像中包括训练目标的标注框以及标注框的位置信息，根据预测边界框的位置和标注框的位置之间的差异，确定第二损失函数的损失值。在本实施例中，对于任一训练目标，上述训练样本图像中可以包括与该训练目标对应的预先标注的标注框。此外，训练样本图像中还可以标注有该训练目标对应的标注框的位置信息。上述标注框的位置信息用于指示标注框所在的位置。上述执行主体可以计算该训练目标的预测边界框的位置和标注框的位置的差异。上述预测边界框的位置和标注框的位置差异的计算方法，可以参考预测边界框和预设锚点框的位置差异的计算方法。此处不赘述。上述执行主体可以根据预测边界框的位置和标注框的位置之间的差异，确定第二损失函数。上述第二损失函数可以是各种现有的回归损失函数。例如平方损失、绝对值误差也称L1损失、Huber损失等。在一些应用场景中，第二损失函数可以为平方损失。具体地，将各训练目标分别对应的预测边界框和标注框的差异的累加和作为第二损失函数。在这些应用场景中，上述第二损失函数Loss2由如下公式来表示：其中，Aljk、Bljk、Cljk、Dljk分别是第l行，第j列的像素点的第k个预设锚点框对应的标注框的横坐标、纵坐标，宽度和高度。进一步地，上述执行主体可以确定第二损失函数的损失值。步骤404，利用第二损失函数的损失值调整初始物体检测网络的参数，以对初始物体检测网络进行训练。在本实施例中，可以利用第二损失函数的损失值来训练初始物体检测网络。在一些应用场景中，可以是用第一可以使用第一损失函数的损失值和第二损失函数的损失值之和来训练初始物体检测网络。具体地，对于每一个预测边界框，上述步骤401中的预测信息中还可以包括该预测边界框对应的预测置信度。预测置信度用于指示预测边界框内的图像是训练目标的图像还是背景图像。上述预测置信度小于等于1。若一个预测边界框对应的预测置信度小于第一预设置信度阈值，则表示该预测边界框内的图像为背景图像。若一个预测边界框对应的预测置信度大于第二预设置信度阈值，则表示该预测边界框内的图像为一个训练目标的图像。这里的第二预设置信度阈值可以大于第一预设置信度阈值。第一预设置信度阈值和第二预设置信度阈值的具体数值可以根据具体地应用场景进行设定，此处不进行限定。若有至少一个预测边界框对应的预测置信度大于第二预设置信度阈值，则对初始物体检测网络进行训练的损失函数中可以包括第二损失函数。在本实施例的一些可选的实现方式中，上述预测边界框对应的预测信息还包括该预测边界框内的图像所对应的训练目标的标识。这里的训练目标的标识用于指示训练样本图像中不同的训练目标。训练目标的标识例如可以使用字符或数字来表示，还可以使用字符和数字的组合来表示。相应地，上述预测边界框的预测置信度可以指示该预测边界框内的图像属于该预测训练目标的置信度。在这些可选的实现方式中，上述执行主体根据预测边界框对应的预测置信度与该预测边界框对应的标注框的真实置信度之间的差异，确定第三损失函数的损失值。对于一个训练目标而言，该训练目标对于的标注框的真实置信度为1。这里的第三损失函数可以是各种已知的分类损失函数，例如0-1损失函数、交叉熵损失函数等、指数损失函数等。上述各种分类损失函数是目前广泛研究和应用的公知技术，此处不赘述。在这些可选的实现方式中，在对物体检测网络进行训练时，可以使用第一损失函数的损失值、第二损失函数的损失值和第三损失函数的损失值的加权和来对初始物体检测网络进行训练。例如，调整初始物体检测网络的参数，以使第一损失函数的损失值、第二损失函数的损失值和第三损失函数的损失值的加权和最小。并将第一损失函数的损失值、第二损失函数的损失值和第三损失函数的损失值的加权和收敛时的物体检测网络的参数作为训练好的物体检测网络的参数。进一步可选的，在使用第一损失函数的损失值、第二损失函数的损失值和第三损失函数的损失值对初始物体检测网络进行训练过程中，在初始训练时，使用第一损失函数的损失值、第二损失函数的损失值、第三损失函数的损失值之和对初始物体检测网络进行检测。具体地，可以设置预设训练次数阈值。上述执行主体可以确定当前累计训练次数是否大于上述预设训练次数阈值。响应于训练次数不大于预设训练次数阈值，采用第一损失函数的损失值、第二损失函数的损失值以及第三损失的函数损失值，调整初始物体检测网络的参数，以对初始物体检测网络进行预训练。在这个过程中，使用第一损失函数的损失值对物体检测网进行训练，可以加速预测边界框向预设锚点框靠近的过程，使得一个训练目标的预测边界框分布于该训练目标对应的预设锚点框附近。使用第二损失函数的损失值和第三损失函数的损失值对物体检测网络进行训练，可以使得预测边界框的位置以及物体检测网络对训练目标的分类结果在预训练的过程中逐渐趋于真实。此外，响应于训练次数大于预先训练次数阈值，上述执行主体可以采用第二损失函数的损失值以及第三损失函数的损失值，调整经过上述预训练的初始物体检测网络的参数，以使第二损失函数的损失值和第三损失函数的损失值之和最小。在这个过程中，继续使用第二损失函数的损失值和第三损失函数的损失值对经过预训练的初始物体检测网络进行训练可以使得预测边界框的位置以及物体检测网络对训练目标的分类结果进一步趋于真实，以达到对初始物体检测网络进行训练的目的。将最终使第二损失函数的损失值和第三损失函数的损失值之和最小的物体检测网络的参数进行保存，从而得到了训练好的物体检测网络。从图4中可以看出，与图2对应的实施例相比，本实施例中的物体检测网络的训练方法的流程400突出了确定第二损失函数的损失值，以及使用第二损失函数的损失值对初始物体检测网络进行训练的步骤。此外，还引入了第三损失函数的损失值，以及由第一损失函数的损失值、第二损失函数的损失值和第三损失函数的损失值对初始物体检测网络进行训练的步骤。由此，本实施例描述的方案在加快对初始物体检测网络的训练过程的基础上，可以提高训练后的物体检测网络对物体进行分类和定位所得到的结果的精确度。进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种物体检测网络的训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。如图5所示，本实施例的物体检测网络的训练装置500包括：预测边界框确定单元501、损失函数确定单元502和调整单元503。其中，预测边界框确定单元501，被配置成将训练样本图像输入至初始物体检测网络，得到训练样本图像中的训练目标的预测信息，预测信息包括预测边界框以及预测边界框的位置信息；损失函数确定单元502，被配置成根据预测边界框的位置以及与训练目标对应的预设锚点框的位置差异，确定第一损失函数的损失值；调整单元503，被配置成基于第一损失函数的损失值调整初始物体检测网络的参数，以对初始物体检测网络进行训练。在本实施例中，物体检测网络的训练装置500的预测边界框确定单元501、损失函数确定单元502和调整单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202和步骤203的相关说明，在此不再赘述。在本实施例的一些可选的实现方式中，训练样本图像中包括训练目标的标注框以及标注的标注框的位置信息，损失函数确定单元502进一步被配置成：根据预测边界框的位置和标注框的位置之间的差异，确定第二损失函数的损失值；以及调整单元503进一步被配置成：利用第二损失函数的损失值调整初始物体检测网络的参数，以对初始物体检测网络进行训练。在本实施例的一些可选的实现方式中，预测信息还包括预测边界框内的图像所对应的训练目标的预测置信度；损失函数确定单元502进一步被配置成：根据预测边界框对应的预测置信度与该预测边界框对应的真实置信度之间的差异，确定第三损失函数的损失值，其中，真实置信度为与预测边界框对应的标注框的真实置信度。以及调整单元503进一步被配置成：利用第三损失函数的损失值调整初始物体检测网络的网络参数，以对初始物体检测网络进行训练。在本实施例的一些可选的实现方式中，调整单元503进一步被配置成：确定训练次数是否大于预设训练次数阈值；响应于训练次数不大于预设预训练次数阈值，采用第一损失函数的损失值、第二损失函数的损失值以及第三损失函数的损失值，调整初始物体检测网络的参数，以对初始物体检测网络进行预训练。在本实施例的一些可选的实现方式中，调整单元503进一步被配置成：响应于确定训练次数大于预设训练次数阈值，采用第二损失函数的损失值以及第三损失函数的损失值，调整经过预训练的物体检测网络的参数，以对初始物体检测网络进行预训练。下面参考图6，其示出了适于用来实现本申请实施例的终端设备服务器的计算机系统600的结构示意图。图6示出的终端设备服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。如图6所示，计算机系统600包括处理器601，其可以根据存储在只读存储器ROM，ReadOnlyMemory602中的程序或者从存储部分606加载到随机访问存储器RAM，RandomAccessMemory603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。处理器601、ROM602以及RAM603通过总线604彼此相连。输入输出IO，InputOutput接口605也连接至总线604。以下部件连接至IO接口605：包括硬盘等的存储部分606；以及包括诸如LAN局域网，LocalAreaNetwork卡、调制解调器等的网络接口卡的通信部分607。通信部分607经由诸如因特网的网络执行通信处理。驱动器608也根据需要连接至IO接口605。可拆卸介质609，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器608上，以便于从其上读出的计算机程序根据需要被安装入存储部分606。特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分607从网络上被下载和安装，和或从可拆卸介质609被安装。在该计算机程序被中央处理单元处理器601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器RAM、只读存储器ROM、可擦式可编程只读存储器EPROM或闪存、光纤、便携式紧凑磁盘只读存储器CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网LAN或广域网WAN—连接到用户计算机，或者，可以连接到外部计算机例如利用因特网服务提供商来通过因特网连接。附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和或流程图中的每个方框、以及框图和或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括预测边界框确定单元、损失函数确定单元和调整单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，预测边界框确定单元还可以被描述为“将训练样本图像输入至初始物体检测网络，得到训练样本图像中的训练目标的预测边界框的单元”。作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：将训练样本图像输入至初始物体检测网络，得到训练样本图像中的训练目标的预测信息，预测信息包括预测边界框以及预测边界框的位置信息；根据预测边界框的位置以及与训练目标对应的预设锚点框的位置差异，确定第一损失函数的损失值；基于第一损失函数的损失值调整初始物体检测网络的参数，以对初始物体检测网络进行训练。以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的但不限于具有类似功能的技术特征进行互相替换而形成的技术方案。

权利要求：1.一种物体检测网络的训练方法，包括：将训练样本图像输入至初始物体检测网络，得到所述训练样本图像中的训练目标的预测信息，所述预测信息包括预测边界框以及预测边界框的位置信息；根据所述预测边界框的位置以及与所述训练目标对应的预设锚点框的位置差异，确定第一损失函数的损失值；基于所述第一损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练。2.根据权利要求1所述的方法，其中，所述训练样本图像中包括训练目标的标注框以及标注框的位置信息，以及所述方法还包括：根据所述预测边界框的位置和所述标注框的位置之间的差异，确定第二损失函数的损失值；以及所述基于所述第一损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练，还包括：利用所述第二损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练。3.根据权利要求2所述的方法，其中，所述预测信息还包括预测边界框内的图像所对应的训练目标的预测置信度；以及所述方法还包括：根据预测边界框对应的预测置信度与该预测边界框对应的真实置信度之间的差异，确定第三损失函数的损失值，其中，所述真实置信度为与所述预测边界框对应的标注框的真实置信度；以及所述基于所述第一损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练，还包括：利用所述第三损失函数的损失值调整所述初始物体检测网络的网络参数，以对所述初始物体检测网络进行训练。4.根据权利要求3所述的方法，其中，所述基于所述第一损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练，包括：确定训练次数是否大于预设训练次数阈值；响应于所述训练次数不大于所述预设预训练次数阈值，采用所述第一损失函数的损失值、第二损失函数的损失值以及第三损失函数的损失值，调整所述初始物体检测网络的参数，以对初始物体检测网络进行预训练。5.根据权利要求4所述的方法，其中，所述方法还包括：响应于确定训练次数大于预设训练次数阈值，采用所述第二损失函数的损失值以及第三损失函数的损失值，调整所述经过预训练的物体检测网络的参数，以对初始物体检测网络进行预训练。6.一种物体检测网络的训练装置，包括：预测边界框确定单元，被配置成将训练样本图像输入至初始物体检测网络，得到所述训练样本图像中的训练目标的预测信息，所述预测信息包括预测边界框以及预测边界框的位置信息；损失函数确定单元，被配置成根据所述预测边界框的位置以及与所述训练目标对应的预设锚点框的位置差异，确定第一损失函数的损失值；调整单元，被配置成基于所述第一损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练。7.根据权利要求6述的装置，其中，所述训练样本图像中包括训练目标的标注框以及标注的标注框的位置信息，所述损失函数确定单元进一步被配置成：根据所述预测边界框的位置和所述标注框的位置之间的差异，确定第二损失函数的损失值；以及所述调整单元进一步被配置成：利用所述第二损失函数的损失值调整所述初始物体检测网络的参数，以对所述初始物体检测网络进行训练。8.根据权利要求7的装置，其中，所述预测信息还包括预测边界框内的图像所对应的训练目标的预测置信度；以及所述损失函数确定单元进一步被配置成：根据预测边界框对应的预测置信度与该预测边界框对应的真实置信度之间的差异，确定第三损失函数的损失值，其中，所述真实置信度为与所述预测边界框对应的标注框的真实置信度；以及所述调整单元进一步被配置成：利用所述第三损失函数的损失值调整所述初始物体检测网络的网络参数，以对所述初始物体检测网络进行训练。9.根据权利要求8述的装置，其中，所述调整单元进一步被配置成：确定训练次数是否大于预设训练次数阈值；响应于所述训练次数不大于所述预设预训练次数阈值，采用所述第一损失函数的损失值、第二损失函数的损失值以及第三损失函数的损失值，调整所述初始物体检测网络的参数，以对初始物体检测网络进行预训练。10.根据权利要求9述的装置，其中，所述调整单元进一步被配置成：响应于确定训练次数大于预设训练次数阈值，采用所述第二损失函数的损失值以及第三损失函数的损失值，调整所述经过预训练的物体检测网络的参数，以对初始物体检测网络进行预训练。11.一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任一所述的方法。12.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。

百度查询： 北京字节跳动网络技术有限公司 物体检测网络的训练方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD