申请/专利权人：北京图森智途科技有限公司

申请日：2018-12-20

公开（公告）日：2021-11-23

公开（公告）号：CN109784194B

主分类号：G06K9/00(20060101)

分类号：G06K9/00(20060101);G06K9/32(20060101);G06N3/04(20060101);G06N3/08(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.11.23#授权;2019.06.14#实质审查的生效;2019.05.21#公开

摘要：本申请公开一种目标检测网络构建方法和训练方法、目标检测方法。目标检测网络构建方法包括：选取用于目标检测的初始网络模型；在所述初始网络模型的末端设置并行的多个分支网络，以得到目标检测网络；其中，所述多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体。

主权项：1.一种目标检测网络构建方法，其特征在于，包括：选取用于目标检测的初始网络模型；所述初始网络模型包括多个网络层；在所述初始网络模型的末端设置并行的多个分支网络，以得到目标检测网络；其中，所述多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；所述在所述初始网络模型的末端设置并行的多个分支网络包括，从所述多个网络层中选取一个采样率最高的特征提取网络层作为目标网络层，将所述目标网络层及所述目标网络层之后的所有网络层设置成并行的多个分支网络。

全文数据：目标检测网络构建方法和训练方法、目标检测方法技术领域本申请涉及计算机深度学习领域，尤其涉及一种目标检测网络构建方法及其装置、一种目标检测网络训练方法及其装置、一种目标检测方法及其装置、处理设备、车辆、机器人、无人机和扫地机。背景技术目标检测给定预先定义感兴趣的物体类别和对应的图像，通过目标检测算法识别图像中包含的所有感兴趣的物体，并输出这些物体在图像中的位置和对应的类别是计算机视觉领域的重要问题。近些年，基于深度学习的目标检测方法大大提升了目标检测的效果。典型的基于深度学习的目标检测的方法，包括两类，一类是one-stage方法，以YOLO、SSD等方法为代表，这类方法直接用CNNConvolutionalNeuralNetworks，卷积神经网络，CNN通过对原始图像进行交替卷积、池化和非线性变换等操作提取图像特征；训练CNN一般通过反向传播算法，即给定一张图像的类别标签，计算类别标签与CNN的输出之间的差距，并将该差距通过导数形式传播回CNN中的前层中预测目标物体的类别和位置；另一类是two-stage方法，以R-CNN，FastR-CNN和FasterR-CNN等为代表，该类方法通过预先成一些候选框proposal，之后用CNN抽取这些候选框的特征，再对该候选框中的物体进行类别和位置的预测。由于图像中包含的目标物体的尺度不一致，尤其是在图像中目标物体的尺寸相差较大的情况下，导致采用现有的目标检测方法并不能对有些尺寸的目标物体检测检测出来，即对于包含目标物体尺寸相差较大的图像目标检测的结果不准确。为解决前述目标检测不准确的技术问题，目前采用图像金字塔imagepyramids检测方法来进行目标检测，如图1所示，通过多尺度训练及测试的方法，用多尺度的输入缓解目标检测中尺度不一致的问题。然而该种图像金字塔检测方法中，由于需要多尺度的输入，导致目标检测时间较长、效率较低，这对于目标检测实时性有要求的技术领域并不适用，例如自动驾驶领域。发明内容为解决现有技术中目标检测不准确的技术问题，本申请实施例提供一种目标检测网络构建方法以构建一种结构特殊的目标检测网络，并基于该目标检测网络进行目标检测，以提高目标检测的准确性和效率。本申请实施例第一方面，提供一种目标检测网络构建方法，该方法包括：选取用于目标检测的初始网络模型；在所述初始网络模型的末端设置并行的多个分支网络，以得到目标检测网络；其中，所述多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体。相应地，还提供一种目标检测网络构建装置，该装置包括：选取单元，选取用于目标检测的初始网络模型；构建单元，在所述初始网络模型的末端设置并行的多个分支网络，以得到目标检测网络；其中，所述多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体。相应地，还提供一种处理设备，包括存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现前述目标检测网络构建方法。本申请实施例第二方面，提供一种目标检测网络的训练方法，基于多张训练样本图像对目标检测网络进行以下训练，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体：将当前训练样本图像输入到所述目标检测网络中，得到每个分支网络对当前训练样本图像进行物体检测的检测结果；针对每个分支网络，执行以下步骤：从分支网络的检测结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的检测物体；从当前训练样本图像的标注结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的标注物体；将筛选出的检测物体与筛选出的标注物体进行比较，得到该分支网络的比较结果；根据各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络迭代处理后续的训练样本图像。相应地，还提供一种目标检测网络的训练装置，装置包括：输入单元，用于向训练单元输入多张训练样本图像；训练单元，用于将接收到的当前训练样本图像输入到目标检测网络中，得到每个分支网络对当前训练样本图像进行物体检测的检测结果；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；针对每个分支网络，执行以下步骤：从分支网络的检测结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的检测物体；从当前训练样本图像的标注结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的标注物体；将筛选出的检测物体与筛选出的标注物体进行比较，得到该分支网络的比较结果；根据各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络迭代处理后续的训练样本图像。本申请实施例第三方面，提供一种目标检测方法基于多张训练样本图像对目标检测网络进行以下训练，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体：将当前训练样本图像输入到所述目标检测网络中，得到每个分支网络对当前训练样本图像进行物体检测的检测结果；针对每个分支网络，执行以下步骤：将分支网络的检测结果与当前训练样本图像的标注结果进行比较，得到该分支网络的比较结果；根据各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络迭代处理后续的训练样本图像。相应地，还提供一种目标检测网络的训练装置，装置包括：输入单元，用于向训练单元输入多张训练样本图像；训练单元，用于将接收到的当前训练样本图像输入到目标检测网络中，得到每个分支网络对当前训练样本图像进行物体检测的检测结果；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；针对每个分支网络，执行以下步骤：将分支网络的检测结果与当前训练样本图像的标注结果进行比较，得到该分支网络的比较结果；根据各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络迭代处理后续的训练样本图像。相应地，还提供一种处理设备，包括存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现前述目标检测网络的训练方法。本申请实施例第四方面，提供一种目标检测方法，所述方法包括：从目标检测网络的各分支网络中选取其中一个分支网络作为目标分支网络；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；将待检测图像输入所述目标检测网络，将所述目标分支网络对所述待检测图像进行物体检测的检测结果作为所述待检测图像的目标检测结果。相应地，还提供一种目标检测装置，所述装置包括：选取单元，用于从目标检测网络的各分支网络中选取其中一个分支网络作为目标分支网络；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；检测单元，用于将待检测图像输入所述目标检测网络，将所述目标分支网络对所述待检测图像进行物体检测的检测结果作为所述待检测图像的目标检测结果。本申请实施例第五方面，提供一种目标检测方法，所述方法包括：将待检测图像输入目标检测网络，得到每个分支网络对所述待检测图像进行物体检测的检测结果；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；根据各分支网络的检测结果得到所述待检测图像的目标检测结果。相应地，还提供一种目标检测装置，该装置包括：输入单元，用于将待检测图像输入目标检测网络，得到每个分支网络对所述待检测图像进行物体检测的检测结果；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；检测单元，用于根据各分支网络的检测结果得到所述待检测图像的目标检测结果。本申请实施例第六方面，还提供一种处理设备，包括存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现前述任意一项所述的目标检测方法。本申请实施例第七方面，还提供一种自动驾驶车辆，包括权利要求22～23任一项所述的处理设备。本申请实施例第八方面，还提供一种机器人，包括权利要求22～23任一项所述的处理设备。本申请实施例第九方面，还提供一种无人机，包括权利要求22～23任一项所述的处理设备。本申请实施例第十方面，还提供一种扫地机，包括权利要求22～23任一项所述的处理设备。附图说明附图用来提供对本申请的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请，并不构成对本申请的限制。图1为现有技术中采用图像金字塔检测方法进行目标检测的示意图；图2为本申请实施例中目标检测网络构建方法的流程图；图3为本申请实施例中构建的目标检测网络模型的结构示意图；图4A为本申请实施例中选取的初始网络模型的结构示意图；图4B为本申请实施例中基于图4A所示的初始网络模型构建的目标检测网络的结构示意图；图5A为本申请实施例中选取目标网络层的示意图；图5B为本申请实施例中基于图5A所示的目标网络层构建得到的目标检测网络的结构示意图；图6为本申请实施例中目标检测网络的训练方法的流程图之一；图7为采用图6所示的方法流程进行各分支网络的标注物体与检测物体进行比较的示意图；图8为本申请实施例中目标检测方法的流程图之一；图9为本申请实施例中采用图8所示的目标检测方法进行目标检测的示意图；图10本申请实施例中目标检测方法的流程图之二；图11为本申请实施例中采用图10所示的目标检测方法进行目标检测的示意图之一；图12为本申请实施例中采用图10所示的目标检测方法进行目标检测的示意图之二；图13为本申请实施例中目标检测网络构建装置的结构示意图；图14为本申请实施例中目标检测网络的训练装置的结构示意图；图15为本申请实施例中目标检测装置的结构示意图之一；图16为本申请实施例中目标检测装置的结构示意图之二。具体实施方式为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。本申请技术方案中，目标检测的具体应用场景可以是行人检测、车辆检测、道路设施检测等，本申请对应用场景不作严格限定。本申请实施例提供的各种技术方案可以应用于车辆可包括但不仅限于商用车、大巴车、乘用车、扫地车、洒水车、摩托车、自行车、AGVAutomatedGuidedVehicle，自动引导运输车、轮胎吊、叉车等、物流小车、园区快递小车等等、无人机、机器人、扫地机等，本申请不作严格限定。本申请技术方案，在构建目标检测网络时，在现有的初始网络模型末端设置并行的多个分支网络，且将各分支网络的感受野设置为不同，即不同的分支网络的检测尺度范围不同，有些分支网络适用于检测小尺度物体，有些分支网络适用于检测中尺度物体，有些分支网络适用于检测大尺度范围。采用本申请技术方案得到的目标检测网络，一方面，由于多个分支网络分别适用于检测不同尺寸的目标物体，因此可以非常准确、全面的检测出同一张图像中的不同尺寸的目标物体；另一方面，由于多各分支网络是并行处理，因此目标检测网络的处理速度较快、效率较高。综上，采用本申请技术方案得到目标检测网络，能够快速、准确、全面的进行目标检测。实施例一参见如图2，为本申请实施例中提供的目标检测网络构建方法的流程图，该流程包括：步骤101、选取用于目标检测的初始网络模型；步骤102、在所述初始网络模型的末端设置并行的多个分支网络，以得到目标检测网络；其中，所述多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体。在一些可选的实施例中，步骤101中选取的初始网络模型可以是基于ResNet、VGG等网络结构的目标检测网络，例如YOLO、Faster-RCNN等，本申请不做严格限定，本领域技术人员可以根据实际需求灵活设置。在一些可选的实施例中，可以预先为各分支网络设置对应的检测尺度范围，为使得各分支网络的感受野能够与相应的检测尺度范围相匹配，步骤102中在构建多分支网络时，针对每个分支网络，可以将该分支网络中的每个卷积层设置为膨胀卷积层，且各膨胀卷积层的膨胀参数、卷积核大小所构成的该分支网络的感受野与预置的该分支网络的检测尺度范围相匹配。同一分支网络中的各网络层的膨胀卷积层的膨胀参数可以相同也可以不相同，以ds表示膨胀卷积层的膨胀参数，在该膨胀卷积层的卷积核中的相邻元素间插入ds-1个0，以增大卷积核的覆盖范围，同时还不增加参数和计算量。为每一个分支网络预设一个检测尺度范围，以第i个分支网络为例，假设该第i个分支网络对应的检测尺度范围为[si,ei]，则通过该第i支分支网络检测到的物体的尺寸满足其中w、h为物体的物体框的长、宽。在前述一些可选的实施例中，为进一步降低目标检测网络的参数，提高目标检测网络的速度，不同分支网络中结构相同的膨胀卷积层之间共享卷积核权重参数。即不同分支网络中结构相同的膨胀卷积层的卷积核权重参数相同，并且更新时同步更新。在前述一些可选的实施例中，为进一步提升目标检测网络的稳定性，所述多个分支网络的网络结构均相同，且多个分支网络的膨胀卷积层的膨胀参数不同。在一些可选的实施例中，前述步骤102中，在所述初始网络模型的末端设置并行的多个分支网络具体包括：从所述初始网络模型的网络层中选取目标网络层；将该目标网络层及其之后的所有网络层设置成并行的多个分支网络，该并行的多个分支网络的感受野不同，分别对应于不同的检测尺寸范围，如图3所示。下面以具体示例对如何构建目标检测网络进行详细的描述。在一些可选的实施例中，以选取ResNet为基础的目标检测网络作为初始网络模型为例，假设初始网络模型的结构如图4A所示包括backbone模块和header模块，其中backbone模块包括多个网络层，header模块包含多个网络层。在构建目标检测网络时，可以从backbone模块中选取一个网络层作为目标网络层本领域技术人员可以根据实际需求灵活选择目标网络层，本申请不做严格限定，将该目标网络层及其之后的所有网络层设置成并行的多个分支网络。假设选取backbone模块中的第i个网络层作为目标网络层，设置k个并行分支网络，构建得到如图4B所示的目标检测网络；图4B所示的目标检测网络中，k个并行分支网络之间的结构可以设置为相同也可以设置为不相同，只要确保各分支网络的感受野不同且各分支网络的感受野与对应的检测尺度范围相匹配即可；各分支网络中的header可以设置成与初始网络模型中的header相同也可以不相同，本申请不作严格限定，本领域技术人员可以根据需求灵活设置。所述backbone模块可以采用ResNet-50、ResNet-101等网络结构；所述header模块可以采用RPNRegionProposalNetwork，区域选取网络、FastR-CNN等网络结构。在一些可选的实施例中，以选取VGG为基础的目标检测网络作为初始网络模型为例，假设初始网络模型的结构包括N层网络层，从该N层网络层中选取一个网络层作为目标网络层，按照前述方式构建得到目标检测网络。不管是选取VGG为基础的目标检测网络还是选取ResNet为基础的目标检测网络作为初始网络模型，在选取目标网络层时，可以选取采样率最高的其中一个特征提取网络层作为目标网络层例如选取backbone模块中采样率最高的一个特征提取网络层作为目标网络层。如图5A所示，假设连续n1层采样率一致，连续n2层采样率一致，连续n3层采样率一致，其中连续n3层网络层的采样率最高，在构建目标检测网络时，可以从n3层网络层中选取其中一个作为目标网络层本领域技术人员可以根据实际需求灵活选择目标网络层，本申请不做严格限定，例如选取n3层网络层中的第i层网络层作为目标网络层，将该目标网络层及其之后的所有网络层设置成并行的多个分支网络，如图5B所示。为进一步确定如何选取并行分支网络的数量，以使得构建得到的目标检测网络的检测结果更准确，本申请发明人前期做了一些实验，发现构建3～4个分支网络所构建的目标检测网络的准确性较高且参数量少。因此，在一些可选的实施例中，本申请实施例中选取目标网络层之后，将目标网络层及其之后到的所有网络层设置成3～4个并行的分支网络。实施例二本申请实施例二提供一种目标检测网络的训练方法，该训练方法如图6所示，基于多张训练样本图像对目标检测网络进行以下训练，其中所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体：步骤201、将当前训练样本图像输入到所述目标检测网络中，得到每个分支网络对当前训练样本图像进行物体检测的检测结果；步骤202针对每个分支网络，执行以下步骤202A～步骤202C：步骤202A、从分支网络的检测结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的检测物体；步骤202B、从当前训练样本图像的标注结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的标注物体；步骤202C、将筛选出的检测物体与筛选出的标注物体进行比较，得到该分支网络的比较结果；步骤203、根据各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络迭代处理后续的训练样本图像。在一些可选的实施例中，可以采用一张一张的训练样本图像逐一对目标检测网络进行迭代训练，即针对每一张训练样本图像执行前述步骤201～步骤202C，并在步骤203中根据基于一张训练样本图像的各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络处理下一张训练样本图像。在一些可选的实施例中，可以采用一组一组的训练样本图像分别对目标检测网络进行迭代训练，即针对每一组训练样本图像中的每一张训练样本图像执行前述步骤201～步骤202C，并在步骤203中基于一组训练样本图像的各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络处理下一组训练样本图像。本申请实施例二的步骤203中，根据各分支网络的比较结果调整目标检测网络的参数，具体可包括：根据每个分支网络的比较结果，以及检测算法中定义的损失函数，计算梯度，之后用反向传播的方式调整该分支网络的参数，以及结合各分支网络的比较结果，通过反向传播更新目标检测网络中的其他网络层的参数。本申请实施例二中，可以通过现有的训练方式对目标检测网络进行训练，例如随机下降梯度SGD、Adam等。本申请实施例二中的开始训练之前的所述目标检测网络可以预先通过实施例一提供的目标检测网络构建方法构建得到。如图7所示，假设训练样本图像包含目标物体A、B、C，三个目标物体的尺寸分别在第三分支网络、第二分支网络和第一分支网络的检测尺寸范围内，即目标物体A、B、C分别为第三分支网络、第二分支网络和第一分支网络的对应的标注物体；在第一分支网络、第二分支网络和第三分支网络的检测结果中筛选出尺寸在相应分支网络的检测尺寸范围之内的检测物体，即检测物体A’、B’、C’分别为第三分支网络、第二分支网络和第一分支网络对应的检测物体；第一分支网络比较C与C’，第二分支网络比较B与B’，第三分支网络比较A与A’。实施例三本申请实施例三提供一种目标检测网络的训练方法，基于多张训练样本图像对目标检测网络进行以下训练，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体：将当前训练样本图像输入到所述目标检测网络中，得到每个分支网络对当前训练样本图像进行物体检测的检测结果；针对每个分支网络，执行以下步骤：将分支网络的检测结果与当前训练样本图像的标注结果进行比较，得到该分支网络的比较结果；根据各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络迭代处理后续的训练样本图像。在一些可选的实施例中，可以采用一张一张的训练样本图像逐一对目标检测网络进行迭代训练，也可以采用一组一组的训练样本图像分别对目标检测网络进行迭代训练。具体原理可参见实施例二中的相关内容，在此不再赘述。本申请实施例三中，可以通过现有的训练方式对目标检测网络进行训练，例如随机下降梯度SGD、Adam等。本申请实施例三中的开始训练之前的所述目标检测网络可以预先通过实施例一提供的目标检测网络构建方法构建得到。实施例四为进一步提高目标检测网络的目标检测的速度，本申请实施例四提供一种目标检测方法，所述方法的流程如图8所示，包括：步骤301、从目标检测网络的各分支网络中选取其中一个分支网络作为目标分支网络；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；步骤302、将待检测图像输入所述目标检测网络，将所述目标分支网络对所述待检测图像进行物体检测的检测结果作为所述待检测图像的目标检测结果。在一些可选的实施例中，为确保目标检测网络对待检测图像进行目标检测的准确性，本申请实施例中可以从目标检测网络的各分支网络中选取检测尺度范围适中的一个分支网络作为目标分支网络。例如目标检测网络包含三支分支网络，分别对应的检测尺度范围从小到大依次为[s1,e1]、[s2,e2]、[s3,e3]，则选取检测尺度范围适中的第二分支网络作为目标分支网络。如图9所示，将第二分支网络作为目标分支网络，将第二分支网络输出的目标检测结果作为所述待检测图像的目标检测结果。在一些可选的实施例中，本申请实施例四中的目标检测网络可以通过前述实施例二或实施例三提供的目标检测网络的训练方法训练得到。当然也可以通过现有的神经网络训练方式训练得到，本申请不做严格的限定。实施例五为提高目标检测网络的目标检测的准确性，本申请实施例五提供另一种目标检测方法，所述方法的流程如图10所示，包括：步骤401、将待检测图像输入目标检测网络，得到每个分支网络对所述待检测图像进行物体检测的检测结果；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；步骤402、根据各分支网络的检测结果得到所述待检测图像的目标检测结果。在一些可选的实施例中，所述步骤402具体实现可如下：采用预置的融合算法对各分支网络的检测结果中的检测物体进行融合处理，得到所述待检测图像的目标检测结果。如图11所示。在一些可选的实施例中，所述步骤402具体实现可如下：针对每个分支网络，从所述分支网络的检测结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的检测物体；采用预置的融合算法对筛选出的检测物体进行融合处理，得到所述待检测图像的目标检测结果。如图12所示。在一些可选的实施例中，本申请实施例五中，融合算法可以是NMSNon-MaximumSuppression，非极大值抑制算法,soft-NMS,weighted-NMS等，本领域技术人员可以根据实际需求灵活选取融合算法的具体类型，本申请不做严格限定。实施例六基于前述实施例一提供的一种目标检测网络构建方法的相同构思，本申请实施例六提供一种目标检测网络构建装置，该装置如图13所示，包括：选取单元11，选取用于目标检测的初始网络模型；构建单元12，在所述初始网络模型的末端设置并行的多个分支网络，以得到目标检测网络；其中，所述多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体。在一些可选的实施例中，针对每个分支网络，该分支网络中的每个网络层采用膨胀卷积层，且各网络层的膨胀卷积层的膨胀参数、卷积核大小所构成的该分支网络的感受野与预置的该分支网络的检测尺度范围相匹配。在一些可选的实施例中，不同分支网络中结构相同的膨胀卷积层之间共享卷积核权重参数。在一些可选的实施例中，所述多个分支网络的网络结构均相同，且多个分支网络的膨胀卷积层的膨胀参数不同。在一些可选的实施例中，所述构建单元12在所述初始网络模型的末端设置并行的多个分支网络具体包括：从所述初始网络模型的网络层中选取目标网络层；将该目标网络层及其之后的所有网络层设置成并行的多个分支网络，该并行的多个分支网络的感受野不同，分别对应于不同的检测尺寸范围。具体示例可参见实施例一中的相关内容，在此不再赘述。实施例七基于前述实施例二提供的一种目标检测网络的训练方法的相同构思，本申请实施例七提供一种目标检测网络的训练装置，所述装置的结构如图14所示，包括：输入单元21，用于向训练单元22输入多张训练样本图像；训练单元22，用于将接收到的当前训练样本图像输入到目标检测网络中，得到每个分支网络对当前训练样本图像进行物体检测的检测结果；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；针对每个分支网络，执行以下步骤：从分支网络的检测结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的检测物体；从当前训练样本图像的标注结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的标注物体；将筛选出的检测物体与筛选出的标注物体进行比较，得到该分支网络的比较结果；根据各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络迭代处理后续的训练样本图像。在一些可选的实施例中，可以采用一张一张的训练样本图像逐一对目标检测网络进行迭代训练，即输入单元21将训练样本图像逐一发送给训练单元22；训练单元22针对每一张训练样本图像，均需要得到每个分支网络的比较结果；并根据基于一张训练样本图像的各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络处理下一张训练样本图像。在一些可选的实施例中，可以采用一组一组的训练样本图像分别对目标检测网络进行迭代训练，即输入单元21可以将各组训练样本图像逐一发送给训练单元22；训练单元22针对每一组训练样本图像中的每一张训练样本图像，均需要得到每个分支网络的比较结果；并基于一组训练样本图像的各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络处理下一组训练样本图像。实施例八基于前述实施例三提供的一种目标检测网络的训练方法的相同构思，本申请实施例八提供一种目标检测网络的训练装置，所述装置可包括：输入单元，用于向训练单元输入多张训练样本图像；训练单元，用于将接收到的当前训练样本图像输入到目标检测网络中，得到每个分支网络对当前训练样本图像进行物体检测的检测结果；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；针对每个分支网络，执行以下步骤：将分支网络的检测结果与当前训练样本图像的标注结果进行比较，得到该分支网络的比较结果；根据各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络迭代处理后续的训练样本图像。在一些可选的实施例中，可以采用一张一张的训练样本图像逐一对目标检测网络进行迭代训练，即输入单元将训练样本图像逐一发送给训练单元；训练单元针对每一张训练样本图像，均需要得到每个分支网络的比较结果；并根据基于一张训练样本图像的各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络处理下一张训练样本图像。在一些可选的实施例中，可以采用一组一组的训练样本图像分别对目标检测网络进行迭代训练，即输入单元可以将各组训练样本图像逐一发送给训练单元；训练单元针对每一组训练样本图像中的每一张训练样本图像，均需要得到每个分支网络的比较结果；并基于一组训练样本图像的各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络处理下一组训练样本图像。实施例九基于前述实施例四提供的一种目标检测方法，本申请实施例九提供一种目标检测装置，该装置的结构如图15所示，包括：选取单元31，用于从目标检测网络的各分支网络中选取其中一个分支网络作为目标分支网络；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；检测单元32，用于将待检测图像输入所述目标检测网络，将所述目标分支网络对所述待检测图像进行物体检测的检测结果作为所述待检测图像的目标检测结果。实施例十基于前述实施例五提供的一种目标检测方法的相同构思，本申请实施例十提供一种目标检测装置，所述装置的结构如图16所示，包括：输入单元41，用于将待检测图像输入目标检测网络，得到每个分支网络对所述待检测图像进行物体检测的检测结果；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；检测单元42，用于根据各分支网络的检测结果得到所述待检测图像的目标检测结果。在一些可选的实施例中，所述检测单元42具体用于：采用预置的融合算法对各分支网络的检测结果中的检测物体进行融合处理，得到所述待检测图像的目标检测结果。在一些可选的实施例中，所述检测单元42具体用于：针对每个分支网络，从所述分支网络的检测结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的检测物体；采用预置的融合算法对筛选出的检测物体进行融合处理，得到所述待检测图像的目标检测结果。在一些可选的实施例中，融合算法可以是NMSNon-MaximumSuppression，非极大值抑制算法,soft-NMS,weighted-NMS等，本领域技术人员可以根据实际需求灵活选取融合算法的具体类型，本申请不做严格限定。实施例十一本申请实施例十一提供一种处理设备，包括存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现实施例一中任一项所述的目标检测网络构建方法。实施例十二本申请实施例十二提供一种处理设备，包括存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现实施例二或者实施例三中所述的目标检测网络的训练方法。实施例十三本申请实施例十三提供一种处理设备，包括存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现实施例四中所述的目标检测方法。实施例十四本申请实施例十四提供一种处理设备，包括存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现实施例五中所述的目标检测方法。实施例十五本申请实施例十五提供一种车辆，包括前述实施例中的任意一项的处理设备，所述车辆可以是自动驾驶车辆也可以不是自动驾驶车辆，车辆的类型可包括但不仅限于商用车、大巴车、乘用车、扫地车、洒水车、摩托车、自行车、AGVAutomatedGuidedVehicle，自动引导运输车、轮胎吊、叉车等、物流小车、园区快递小车等等。实施例十六本申请实施例十六提供一种机器人，包括前述实施例中的任意一项的处理设备。实施例十七本申请实施例十七提供一种扫地机，包括前述实施例中的任意一项的处理设备。实施例十八本申请实施例十七提供一种无人机，包括前述实施例中的任意一项的处理设备。以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，对本领域普通技术人员而言，能够理解本申请的方法和装置的全部或者任何步骤或者部件可以在任何计算装置包括处理器、存储介质等或者计算装置的网络中，以硬件固件、软件或者他们的组合加以实现，这是本领域普通技术人员在阅读了本申请的说明的情况下运用它们的基本编程技能就能实现的。本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。另外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质包括但不限于磁盘存储器和光学存储器等上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备系统、和计算机程序产品的流程图和或方框图来描述的。应理解可由计算机程序指令实现流程图和或方框图中的每一流程和或方框、以及流程图和或方框图中的流程和或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本申请的上述实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括上述实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

权利要求：1.一种目标检测网络构建方法，其特征在于，包括：选取用于目标检测的初始网络模型；在所述初始网络模型的末端设置并行的多个分支网络，以得到目标检测网络；其中，所述多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体。2.根据权利要求1所述的方法，其特征在于，针对每个分支网络，该分支网络中的每个网络层采用膨胀卷积层，且各网络层的膨胀卷积层的膨胀参数、卷积核大小所构成的该分支网络的感受野与预置的该分支网络的检测尺度范围相匹配。3.根据权利要求2所述的方法，其特征在于，不同分支网络中结构相同的膨胀卷积层之间共享卷积核权重参数。4.根据权利要求3所述的方法，其特征在于，所述多个分支网络的网络结构均相同，且多个分支网络的膨胀卷积层的膨胀参数不同。5.一种目标检测网络的训练方法，其特征在于，基于多张训练样本图像对目标检测网络进行以下训练，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体：将当前训练样本图像输入到所述目标检测网络中，得到每个分支网络对当前训练样本图像进行物体检测的检测结果；针对每个分支网络，执行以下步骤：从分支网络的检测结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的检测物体；从当前训练样本图像的标注结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的标注物体；将筛选出的检测物体与筛选出的标注物体进行比较，得到该分支网络的比较结果；根据各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络迭代处理后续的训练样本图像。6.一种目标检测网络的训练方法，其特征在于，基于多张训练样本图像对目标检测网络进行以下训练，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体：将当前训练样本图像输入到所述目标检测网络中，得到每个分支网络对当前训练样本图像进行物体检测的检测结果；针对每个分支网络，执行以下步骤：将分支网络的检测结果与当前训练样本图像的标注结果进行比较，得到该分支网络的比较结果；根据各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络迭代处理后续的训练样本图像。7.一种目标检测方法，其特征在于，所述方法包括：从目标检测网络的各分支网络中选取其中一个分支网络作为目标分支网络；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；将待检测图像输入所述目标检测网络，将所述目标分支网络对所述待检测图像进行物体检测的检测结果作为所述待检测图像的目标检测结果。8.一种目标检测方法，其特征在于，所述方法包括：将待检测图像输入目标检测网络，得到每个分支网络对所述待检测图像进行物体检测的检测结果；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；根据各分支网络的检测结果得到所述待检测图像的目标检测结果。9.根据权利要求8所述的方法，其特征在于，根据各分支网络的检测结果得到所述待检测图像的目标检测结果，具体包括：采用预置的融合算法对各分支网络的检测结果中的检测物体进行融合处理，得到所述待检测图像的目标检测结果。10.根据权利要求8所述的方法，其特征在于，根据各分支网络的检测结果得到所述待检测图像的目标检测结果，具体包括：针对每个分支网络，从所述分支网络的检测结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的检测物体；采用预置的融合算法对筛选出的检测物体进行融合处理，得到所述待检测图像的目标检测结果。11.一种目标检测网络构建装置，其特征在于，包括：选取单元，选取用于目标检测的初始网络模型；构建单元，在所述初始网络模型的末端设置并行的多个分支网络，以得到目标检测网络；其中，所述多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体。12.根据权利要求11所述的装置，其特征在于，针对每个分支网络，该分支网络中的每个网络层采用膨胀卷积层，且各网络层的膨胀卷积层的膨胀参数、卷积核大小所构成的该分支网络的感受野与预置的该分支网络的检测尺度范围相匹配。13.根据权利要求12所述的装置，其特征在于，不同分支网络中结构相同的膨胀卷积层之间共享卷积核权重参数。14.根据权利要求12所述的装置，其特征在于，所述多个分支网络的网络结构均相同，且多个分支网络的膨胀卷积层的膨胀参数不同。15.一种目标检测网络的训练装置，其特征在于，装置包括：输入单元，用于向训练单元输入多张训练样本图像；训练单元，用于将接收到的当前训练样本图像输入到目标检测网络中，得到每个分支网络对当前训练样本图像进行物体检测的检测结果；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；针对每个分支网络，执行以下步骤：从分支网络的检测结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的检测物体；从当前训练样本图像的标注结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的标注物体；将筛选出的检测物体与筛选出的标注物体进行比较，得到该分支网络的比较结果；根据各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络迭代处理后续的训练样本图像。16.一种目标检测网络的训练装置，其特征在于，包括：输入单元，用于向训练单元输入多张训练样本图像；训练单元，用于将接收到的当前训练样本图像输入到目标检测网络中，得到每个分支网络对当前训练样本图像进行物体检测的检测结果；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；针对每个分支网络，执行以下步骤：将分支网络的检测结果与当前训练样本图像的标注结果进行比较，得到该分支网络的比较结果；根据各分支网络的比较结果调整所述目标检测网络的参数，并基于调整后的目标检测网络迭代处理后续的训练样本图像。17.一种目标检测装置，其特征在于，所述装置包括：选取单元，用于从目标检测网络的各分支网络中选取其中一个分支网络作为目标分支网络；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；检测单元，用于将待检测图像输入所述目标检测网络，将所述目标分支网络对所述待检测图像进行物体检测的检测结果作为所述待检测图像的目标检测结果。18.一种目标检测装置，其特征在于，所述装置包括：输入单元，用于将待检测图像输入目标检测网络，得到每个分支网络对所述待检测图像进行物体检测的检测结果；其中，所述目标检测网络的末端设置有并行的多个分支网络，多个分支网络对应的感受野不同，分别用于检测不同检测尺度范围内的物体；检测单元，用于根据各分支网络的检测结果得到所述待检测图像的目标检测结果。19.根据权利要求18所述的装置，其特征在于，所述检测单元具体用于：采用预置的融合算法对各分支网络的检测结果中的检测物体进行融合处理，得到所述待检测图像的目标检测结果。20.根据权利要求18所述的装置，其特征在于，所述检测单元具体用于：针对每个分支网络，从所述分支网络的检测结果中筛选出尺寸与所述分支网络的检测尺度范围相匹配的检测物体；采用预置的融合算法对筛选出的检测物体进行融合处理，得到所述待检测图像的目标检测结果。21.一种处理设备，其特征在于，包括存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现如权利要求1～4任一项所述的目标检测网络构建方法。22.一种处理设备，其特征在于，包括存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现如权利要求5或权利要求6所述的目标检测网络的训练方法。23.一种处理设备，其特征在于，包括存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现如权利要求7～10任一项所述的目标检测方法。24.一种车辆，其特征在于，包括权利要求22～23任一项所述的处理设备。25.一种机器人，其特征在于，包括权利要求22～23任一项所述的处理设备。26.一种无人机，其特征在于，包括权利要求22～23任一项所述的处理设备。27.一种扫地机，其特征在于，包括权利要求22～23任一项所述的处理设备。

百度查询： 北京图森智途科技有限公司 目标检测网络构建方法和训练方法、目标检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD