申请/专利权人：浙江工业大学

申请日：2020-07-16

公开（公告）日：2020-11-24

公开（公告）号：CN111986252A

主分类号：G06T7/62(20170101)

分类号：G06T7/62(20170101);G06T7/136(20170101);G06T7/11(20170101);G06N3/04(20060101);G06K9/32(20060101)

优先权：

专利状态码：在审-实质审查的生效

法律状态：2020.12.11#实质审查的生效;2020.11.24#公开

摘要：一种用于目标分割网络中候选边界框精准定位的方法，包括：步骤一，构建轻量级的卷积神经网络模型，并设计网络参数；步骤二，求解网络模型中IoUlayer的交并比IoU；步骤三，求解网络模型中候选边界框的置信度得分；步骤四，根据交并比和置信度得分的设定去除候选边界框冗余，最终使得输出的候选边界框其置信度得分最高，且最接近真实标定框。本发明能够在目标漏检和错误检测之间找到一个平衡之处，并且使得候选边界框更接近真实标定框，同时本发明所设计的网络结构和置信度求解方法具有一定的泛化能力，可以应用在较为复杂的场景中。

主权项：1.一种用于目标分割网络中候选边界框精准定位的方法，包括如下步骤：步骤一，构建轻量级的卷积神经网络模型，并设计网络参数；设计一个四层的小型卷积神经网络模型，将一个尺寸大小为W×H的图像输入到该小型卷积神经网络中，经过网络变换之后获得一个w×h大小的置信度得分图像。小型卷积神经网络的结构如下：在该小型卷积神经网络结构的第一层设置两个并行的卷积分层。第一个分层用于制作IoU层，确定每一个候选边界框与其对应的真实标定框之间的交并重叠关系，即随机选择一个像素点，然后计算该点周围11×11范围内的随机一点对应的候选框与该点对应真实标定框之间的交并重叠部分，从而算出IoU值；另一个分层的作用是获取一个w×h×2的置信度得分图，在该分层中有两个通道，在第一个通道的大小为w×h×1，每一个随机点都对应于原始输入图像中的一个4×4大小的区域，如果将该区域落入边界框中，便可获得一个置信度得分，然后将该得分计入置信度得分图中，第二个通道与第一个通道大小相同，则记为ST，其中T表示该网络中的阈值。该小型卷积网络结构的第二层是由两个并行的卷积分层所组成，用以连接上一层中两个分层的输出结果。该小型卷积网络结构的第三层和第四层均为对置信度得分图进行卷积，最终输出置信度得分图像，其大小为w×h×512。在小型卷积网络结构的参数设置如下：第一层：在第一个分层，即IoUlayer中，其随机设置1×1的像素部分，然后计算该部分周围11×11范围内的随机一点对应的候选边界框，并对其进行遍历，求得其与先前选择的点对应真实标定框的交并重叠部分；在获得置信度得分图分层中，设置其卷积核大小为11×11，卷积通道为2，卷积步长为1，最后所得置信度得分图尺寸为w×h×2；第二层：该层是由两个w×h×512的并行卷积分层连接组成，其卷积核大小为1×1，卷积通道为1024，卷积步长为1，最后所得置信度得分图尺寸为w×h×1024；第三层：其层上卷积核大小为1×1，卷积通道为512，卷积步长为1，最后所得置信度得分图尺寸为w×h×512；第四层：该层参数设置同第三层相同，但是该层作为网络的最后一层，则无需设置激活函数，直接输出置信度得分最高的候选边界框即可。步骤二，求解网络模型中IoUlayer的交并比IoU；在步骤一设计的网络模型中，其第一层的IoU分层中获取的候选边界框与预先标定的真实框之间存在四种位置关系，即候选边界框与真实标定框部分重合、真实标定框包含于候选边界框、候选边界框包含于真实标定框及候选边界框与真实标定框完全不交叉。在上述四种位置关系中，真实标定框和候选边界框的面积计算公式表示为如下公式： 其中，SGroundTruth与SDetection分别表示真实标定框和候选边界框的面积，WGroundTruth与WDetection分别表示真实标定框与候选边界框的宽，HGroundTruth与HDetection分别表示真实标定框与候选边界框的高，x1,y1和x2,y2分别代表真实标定框左上角和右下角的坐标值，x3,y3和x4,y4分别代表候选边界框左上角和右下角的坐标值，纵向坐标轴是向下的坐标轴，即纵坐标值越往下越大。候选边界框与真实标定框重叠部分的面积则通过下列公式表示：SOverlap＝WOverlap·HOverlap3其中，SOverlap表示候选边界框与真实标定框重叠部分的面积，WOverlap和HOverlap分别表示候选边界框与真实标定框重叠部分的宽和高。因为候选边界框与预先标定的真实框之间的位置关系不同，求解其重叠面积时要分四种情况：1若候选边界框与真实标定框部分重合，则WOverlap和HOverlap表示为如下公式： 2若真实标定框包含于候选边界框，则WOverlap和HOverlap表示为如下公式： 3若候选边界框包含于真实标定框，则WOverlap和HOverlap表示为如下公式： 4若候选边界框与真实标定框完全不交叉，则WOverlap和HOverlap表示为如下公式： 通过对以上四种情况的比较，将式4-7进行归纳总结，统一表示为下式： 通过上述公式可以求得SOverlap、SDetection、SGroundTruth，随之利用如下公式可计算得到IoU： 步骤三，求解网络模型中候选边界框的置信度得分；在步骤一所设计的网络中，为了使目标定位更加精确，本发明根据分类候选边界框的置信度得分，引入了罚函数的计算公式，并利用罚函数来降低大于IoU阈值的候选边界框的置信度得分，使得对候选边界框做进一步的筛选。使用线性加权法设计的罚函数表达式如下所示： 其中，si表示当前所属类别的候选框置信度得分，si1表示线性加权后的置信度得分，a代表权值系数，且a的取值范围是0到1之间，bm和bi分别代表置信度得分最高的候选边界框和当前所处的候选边界框，IoUbm,bi表示置信度得分最高的候选边界框和当前所处的候选边界框之间的交并比，Nt代表预先设定的IoU阈值。对比高斯函数曲线，对高斯加权法的罚函数进行设计，其表达式如下所示： 其中，si表示当前所属类别的候选框置信度得分，si2表示高斯加权后的置信度得分，σ代表惩罚力度因子，bm和bi分别代表置信度得分最高的候选边界框和当前所处的候选边界框，IoUbm,bi表示置信度得分最高的候选边界框和当前所处的候选边界框之间的交并比，D为所有候选边界框的集合。采用负指数加权法则来设计指数加权法的罚函数，其表达式如下所示： 其中，si表示当前所属类别的候选框置信度得分，si3表示指数加权后的置信度得分，bm和bi分别代表置信度得分最高的候选边界框和当前所处的候选边界框，IoUbm,bi表示置信度得分最高的候选边界框和当前所处的候选边界框之间的交并比，Nt代表预先设定的IoU阈值。对上述三种加权方法的罚函数进行整合加权，其混合后的罚函数表示为： 其中，代表该候选边界框对应的新的置信度得分，si1,si2,si3分别代表经上述三种罚函数更新后的置信度得分，w1,w2,w3分别代表其对应的权重，本发明默认设置该权重相同，即w1＝w2＝w3＝13。根据上述公式10-13将候选边界框置信度得分进行更新，然后重新写入到步骤一所设计的小型卷积神经网络中。步骤四，根据交并比和置信度得分的设定去除候选边界框冗余，最终使得输出的候选边界框其置信度得分最高，且最接近真实标定框；具体流程如下：1设定一个重叠率IoU的阈值和置信度得分的阈值；2根据步骤二计算求得所有分类候选框的面积，同时将候选边界框按照其信度得分从高到低排序，并筛选出分类置信度得分最高的候选边界框；3分别遍历计算其余候选边界框同置信度得分最高的候选边界框的交叉面积，从而根据步骤二中的公式9求得IoU值的大小；4比较计算所得的IoU值与预先设定的阈值的关系，如若IoU小于设定阈值，则保留其对应的候选边界框；如若IoU大于预设阈值，则根据步骤三中的公式更新候选边界框置信度得分；5将更新后的置信度得分与预先设定的置信度得分阈值进行比较，如若更新后的得分大于预设的置信度得分阈值，则保留对应的候选边界框；否则，将该候选边界框删除以去冗余；6从剩余的候选边界框中，选择置信度得分最高的候选边界框，重复1至5，直至全部候选边界框均被处理完毕为止，最终获得每个目标置信度得分最高的候选边界框。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种用于目标分割网络中候选边界框精准定位的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD