申请/专利权人：浙江工业大学

申请日：2020-07-17

公开（公告）日：2020-11-24

公开（公告）号：CN111986080A

主分类号：G06T3/40(20060101)

分类号：G06T3/40(20060101);G06N3/04(20060101);G06T3/60(20060101);G06T7/62(20170101);G06T7/73(20170101);G06K9/00(20060101);G06K9/32(20060101)

优先权：

专利状态码：有效-授权

法律状态：2024.01.16#授权;2020.12.11#实质审查的生效;2020.11.24#公开

摘要：一种基于改进fasterR‑CNN的物流车辆特征定位的方法，包括：步骤一，物流车辆图像增强处理；引入数据增强的手段对物流车辆图像进行处理；步骤二，构建基础网络模型；采用VGGNet‑16基本网络作为特征提取网络；同时为了实现对物流车辆的定位，在VGGNet‑16的第五个卷积层第三个卷积分层中的特征提取模块后加入了一个RPN网络的目标检测定位模型；步骤三，使用非极大值抑制算法对物流车辆目标的筛选；步骤四，对物流车辆目标特征进行统一归一化；将得到的固定维度数据的特征图传入到基本网络模型的第七阶段即可求得精确的物流车辆定位边界框及其对应车型的概率。本发明在不同环境、场景下对物流车辆的特征定位性能良好。

主权项：1.一种基于改进fasterR-CNN的物流车辆特征定位的方法，包括如下步骤：步骤一，物流车辆图像增强处理；引入数据增强的手段，通过按照多尺度等比例缩放、图像旋转和增强饱和度等操作对物流车辆图像进行处理，从而增加其场景多样性，以便用于进一步的识别定位；1.1对物流车辆进行多尺度等比例缩放操作；本着不破坏原始图像中物流车辆特定长宽高比例的原则，对物流车辆图像进行多种尺度的缩放，使得定位网络能够学习到特定比例的目标特征；假设某物流车辆缩放前的像素坐标记为A0x0,y0，缩放后的坐标记为A1x1,y1，则A0与A1满足关系式：x1,y1＝μx0,μy01其中，μ表示缩放因子；上式对应于图像缩放矩阵中，表示为如下矩阵： 其中，当μ＞1时，表示图像放大操作；当μ＜1时，表示图像缩小操作；为了减少模型运行的成本；1.2对物流车辆图像进行旋转操作；由于摄像头拍摄快速行驶中的物流车辆时，会导致抓拍到的图像角度差异极大的现象，为了适应不同角度的识别定位，须将抓取获得的物流车辆图像进行旋转变换，从而产生多种角度的车辆特征信息；设定物流车辆图像的中心作为旋转中心O0,0，其逆时针旋转角度记为θ，当图像中的任意一像素点Px,y经过旋转变换后变为P1x1,y1，则通过下式来表示旋转过程： 上式为极坐标变换公式，对应于图像旋转矩阵中，表示为如下矩阵： 1.3对物流车辆图像进行饱和度增强操作；为了增加数据样本的多样性，使得特征定位网络能够适用于复杂光照环境，对物流车辆图像的饱和度进行调整；调整图像饱和度的具体流程如下：S1计算物流车辆图像上的像素点极值； 其中，rgbMax表示像素最大值，rgbMin表示像素最小值；S2饱和度计算；饱和度S计算公式如下：delta＝rgbMax-rgbMin2556value＝rgbMax+rgbMin2557L＝value28 S3调整物流车辆图像饱和度；设定一个饱和度参数β用以调整光照强度，其计算流程如下所示：1.若参数β≥0，则先求出中间变量的值： 更新的值： 调整饱和度：RGB'＝RGB+RGB-L*255*α122.若参数β＜0，则：RGB'＝L*255+RGB-L*255*1+α13将经过缩放处理、旋转操作及饱和度增强的物流车辆图像应用到如下步骤，以便对物流车辆特征进行精确的定位；步骤二，构建基础网络模型；采用VGGNet-16基本网络作为特征提取网络，用于对不同车型的物流车辆进行分类；同时为了实现对物流车辆的定位，在VGGNet-16的第五个卷积层第三个卷积分层中的特征提取模块后加入了一个RPN网络的目标检测定位模型；构建基础网络模型的步骤如下：T1第一阶段：首先输入经过步骤一处理的W*H*3大小的图像；然后经过两个连续的64通道的卷积层对物流车辆图像进行卷积操作，其卷积核大小为3*3、卷积步长为2；随后，经过一个64通道的最大池化层对卷积后的图像进行降维，其池化核大小为2*2，步长为2；此阶段输出一张大小的特征图；T2第二阶段：流程与第一阶段相同，即将第一阶段得到的图像输入至第二阶段网络中，然后经过卷积、池化操作得到新的特征图；但与第一阶段不同的是第二阶段的卷积和池化通道均变为128，其他参数均与第一阶段相同；T3第三阶段：首先将第二阶段输出的图像输入至第三阶段的网络中；然后经过三个连续的256通道的卷积层对该图像进行卷积操作，其卷积核大小为3*3、卷积步长为2；随后，经过一个256通道的最大池化层对卷积后的图像进行降维，其池化核大小为2*2，步长为2；T4第四阶段：流程与第三阶段相同，即将第三阶段得到的图像输入至第四阶段网络中，然后经过卷积、池化操作得到新的特征图；但与第三阶段不同的是第四阶段的卷积和池化通道均变为512，其他参数均与第三阶段相同；T5第五阶段：该阶段由三个卷积层组成，每个卷积层有512个通道，其卷积核大小为3*3、卷积步长为2；在此阶段输出的特征图大小为T6第六阶段：首先连接一个卷积核大小为3*3、卷积步长为2、卷积通道为512的卷积层；然后连接一个二分类损失函数和一个边框回归损失函数，回归判定属于物流车辆或背景的边框信息和分类信息其最有可能为某种车型的概率；T7第七阶段：首先连接两个4096通道的全连接层；然后连接一个总的损失函数；最后输出精确的物流车辆定位边界框及其对应车型的概率；在上述基础网络结构中，涉及到激活函数、损失函数的参数的设计，具体包括：P1在VGGNet-16基本网络中，关于全部卷积层后连接的激活函数，均使用ReLu激活函数：ReLux＝max0,x14P2在第六阶段中，使用到分类损失函数和边框回归损失函数：分类损失Lrpn_cls表示为： 其中，pi表示边框为物流车辆或背景的概率；表示边框所对应真实框为物流车辆或背景的概率，若为前景则记为1，否则记为0；边界框回归损失Lrpn_box表示为： 其中，ti代表预测边框i的四维位置信息，记为tixi,yi,wi,hi；代表真实框的四维位置信息，记为函数表示如下： P3在第七阶段中，总的损失函数设计原则为：边框回归损失采用逻辑回归映射的方法；分类损失采用梯度下降法；在损失函数下降过程中，使用Adam梯度下降法对其进行优化，其对应的参数设定为α＝0.001、β1＝0.9、β2＝0.999及ε＝10E-8；P4在训练过程中，学习速率调整策略采用多阶段衰减的方法；步骤三，使用非极大值抑制算法对物流车辆目标的筛选；物流车辆图像经过步骤二的基本网络模型处理后得到的同一物流车辆上的边界框较多，因此需要引入一种方法对多余的边界框进行筛除；其具体操作流程如下：Q1根据预测边界框的四维位置信息xi,yi,wi,hi可以求得物流车辆图像中每辆车的所有预测边框的面积Si；Si＝wi*hi18Q2在基本网络模型的第六阶段，经过回归判定出属于物流车辆或背景的边框信息和分类信息；对于每一辆真实的物流车辆其对应的边界框较多，对其按照概率从大到小进行排序，并筛选出概率最大的一个边界框；Q3循环计算筛选出的边界框与其余边界框的面积交并比I，如若I大于预设的阈值，则认定该边界框与步骤Q2中筛选出的边界框重度重合，然后将其删除即可，直至将步骤Q2中所有的边界框处理完毕为止；当且仅当满足条件 时，交并比I的计算公式为： 当且仅当满足条件 时，交并比I的计算公式为： 上述式19-20及其约束条件中的下标均可由同时必须以式19中的约束为例，其可变为如下形式： 如若式19中的约束改变为式21的形式，则其式19中的下标也必须做相应的改变；当式19及式20中的约束条件均满足时，交并比I的计算公式为： 否则，I＝0，也就意味着两个边界框不相交，则都保留；式19-22中，max代表最大边界框，其面积记为Smax；oti代表其余任意一个边界框，其面积记为Soti；两个边界框之间的交叉面积记为Sovp；xmax,ymax,wmax,hmax表示筛选出的最大边界框的四维位置信息，即中心坐标、框宽及框高；xoti,yoti,woti,hoti表示其余任意一个边界框的四维位置信息；步骤四，对物流车辆目标特征进行统一归一化；为了解决因非极大值抑制后的边界框边特点不同所导致后续连接层维度不匹配的问题，在第六阶段的损失函数之后，连接了一个感兴趣区域池化层，对边特点不同的边界框进行统一的归一化；其具体操作流程如下：M1将步骤三所得物流车辆图像上的边界框四维位置信息量化为整型数组坐标；M2将量化后的边界框平均分割成4*4、2*2、1*1的最大池化，形成固定长度的数据维度；将得到的固定维度数据的特征图传入到基本网络模型的第七阶段即可求得精确的物流车辆定位边界框及其对应车型的概率。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种基于改进faster R-CNN的物流车辆特征定位的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD