申请/专利权人：凌坤(南通)智能科技有限公司

申请日：2023-12-15

公开（公告）日：2024-04-09

公开（公告）号：CN117854017A

主分类号：G06V20/54

分类号：G06V20/54;G06V10/25;G06V10/44;G06V10/82;G06N3/0464;G06N3/045;G06N3/084

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本发明公开了一种基于截尾注意力机制的Yolov5道路车辆检测方法，属于计算机视觉领域，该车辆检测方法包括建立改进Yolov5网络，所述改进Yolov5网络包括主干网络和Head结构，所述主干网络包括MobileNetV2主干网络，所述Head结构包括基于结尾操作的注意力机制TMA。通过使用训练样本集对主干网络进行优化进而得到具有最佳识别能力的车辆检测网络，并通过该网络对车辆进行检测和识别。本发明相比于传统的检测方法，能更快更好的提取特征，提高网络的识别能力。本发明的方法在测试样本集中的准确度，均高于其他方法，能更好的适应复杂的车辆道路环境。

主权项：1.一种基于截尾注意力机制的Yolov5道路车辆检测方法，其特征在于，将采集到的道路车辆图像通过改进Yolov5网络结构，经训练得到最优检测效果的道路车辆识别网络，并使用该车辆识别网络对道路车辆完成识别，具体包含以下步骤：步骤1，道路车辆图像的采集和处理；采集D类道路车辆图像，其中D记为道路车辆图像的种类数；在D类道路车辆图像中的每一类中选取M张道路车辆图像，得到M×D张道路车辆图像，然后对M×D张道路车辆图像分别采用Z种数据增强方法实现数据增强，获得Z×M×D张道路车辆图像，并将该Z×M×D张道路车辆图像组成一个训练样本数据集；在D类道路车辆图像的每一类中再选取M张图像之外的N张道路车辆图像得到N×D张道路车辆图像，将该N×D张道路车辆图像组成一个测试样本数据集，其中N≠M；步骤2，建立基于截尾注意力机制和MobileNetV2主干网络的改进Yolov5网络，具体的，所述改进Yolov5网络包括主干网络、Head结构和检测头部；步骤2.1，采用MobileNetV2模块作为主干网络，所述主干网络结构包括：输入通道数为32的MobileNetV2模块α1，输入通道数为96的MobileNetV2模块α2，输入通道数为1280的MobileNetV2模块α3，SPPF模块层γ1；主干网络的输入为MobileNetV2模块α1，输出为SPPF模块层γ1，具体的，MobileNetV2模块α1、MobileNetV2模块α2、MobileNetV2模块α3和SPPF模块层γ1依次串联；步骤2.2，采用改进FPN+PAN网络作为Head结构，所述Head结构包括：一个卷积核大小为1×1通道数为512的卷积层χ1，一个卷积核大小为1×1通道数为256卷积层χ2，一个卷积核大小为3×3通道数为256卷积层χ3，一个卷积核大小为3×3通道数为512卷积层χ4，输入通道数为512的上采样层δ1，输入通道数为256的上采样层δ2，Concat模块层C1、Concat模块层C2，截尾注意力机制TMA；Head结构有一个输入，记为输入Input，所述输入Input接主干网络的SPPF模块层γ1的输出；Head结构的输出为三个，分别记为输出output21、输出output22和输出output23，其中，输出output21为上采样层δ1的输出，输出output22为Concat模块层C2的输出，输出output23为截尾注意力机制TMA的输出；步骤2.3，采用融合检测头部作为检测头部，所述检测头部的结构包括：卷积核大小为1×1输入通道数为256的卷积层Z1，卷积核大小为1×1输入通道数为512的卷积层Z2，卷积核大小为1×1输入通道数为1024的卷积层Z3；融合检测头部的输入有三个，分别与Head结构的三条输出output21、output22、output23连接；其输出形成以下三条通路：第一条通路由卷积层Z1构成；第二条通路Z2构成；第三条通路由卷积层Z3构成；步骤3，对步骤2建立的改进Yolov5网络进行训练，获得实现最优检测能力的网络，并将该具有最优检测能力的网络作为道路车辆识别网络，具体步骤如下：步骤3.1，将所获得训练样本集中的道路车辆图像的尺寸统一设置为E×E；步骤3.2，从训练样本集中随机抽取B张道路车辆图像，并组成一个集合Γ，Γ＝y1，y2，...，ys...，yB，其中，ys为集合Γ中任意一个道路车辆图像，记该图像为图像ys，s＝1，2，...，B，计算图像ys的实际类别概率矩阵YS、实际坐标矩阵Ws和实际IoU矩阵Xs，其中实际类别概率矩阵YS的尺寸为H×W×C，实际坐标矩阵Ws的尺寸为H×W×4，实际IoU矩阵Xs的尺寸为H×W×1；其中H为各矩阵的高度，W为各矩阵的宽度，C为各矩阵的深度；随机为图像ys的预测类别概率矩阵Os、预测坐标矩阵PS和预测IoU矩阵QS赋予初始值，其随机赋予初始值过程为：定义预测类别概率矩阵Os、预测坐标矩阵PS、预测IoU矩阵Qs的坐标由横坐标n、纵坐标m、深度坐标Υ构成，并记为n，m，Υ；对预测类别概率矩阵Os任意选取几个横坐标n、纵坐标m、深度坐标Υ，并令且Os中未选中其他坐标的预测概率值均设置为0，其中n＝1，2，...H，m＝1，2，...W，Υ＝1，2，...C；对预测坐标矩阵PS任意选取几个横坐标n、纵坐标m、深度坐标Υ，并令且PS中未选中的其他坐标的预测概率值均设置为0，其中n＝1，2，...H，m＝1，2，...W，Υ＝1，2，...4；对预测IoU矩阵QS任意选取几个横坐标n、纵坐标m、深度坐标Υ，并令且Qs中未选中的其他坐标的预测概率值均设置为0，其中n＝1，2，...H，m＝1，2，...W，Υ＝1；步骤3.3，将步骤3.2随机抽取到的B张道路车辆图像输送进改进Yolov5主干网络中并更新每张道路车辆图像的预测类别概率矩阵Os、预测坐标矩阵Ps及预测IoU矩阵Qs，s＝1，2，...，B；步骤3.4，通过更新后的各个预测矩阵与实际矩阵之间计算的损失对主干网络进行优化，其具体过程为：将道路车辆图像的各个预测矩阵和实际矩阵进行对比，获得损失函数loss，通过梯度下降法获得最小化损失函数loss，实现对主干网络的优化；步骤3.5，重复步骤3.2至步骤3.4，直至训练样本集中的所有道路车辆图像都被选取过，其中，如果最后一轮选取中，样本训练集剩下的道路车辆图像数小于B，则从抽取过的道路车辆图像中再随机选取道路车辆图像加以补充；将通过步骤3.2-步骤3.5实现优化的主干网络标记为第h世代的主干网络Th，其中h代表世代的序号；步骤3.6，采用测试样本集图像计算出第h世代的主干网络Th对测试样本集中道路车辆图像的均值平均精度Vh，具体过程如下：步骤3.6.1，定义D类道路车辆中任意一类道路车辆为第i类种车辆，i＝1，2，...，D；定义预测框为网格上标记的矩形框，其中预测类别概率矩阵Os确定该矩形框检测的车辆类别，预测坐标矩阵PS确定该矩形框的中心坐标位置，预测IoU矩阵Qs确定矩形框车辆对象的置信度；定义实际框为在道路车辆图像上对道路车辆人工标注的矩形框；定义重叠度I为预测框和实际框的面积交集除以面积并集的值；步骤3.6.2，从0-1种随机选取不相等的n个小数组成重叠度阈值集K，K＝{Ki1，Ki2，…Kij，..Kin}，其中，Kij为第i类车辆对应的第j个重叠度阈值，j＝1，2，...，n；定义TP表示第i类车辆中重叠度I≥第j个重叠度阈值Kij的预测框的数目，FP为第i类车辆中重叠度I第j个重叠度阈值Kij的预测框的数目，FN代表对实际框未检测到预测框的数目，计算第i类车辆在第j个重叠度阈值Kij中的召回率Rij及精确度Pij，其计算公式分别如下： 步骤3.6.3，按照步骤3.6.2的方法计算重叠度阈值集K中所有重叠度阈值在第i类车辆中的精确度和召回率，获得n个召回率Rij和精确度Pij，依据1到n的顺序，将召回率Rij的值为横坐标、精确度Pij的值为纵坐标，在平面直角坐标系上绘制一条曲线，将该曲线记为Pi-Ri曲线；将Pi-Ri曲线、横坐标轴和纵坐标轴连接，将Pi-Ri曲线、横坐标轴及纵坐标连线为轮廓线，并计算出轮廓线中的面积记为第i类车辆的AP值Fi；步骤3.6.4，按照步骤3.6.2-步骤3.6.3的方法计算D类道路车辆中每一类道路车辆的AP值，获得D个AP值Fi，然后根据D个AP值Fi计算第h世代的主干网络Th对测试样本集中道路车辆图像的平均AP值Vh， 步骤3.7，设重复次数为G，G次重复步骤3.4一步骤3.6，得到一个网络集合T和一个平均AP值集合V，T＝{T1，T2，...，Th，...，TG}，V＝{V1，V2，...，Vh，...，VG}；记Vo为最高平均AP值，Vo＝max{V1，V2，...，Vh，...，VG}，Vo所对应的主干网络To即为最佳识别能力的网络，并记为道路车辆识别网络；步骤4，利用道路车辆识别网络对道路车辆进行识别。

全文数据：

权利要求：

百度查询： 凌坤(南通)智能科技有限公司 基于截尾注意力机制的Yolov5道路车辆检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD