申请/专利权人：上海应用技术大学

申请日：2021-05-31

公开（公告）日：2024-04-16

公开（公告）号：CN113205078B

主分类号：G06V40/10

分类号：G06V40/10;G06V20/52;G06V10/774;G06V10/82;G06N3/0464;G06N3/092

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.08.20#实质审查的生效;2021.08.03#公开

摘要：本发明提供了一种基于多分支递进强化注意力人群计数方法，该方法具体步骤如下：S1：读取数据集，预处理数据；S2：构建多分支递进强化注意力神经网络；S3：训练多分支递进强化注意力神经网络并测试；S4：获取摄像头图像，输入训练好的神经网络进行测试，得到该图片的预测人数。通过上述方式，本发明能够适用于大规模密集人群场景时的人群数量检测，有效提高检测人数结果的准确性。

主权项：1.一种基于多分支递进强化注意力人群计数方法，其特征在于，包括：S1：读取数据集并进行数据预处理，得到预处理的数据；S2：构建多分支递进强化注意力神经网络的主干；S3：基于所述预处理的数据和多分支递进强化注意力神经网络的主干，训练所述多分支递进强化注意力神经网络并测试网络准确性，以得到训练好的神经网络；S4：获取视频中的人群图像，输入进训练好的神经网络测试，得到该图片的预测人数；S1包括：S11：下载公开数据集；S12：将公开数据集，分为数据集和训练集；S13：分别将数据集和训练集的图像数据宽高像素补充为8的倍数，并按比例调整定位图的位置，以分别得到数据集的定位图和训练集的定位图；S14：利用高斯核大小为25的高斯函数将数据集的定位图处理为数据集的密度图，利用高斯核大小为25的高斯函数将训练集的定位图处理为训练集的定位图；所述S2包括：S21：设置前端网络部分提取特征的结构：以VGG16的feature层作为特征提取层，卷积核大小为3，采用Pytorch的Conv2d卷积，每个卷积层后都加上Relu激活函数，每层的通道数为64，64，128，128，MaxPoolingkernel＝2，256，256，256，MaxPoolingkernel＝2，512，512，512，用所述结构提取到总体特征；S22：基于提取到的总体特征，加载VGG16网络结构的预训练参数；S23：后端网络设计；所述步骤S23包括：S231：后端主干网络为：二维卷积Conv2d，卷积核大小为3，输入到网络的通道数为512，输出网络层数为128，后接Relu激活函数；自定义的多分支递进强化注意力模块CPM1；最近邻插值上采样，上采样倍数为原数图像2倍；二维卷积Conv2d，卷积核大小为3，输入网络层数为128，输出网络层数为64，后接Relu激活函数；自定义的多分支递进强化注意力模块CPM2；最近邻插值上采样，上采样倍数为原数图像2倍；二维卷积Conv2d，卷积核大小为3，输入网络层数为64，输出网络层数为16，后接Relu激活函数；自定义的多分支递进强化注意力模块CPM3；最近邻插值上采样，上采样倍数为原数图像2倍；最后一层为二维卷积Conv2d输入通道数为16，输出网络层数为1，卷积核大小为1的全卷积网络，后接Relu激活函数，输出预测密度图；S232：构建多分支递进强化注意力模块网络，其中，共前后两个阶段：将输入图像in1做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为1，填充大小为1，得到卷积结果con1，后将con1输入强化注意力模块处理得到out1；将输入图像in1做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为2，填充大小为2，得到卷积结果con2，后将con2加上out1输入强化注意力模块得到out2；将输入图像in1做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为3，填充大小为3，得到卷积结果con3，后将con3加上out2输入强化注意力模块得到out3；将输入图像in1做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为5，填充大小为5，得到卷积结果con4，后将con4加上out3输入强化注意力模块得到out4；将out4作为第二阶段的输入图像in2，将输入图像in2做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为5，填充大小为5，得到卷积结果con5，后将con5输入强化注意力模块得到out5；将输入图像in2做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为3，填充大小为3，得到卷积结果con6，后将con6加上out5输入强化注意力模块得到out6；将输入图像in2做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为2，填充大小为2，得到卷积结果con7，后将con7加上out6输入强化注意力模块得到out7；将输入图像in2做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为1，填充大小为1，得到卷积结果con8，后将con8加上out7输入强化注意力模块得到out8；S233：构建自定义强化注意力模块：将特征图x输入二维卷积，输入通道等于输出通道，卷积核大小为3，后接Relu激活函数得到特征图x1；将特征图x1输入二维分离卷积，输入通道等于输出通道，卷积核大小为3，分组数groups等于通道数，得到特征图x2；将特征图x2输入全通道注意力模块，得到的结果再加上x2得到特征图x3；将特征图x3输入交叉通道注意力模块，得到的结果再加上x3得到特征图x4；将特征图x4输入二维卷积，输入通道等于输出通道，卷积核大小为3，后接Relu激活函数得到特征图x5，最后将特征图x5加上x得到强化注意力结果F；所述S233还包括：S2331：构建自定义全通道注意力模块：将特征图f输入全通道注意力模块中，获取其通道数c和批处理数b；再将b和c输入进平均池化层和Softmax层中，拉伸为一维的张量avg，再将avg经过Linear层、Relu层、Linear层和Sigmod层中，强化需要注意的区域，再用reshape功能将其恢复成f的维度，形成新的特征图f’；S2332：构建自定义交叉通道注意力模块：将特征图g输入交叉通道注意力模块中，获取其通道数c和批处理数b，分别形成横向的张量h和纵向的张量w；再将h和w输入进平均池化层和Softmax层中，拉伸为两个一维的张量avg_h和avg_w，再将avg_h和avg_w经过一个Sigmod层中，强化需要注意的区域，再用reshape功能分别将两个维度的张量恢复成h和w的维度，接着再用concat功能形成新的特征图g’。

全文数据：

权利要求：

百度查询： 上海应用技术大学 基于多分支递进强化注意力人群计数方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD