申请/专利权人：上海应用技术大学

申请日：2020-09-22

公开（公告）日：2024-05-17

公开（公告）号：CN112132023B

主分类号：G06V20/52

分类号：G06V20/52;G06V10/44;G06V10/52;G06V10/80;G06V10/82;G06N3/045;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.05.17#授权;2021.01.12#实质审查的生效;2020.12.25#公开

摘要：本发明提供了一种基于多尺度上下文增强网络的人群计数方法，包括：输入一张图片，首先经过特征提取后，获得浅层特征与深层特征，然后通过特征融合模块进行特征融合，并将融合到的特征送入多尺度感知模块，最后通过上下文增强模块对特征的空间与通道信息进行编码，获得具有人群分布特征的密度图。通过对密度图像素进行求和可以得到当前图片估计的人数。本发明提供一种基于多尺度上下文增强网络的人群计数方法，可以有效地应对人群计数中存在的多尺度问题，并且通过对特征图的空间与通道上下文信息进行建模，可以对复杂场景的人群进行更精确的计数与密度估计。该发明具有较高的鲁棒性，能向大型人群聚集场所的安全与规划方面提供准确的数据。

主权项：1.一种基于多尺度上下文增强网络的人群计数方法，其特征在于，包括：步骤一、输入一张图片经过特征提取获得浅层特征与深层特征；步骤二、特征融合模块将深层特征与浅层特征通过特征融合模块进行特征融合得到融合特征图；步骤三、将步骤二中得到的融合后特征图通过多尺度感知模块，提取多尺度信息，得到多尺度信息的特征图；步骤四、通过上下文增强模块对所述多尺度信息的特征图中的空间与通道信息进行编码，获得具有人群分布特征的密度图；步骤五、通过对所述密度图的像素进行求和得到当前图片估计的人数；步骤二中的所述特征融合模块，首先将浅层特征通过四个并行的3×3的空洞卷积层，卷积操作的输入通道数为512，输出通道数为128，空洞率分别为1、2、3、4；然后进行Concat连接将通道重新组合成512通道数的特征图，输出的融合特征图表示为函数式：Xo＝λ1Xl×U2λ2Xh1上述式1中，Xl表示经过空洞金字塔后的浅层特征，Xo，Xh分别表示输出特征与深层特征，U2·表示两倍上采样，采用卷积核为1×1的卷积层来学习λ1，λ2参数；步骤三中的所述多尺度感知模块，在步骤二获得融合特征图后，将融合特征图经过两个分支，一个分支有一个3×3卷积层，其有效感受野为3×3，另一个分支有两个3×3卷积层，其有效感受野为5×5；每个分支都将所述融合特征图降低了12的通道数，然后将这两个分支进行得到的特征进行像素相加；步骤四中所述的上下文增强模块，在步骤三获得多尺度信息的特征图后，将多尺度信息的特征图经过两个注意力模块，分别为位置注意力模块与通道注意注意力模块；其中，位置注意力模块对整个多尺度信息的特征图中的空间信息进行编码，以得到第一特征图，可以提取大范围的上下文信息，对头像位置进行优化；通道注意力模块对多尺度信息的特征图的每个通道，用一个权重来表示该通道对于生成密度图的重要性，以得到第二特征图；上下文增强模块然后将得到的第一和第二特征图进行Concat拼接，再通过卷积运算得到1通道预测的密度图；所述位置注意力模块对于输入多尺度信息的特征图，首先经过一个1×1的卷积操作，然后通过整形与转置操作，再将经过softmax函数获得的位置注意力权重与输入的多尺度信息的特征图进行矩阵相乘，这个过程表示为函数式： 上述式2中，{Pi|i∈{1···N}}作为输入特征图，N是特征图中包含的位置个数；Pij表示第j个位置对第i个位置的影响；在得到Pij后，经过两层1×1的卷积操作后与位置注意力的输入特征Fp进行相加操作；最终位置注意力的输出Pfinal表示为函数式： 其中，为提高注意力的泛化表达能力，在第一层卷积操作后加入了层归一化LN与ReLU激活函数，Wp1与Wp2分别表示在位置注意力分支的层归一化与ReLU激活函数层前后的两个卷积层的权重；所述通道注意力模块通过全局平均池化后得到通道注意力权重，经过两层1×1的卷积操作后与原始特征图进行相加操作，最终通道注意力的输出Cfinal表示为函数式： 上述式4中，Xm由Xi经过全局平均池化后得到，Fc为通道注意力的输入特征图，Wc1与Wc2分别表示在通道注意力分支的层归一化与ReLU激活函数层前后的两个卷积层的权重。

全文数据：

权利要求：

百度查询： 上海应用技术大学 基于多尺度上下文增强网络的人群计数方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD