申请/专利权人：南通大学

申请日：2024-01-29

公开（公告）日：2024-04-09

公开（公告）号：CN117854009A

主分类号：G06V20/52

分类号：G06V20/52;G06V10/82;G06V10/80;G06N3/0455;G06N3/084;G06V10/40

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本发明公开了一种交叉协作融合的轻量化跨模态人群计数方法，本发明主要针对现有人群计数方法存在模型庞大，推理速度很慢两个问题，设计一种改进的人群计数方法。将RGB图像和热成像两种模态的图像经过预处理输入模型，首先为五层权重共享编码器提取特征，然后由跨策略增强编码器重新分配通道注意力，通过交叉注意力重新加权特征反应，将输出的三、四、五层特征扩大其感受野，并对其进行跨尺度跨模态解码，最后将特征总和经过回归器回归密度图生成预测人数，通过不断缩小与实际人数之间的差距，以提高人群计数的精度。

主权项：1.一种交叉协作融合的轻量化跨模态人群计数方法，其特征在于，针对人群图像，执行如下步骤S1-步骤S8，完成图像中的人群计数：步骤S1：采集人群图像构建数据集，将数据集划分为训练集、验证集、测试集，并对数据集进行预处理，包括将人群图像转换成Numpy文件存储，同时将数据集中的图像随机裁剪为预设尺寸，进入步骤S2；步骤S2：从训练集中选取N对人群图像，每对人群图像包括RGB图像和相应的热成像，RGB图像和热成像分别输入相同的五层编码器进行特征提取，输出RGB图像和热成像的多级特征表示，构成一组两种模态的特征，进入步骤S3；步骤S3：将步骤S2中提取的一组两种模态的特征分别输入跨策略增强编码网络，得到自适应重新加权后的每层特征，进入步骤S4；步骤S4：在得到步骤S3的自适应重新加权后的每层特征后，合并第三层、第四层、第五层特征输入跨尺度跨模态解码器模块，经过回归层以生成显著性预测图，进入步骤S5；步骤S5：将步骤S4中得到的显著性预测图与标签数据中的点列表和空间尺寸的列表密度图采用贝叶斯损失进行计算，通过计算目标计数和预测计数之间的差异，将其累计到损失之中，进入步骤S6；步骤S6：检查训练集中的训练轮数是否达到设定的轮数，若未达到设定的轮数则返回步骤S2，否则进入步骤S7；步骤S7：当训练轮数大于30小于设定的训练轮数，且当前训练轮数为5的倍数时进入验证流程和测试流程，如果等于设定的训练轮数则进入步骤S8，否则返回步骤S2；验证流程中根据指标评价当前模型参数，若评价为当前最优模型参数，则进入测试流程，完成测试流程后，进入步骤S8；步骤S8：输出最优模型参数，结束。

全文数据：

权利要求：

百度查询： 南通大学 一种交叉协作融合的轻量化跨模态人群计数方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD