申请/专利权人：东南大学

申请日：2021-12-20

公开（公告）日：2024-03-12

公开（公告）号：CN114241453B

主分类号：G06V20/59

分类号：G06V20/59;G06V40/20;G06V10/77;G06V10/80;G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.03.12#授权;2022.04.12#实质审查的生效;2022.03.25#公开

摘要：本发明公开了一种利用关键点注意力的驾驶员分心驾驶监测方法。该方法利用驾驶员的判别性关键点特征以区分具有相似外观的分心驾驶行为。本发明提出通道‑空间变换卷积来改进特征变换过程，以增强卷积特征的表示能力。同时，使用LightweightOpenPose生成关键点热图，作为全局特征的注意力图，并提出关键点投影策略来融合关键点信息和卷积特征，即将每个关键点的热力图与全局特征图进行点乘以生成局部细化特征。关键点信息到全局特征的投影提高了最终分类表示的区分度，可进一步提高驾驶员分心驾驶监测准确率。本发明在交通安全领域有重要的应用价值。

主权项：1.一种利用关键点注意力的驾驶员分心驾驶监测方法，其特征在于，包括以下步骤：步骤1：分心驾驶图像数据集选用现有的StateFarm数据集；步骤2：构建基于关键点投影的注意力网络；采用与通道-空间转换块相结合的ResNet-50作为主干，提取全局特征，并输入到所有后续分支中；同时，使用LightweightOpenPose来生成包含丰富空间信息的关键点热力图；对于头部和手部关键点，将热力图与全局特征相乘，再将乘积与全局特征逐元素相加以生成关键点增强特征，并将其串联起来进行最终分类，具体如下；步骤201：对于输入的驾驶图像，提出通道-空间转换卷积以提取全局特征，其明确地对特征通道之间的相互依赖性进行建模；其对全局特征进行选择性处理，即只有一半的输入通道通过通道-空间变换卷积进行处理；具体地说，具有C通道的输入特征被平均地划分为具有C⁄2通道的两组特征；第一组由通道-空间变换卷积处理，而第二组按原样传播；原始特征和处理后的特征最终通过通道混洗进行混合；这样的结构设计减少了计算负担，并进一步加强了跨卷积通道的信息流；步骤202：基于ResNet的3×3残差瓶颈，构造通道-空间转换块，具体来说，在ResNet的残差瓶颈中加入了通道-空间变换卷积；此外，引入挤压-激励块以对通道特征进行自适应重校准，以增强通道注意力；通道-空间转换块将多个通道信息映射到空间，然后将空间信息重新映射回通道；与子像素卷积类似，通道-空间转换块通过像素混洗来缩放特征图，以加强通道信息流；通道空间变换操作不收集全局信息，只考虑空间中每个位置周围的上下文，从而避免来自图像无关区域的污染信息；步骤203：在ResNet的Conv4_x和Conv5_x中，使用通道-空间转换块代替传统的残差瓶颈，在通道-空间变换Conv5_x之上，添加了1×1卷积层以降低维度；步骤204：通过姿态估计LightweightOpenPose算法生成关键点热力图；热力图上的值表示人体关键点的分布概率，相当于空间注意力或掩膜；分别将每个关键点的热力图与全局特征相乘，再逐元素相加乘积和全局特征以生成关键点增强的全局表示；将关键点增强特征串联，生成分类特征；步骤3：训练基于关键点投影的注意力网络；基于深度学习平台PyTorch，采用随机梯度下降算法优化参数；步骤4：对基于关键点投影的注意力网络进行测试。

全文数据：

权利要求：

百度查询： 东南大学 一种利用关键点注意力的驾驶员分心驾驶监测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD