申请/专利权人：东南大学

申请日：2021-12-20

公开（公告）日：2024-04-23

公开（公告）号：CN114241454B

主分类号：G06V20/59

分类号：G06V20/59;G06V40/20;G06V10/80;G06V10/82;G06V10/764;G06V10/774;G06N3/045;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2022.04.12#实质审查的生效;2022.03.25#公开

摘要：本发明公开了一种利用重映射注意力识别分心驾驶的方法，设计了多尺度注意力编码器以提取驾驶员图像的全局特征。由于姿势估计中的热图提供了身体部位的表达性非参数编码，通过对驾驶员部位热图和全局特征图进行哈达玛乘积，将部位信息投影到全局特征上，从而增强了驾驶员行为描述符的辨别力，为了提高鲁棒性和泛化能力，提出了部位注意力丢弃操作，即在训练过程中随机丢失某部位热图，以应对其不可见的情况。本发明引导模型着重于与驾驶员行为相关的部位，可进一步提高驾驶员行为识别准确率。本发明在交通安全领域有重要的应用价值。

主权项：1.一种利用重映射注意力识别分心驾驶的方法，其特征在于，包括以下步骤：步骤1：使用公开的StateFarm分心驾驶数据集作为实验数据集；步骤2：对StateFarm数据集进行数据增强处理，包括：随机裁剪，随机旋转角度，水平翻转，仿射变换，RGB颜色扰动；步骤3：构建重映射注意力网络，其由多尺度注意力编码器，部位重映射和部位注意力丢失组成；首先生成全局特征图和头部，手和肘部五个部位热图；对于驾驶员的每个部位，通过将热图与全局特征图相乘来生成部位引导的特征图；然后，逐元素将全局特征和部位引导特征相加，并将总和输入全局平均池化层中，以生成部位增强的全局表示；最后，级联五个分支的输出以分类；其中，在模型训练时使用部位注意力丢失以增强鲁棒性；步骤301：提出多尺度注意力编码器以提取全局特征，这些特征被所有后续分支所共享，多尺度注意力编码器中基于膨胀空间金字塔池，以充分利用不同尺度的全局上下文；在膨胀空间金字塔池中加入了一个非局部块作为注意力模块；具体而言，x表示输入，输出其中i和j是特征位置索引；将两两函数fxi，xj}设置为点积运算，以计算注意力系数；为了简化，将g设为gxj＝xj，将归一化函数C设为Cx＝n，其中n为x的有效像素数，因此 然后将注意力图进行1×1卷积，并加入到x中，得到非局部模块的最终输出z，即zi＝Wzyi+xi，其中Wz是卷积权值；步骤302：使用OpenPose来预测驾驶员部位热图，这些富含空间信息的部位热图被视为全局特征的注意力图；对于每个部位，将热图与全局特征图进行点乘以生成局部细化的特征；将驾驶员部位信息投影到全局特征，使特征表示更具区分性；从多尺度注意力编码器生成全局特征图为F∈RW×H×C和从OpenPose生成的驾驶员部位热图为H∈RW×H×3；在F之上，添加了一个1×1卷积层来降低维数；通道数为C，跨度为1，填充为1，驾驶员部位热图上的值表示各部位的分布概率，等效于空间注意力或蒙版；热图H＝{h1，h2，h3，h4，h5}中hi是第i个部位热图；然后，对全局特征图F和每个热图hi进行点乘，以生成部位引导特征图 其中表示逐元素乘法；然后逐元素地相加和全局特征F；通过全局平均池化对第i个部位增强的全局表示gi∈R1×c进一步提取判别特征； 最终特征图G∈R5×c由这些部位增强的特征图级联而成；令ΓH，F表示热图H和特征图F之间的部位重映射；G表示为： 步骤303：提出了“部位注意丢弃”使得模型学习所有部位，而不是仅依赖于最有区别度的部位；在训练过程中，以固定概率p随机丢弃部位热图，其中1-p为保持概率；当某个部位被丢弃或忽略时，模型被迫增强其他部位的激活值，从而提高识别鲁棒性；注意力丢弃后的部位热图为： 其中m～Bernoullip步骤304：分类器由一个全连接层和一个softmax层组合而成，级联多分支输出的部位增强的全局表示特征图作为输入，最后的输出为不同驾驶行为类别的概率；步骤4：训练重映射注意力网络；训练时采用softmax交叉熵损失函数进行求导；步骤5：对重映射注意力网络进行测试，在网络中输入驾驶图像进行分类。

全文数据：

权利要求：

百度查询： 东南大学 一种利用重映射注意力识别分心驾驶的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD