申请/专利权人：西南科技大学

申请日：2023-08-31

公开（公告）日：2023-11-17

公开（公告）号：CN117079227A

主分类号：G06V20/54

分类号：G06V20/54;G06V10/44;G06V10/80;G06V10/764;G06V10/82;G06N3/0455;G06N3/0464;G06N3/0475;G06N3/045;G06N3/094;G06N3/0499

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.12.05#实质审查的生效;2023.11.17#公开

摘要：本发明公开了一种融合时间卷积与自注意力机制的车祸事件检测方法及系统。提出了一种混合多头注意力机制与时间卷积的U形全卷积神经网络U‑Net。将基于时间卷积的预测网络和具有强特征表达能力的多头注意力机制网络结合，通过学习已有视频帧的正常模式来预测下一帧，并根据预测帧和真实帧的差异来判断异常是否发生车祸。通过给定的连续t帧I1,I2,...,It来预测第t+1帧为了使预测帧与真实帧It+1更加接近，对外观特征强度和梯度进行约束，添加生成对抗损失使预测帧更加逼真。对于车辆行驶视频数据，引入动态图来增强强度和梯度方面的时空约束，提高了车祸事件检测的准确性。

主权项：1.一种融合时间卷积与自注意力机制的车祸事件检测方法，其特征在于，包括：获得多张待测视频帧；所述多张待测视频帧为待预测视频中的多张连续帧的图像；所述待预测视频帧表示预测当前帧图像的下一帧图像；基于所述待测视频帧，通过编码器，得到第一编码特征图、第二编码特征图、第三编码特征图和第四编码特征图；多张待测视频帧得到多张对应的第一编码特征图、多张对应的第二编码特征图、多张对应的第三编码特征图和多张对应的第四编码特征图；基于多张第四编码特征图，通过时间卷积网络，得到时间特征图；所述时间特征图为带有时间信息的特征图；基于所述时间特征图，通过多头注意力机制，得到注意力特征图；基于所述多张对应的第一编码特征图、多张对应的第二编码特征图、多张对应的第三编码特征图和注意力特征图，通过解码器对全局和局部信息进行融合，得到预测图像；预测图像中包含车祸发生情况；所述编码器、时间卷积网络、多头注意力机制和解码器构成U形全卷积神经网络：所述编码器的输出为所述时间卷积网络的输入，所述时间卷积网络输出的特征图线性映射为固定长度的序列为多头注意力机制的输入；所述注意力机制编码器的输出为解码器的输入。

全文数据：

权利要求：

百度查询： 西南科技大学 融合时间卷积与自注意力机制的车祸事件检测方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD