申请/专利权人：广州博太电子有限公司

申请日：2023-07-31

公开（公告）日：2024-04-09

公开（公告）号：CN116968638B

主分类号：B60R1/24

分类号：B60R1/24;B60R1/26;B60Q9/00;B60R16/02;H04N7/18;G06V20/58;G06V20/40

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2023.11.17#实质审查的生效;2023.10.31#公开

摘要：本发明涉及一种车辆行驶预警方法、系统、介质及计算机，本申请公开了一种能够在车辆行驶的时候，对车辆的周围障碍物进行观察和检测的方法，通过在车辆的两侧分别安装向前以及向后的摄像头，能够拍摄到车辆两侧以及前后两个方向上的路况，通过深度学习模型对拍摄到的视频画面进行提取和识别，能够确定车辆的行进路线上是否设置有障碍物，以及该障碍物与车辆之间的距离，在发现危险的情况下，及时发出警报，避免在车辆行驶过程中车辆与障碍物发生剐蹭，或者车辆撞伤行人发生危险。

主权项：1.一种车辆行驶预警方法，其特征在于，包括：S1、判断车辆是否处于行驶状态，若是，则获取车辆前方以及后方路况的实时视频；所述获取车辆前方以及后方路况的实时视频，包括：在车辆的两侧分别设置一个能够转动和伸缩的支撑架，两个所述支撑架上均固定设置有两个摄像头，两个摄像头分别朝向车辆的前方和后方，在车辆的内部设置显示器；在车辆行驶过程中，控制两个所述摄像头拍摄车辆前方和后方的实时视频，并且将拍摄到的实时视频存储到预先设定的存储器中；利用所述显示器播放两个所述摄像头拍摄到的实时视频；S2、提取所述实时视频中的关键帧画面；所述提取所述实时视频中的关键帧画面，包括：获取车辆的行驶速度；根据所述行驶速度，计算车辆行驶单位距离所需要的行驶时间；判断所述行驶时间是否大于预定的时间阈值，若否，则每经过第一预定时间间隔提取视频中的一幅帧画面作为关键帧画面；若否，则每经过第二预定时间间隔提取视频中的一幅帧画面作为关键帧画面；S3、判断所述关键帧画面中是否存在障碍物，若是，则执行步骤S4；所述判断所述关键帧画面中是否存在障碍物，包括：将所述关键帧画面进行预处理，得到对应的增强画面；将所述增强画面输入到预先训练好的目标检测模型中，判断是否存在障碍物；所述将所述关键帧画面进行预处理，包括：利用图像金字塔算法，调整所述关键帧画面的尺寸，得到小尺寸画面；对所述小尺寸画面进行灰度处理，得到灰度画面；对所述灰度画面进行均一化处理，得到增强画面；预先训练好的目标检测模型采用transformer模型进行检测，首先利用编码器对输入的张量进行编码，然后再利用解码器对编码器输出的结果进行解码，其中Transformer模型在利用自注意力机制进行计算的过程中,需要利用到查询张量、被查询张量以及内容张量,这三个张量都是利用同一个输入的值与不同的变换矩阵WQ、WK以及WV相乘,得到对应的张量，将预处理过后的增强画面，可以看做是一个特定的张量，由于增强画面为灰度图，仅有一个通道，因此将该张量在最后一个维度进行展平，能够到一个一维向量，将该一维向量输入到编码其中进行编码，由于编码器采用自注意力机制，在自注意力机制中，被查询张量Key与内容张量Value的取值相同，因此根据第一查询张量Query对被查询张量Key与内容张量Value进行初始化，即可得到编码器对应的QKV三个值，然后将query、key和value和位置编码embedding喂入transformer子层进行self-attention变换，最终输出维度和原query相同的张量，作为输出最终的编码特征向量，解码部分接受的key和value即为上述编码器输出的编码特征向量；在解码器中，query为一种参数可以学习的，shape为50,256的权重参数，50代表每张图片最多会生成50个框，此外，解码器的位置编码向量的生成方式同编码器的方式，将query、key和value和位置编码embedding送入包含5层transformer子层的解码层，内部执行cross-attention变换、线性变化、层标准化等操作，最终输出维度和原query相同的张量；该张量就是在关键帧画面上的障碍物所在位置对应的特征张量；在得到该特征张量之后，将该特征张量输入到对应的检测头中进行检测和框选，即可得到带有边界框的关键帧画面；在实际生成边界框，提供边界框的左上角坐标以及边界框的两个相邻的边的长度，这样就能够确定边界框在关键帧画面上的具体位置；对于关键帧画面进行预处理，包括：将基准尺寸缩放至640*544，为了提升模型对实际使用过程中摄像头存在抖动，影像图片的实际形状的问题，还对每份图片做了608*512和672*576这额外两个尺度的缩放；S4、判断所述障碍物是否会对驾驶产生影响，若是，则执行步骤S5;S5、确定所述障碍物在所述关键帧画面中的位置，并使用边界框框选关键帧画面中的障碍物；S6、根据边界框的坐标和尺寸，在所述实时视频中使用边界框对应框选该障碍物，得到对应的实时行驶影像。

全文数据：

权利要求：

百度查询： 广州博太电子有限公司 一种车辆行驶预警方法、系统、介质及计算机

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD