买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜广东工业大学申请的专利一种基于多模态transformer的辅助驾驶提示方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119659663B 。

龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510199795.1，技术领域涉及：B60W50/14；该发明授权一种基于多模态transformer的辅助驾驶提示方法及装置是由孙为军;张杰;黄永慧;房小兆设计研发完成，并于2025-02-24向国家知识产权局提交的专利申请。

本一种基于多模态transformer的辅助驾驶提示方法及装置在说明书摘要公布了：本发明公开了一种基于多模态transformer的辅助驾驶提示方法及装置，涉及汽车驾驶技术领域，用于解决现有的辅助驾驶提示方法导致无法提供准确的驾驶提示的技术问题。方法包括采用基于多模态transformer的辅助驾驶提示模型对获取的多模态图像，即面部表情图像和路况图像进行处理，输出辅助驾驶提示结果；其中，基于多模态transformer的辅助驾驶提示模型包括输入模块、Transformer自注意力模块、交叉注意力模块和分类模块。

本发明授权一种基于多模态transformer的辅助驾驶提示方法及装置在权利要求书中公布了：1.一种基于多模态transformer的辅助驾驶提示方法，其特征在于，包括：获取面部表情图像和路况图像，并将所述面部表情图像和所述路况图像输入至基于多模态transformer的辅助驾驶提示模型；所述基于多模态transformer的辅助驾驶提示模型包括输入模块、Transformer自注意力模块、交叉注意力模块和分类模块；采用所述输入模块分别对所述面部表情图像和所述路况图像进行特征向量化，生成所述面部表情图像对应的多个表情目标嵌入、所述路况图像对应的多个路况目标嵌入；通过所述Transformer自注意力模块分别对各所述表情目标嵌入、各所述路况目标嵌入进行多头注意力块处理，输出各所述表情目标嵌入对应的表情多头特征表示、各所述路况目标嵌入对应的路况多头特征表示；将各所述表情多头特征表示和各所述路况多头特征表示作为所述交叉注意力模块的输入，输出各所述表情多头特征表示对应的表情交叉特征表示、各所述路况多头特征表示对应的路况交叉特征表示；采用所述分类模块根据各所述表情交叉特征表示、各所述表情多头特征表示、各所述路况多头特征表示、各所述路况交叉特征表示进行分类，生成辅助驾驶提示结果；所述Transformer自注意力模块包括多个Transformer自编码器；所述Transformer自编码器的数据处理过程，具体为：对输入至所述Transformer自编码器的多个第一输入向量和多个第二输入向量进行多头线性变换，生成各所述第一输入向量对应的多个查询矩阵、多个键矩阵和多个值矩阵、各所述第二输入向量对应的多个查询矩阵、多个键矩阵和多个值矩阵；基于各所述第一输入向量对应的多个查询矩阵、多个键矩阵和多个值矩阵，计算各所述第一输入向量对应的多个第一输出自注意力头；基于各所述第二输入向量对应的多个查询矩阵、多个键矩阵和多个值矩阵，计算各所述第二输入向量对应的多个第二输出自注意力头；分别对各所述第一输入向量对应的多个第一输出自注意力头、各所述第二输入向量对应的多个第二输出自注意力头进行拼接和线性变换，输出各所述第一输入向量对应的第一多头注意力、各所述第二输入向量对应的第二多头注意力；将各所述第一输入向量和各所述第一输入向量对应的第一多头注意力进行相加，生成多个第一残差特征；将各所述第二输入向量和各所述第二输入向量对应的第二多头注意力进行相加，生成多个第二残差特征；分别对各所述第一残差特征、各所述第二残差特征进行层归一化，生成各所述第一残差特征对应的第一归一化特征、各所述第二残差特征对应的第二归一化特征；将各所述第一归一化特征和各所述第二归一化特征分别作为前馈网络的输入，输出各所述第一归一化特征对应的第一目标特征、各所述第二归一化特征对应的第二目标特征；将各所述第一归一化特征和各所述第一归一化特征对应的第一目标特征进行相加，生成多个第一综合特征；将各所述第二归一化特征和各所述第二归一化特征对应的第二目标特征进行相加，生成多个第二综合特征；分别对各所述第一综合特征、各所述第二综合特征进行层归一化，生成各所述第一综合特征对应的第一多头特征表示、各所述第二综合特征对应的第二多头特征表示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广东工业大学，其通讯地址为：510080 广东省广州市越秀区东风东路729号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。