申请/专利权人：阿维塔科技(重庆)有限公司

申请日：2022-10-21

公开（公告）日：2024-05-17

公开（公告）号：CN115610349B

主分类号：B60R16/023

分类号：B60R16/023;B60Q9/00

优先权：

专利状态码：有效-授权

法律状态：2024.05.17#授权;2023.02.10#实质审查的生效;2023.01.17#公开

摘要：本发明实施例涉及人机交互领域，公开了一种基于多模融合的智能交互方法及装置，所述方法通过获取多模态信息，并根据多模态信息生成交互数据，并将交互数据进行输出。其中多模态信息包括车辆状态信息、车辆位置信息、用户信息以及环境信息中的一种或多种的组合。所述方法通过对车辆本身和用户进行全方位的数据采集，进而生成交互数据，使交互装置能够与用户进行主动交互，解决了车载人机交互系统无法对多维度用户及车辆信息进行有效融合的问题，使车载人机交互系统能够主动为用户提供符合当前需求的交互服务。

主权项：1.一种基于多模融合的智能交互方法，其特征在于，包括：获取多模态信息，所述多模态信息包括车辆状态信息、车辆位置信息、用户信息和环境信息中的至少一种；根据所述多模态信息，生成交互数据，所述交互数据包括车辆控制指令和或交互提示信息；输出所述交互数据；当所述多模态信息包括所述用户信息时，所述用户信息包括用户特征数据，以及用户语音数据和用户图像数据中的至少一种，所述根据所述多模态信息，生成交互数据，包括：通过所述用户图像数据和或所述用户语音数据获取车辆内用户数量；根据所述用户数量和所述用户特征数据，生成乘车用户类型组合；根据所述乘车用户类型组合，生成交互提示信息，所述交互提示信息包括推荐目的地；或者，所述根据所述多模态信息，生成交互数据，包括：根据所述用户信息和或所述环境信息，确定驾驶人员的疲劳程度和或所述用户的情绪状态；根据所述驾驶人员的疲劳程度和所述车辆的位置信息，生成缓解所述驾驶人员疲劳程度的车辆控制指令和或交互提示信息；所述车辆控制指令包括空调控制指令和座椅按摩指令，所述交互提示信息包括疲劳提醒和推荐休息地；和或，根据所述用户的情绪状态，生成缓解所述用户情绪状态的交互提示信息；或者，当所述多模态信息包括所述环境信息、所述用户信息和所述车辆位置信息时，所述环境信息包括车内温度，所述用户信息包括用户图像数据和用户特征数据，所述根据所述多模态信息，生成交互数据，包括：根据所述用户图像数据和用户特征数据，确定特殊用户，以及所述特殊用户的乘坐位置；所述特殊用户包括大龄用户和幼龄用户；根据所述特殊用户的乘坐位置、所述车辆位置信息以及所述车内温度，生成车辆控制指令和交互提示信息；所述车辆控制指令用于控制车辆内所述特殊用户的乘坐位置的空调温度高于阈值温度且风量低于阈值风量，所述交互提示信息用于提示用户所述车辆的空调调节模式。

全文数据：

权利要求：

百度查询： 阿维塔科技(重庆)有限公司 一种基于多模融合的智能交互方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD