申请/专利权人：润芯微科技(江苏)有限公司

申请日：2023-10-11

公开（公告）日：2024-04-16

公开（公告）号：CN117294929B

主分类号：H04N23/611

分类号：H04N23/611;H04N23/72;H04N23/73;H04N23/74

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2024.01.12#实质审查的生效;2023.12.26#公开

摘要：本发明公开了一种基于车内多模态识别技术的智能拍照方法及系统，按照预设频率通过感知模块对车内场景进行识别，采集车内多模态信息，获取车内场景和人脸信息，输出给决策模块，决策模块获取感知模块输入的信息后，触发拍照，根据感知模块所获取车内场景和人脸信息匹配相应的拍照方案，包括基于亮度信息匹配补光与曝光参数，基于人脸信息匹配补光模版，基于距离信息调整曝光参数，基于色彩信息调整色彩参数，基于多模态信息推荐美化效果，将匹配的拍照方案传输至执行模块，执行模块根据决策模块所匹配的拍照方案，自动调节拍摄参数以及拍照素材，实现智能拍照。本发明兼容性强，利用车内多模态识别，实现更智能化、个性化的拍照体验。

主权项：1.一种基于车内多模态识别技术的智能拍照方法，其特征在于，包括以下步骤流程：S101，感知流程，按照预设频率通过感知模块对车内场景进行识别，并触发启动相机，感知模块采集车内多模态信息，获取车内场景和人脸信息，输出给决策模块，并将所获取车内场景和人脸信息缓存；S102，决策流程，决策模块获取感知模块输入的信息后，触发拍照，根据感知模块所获取车内场景和人脸信息匹配相应的拍照方案，包括基于亮度信息匹配补光与曝光参数，基于人脸信息匹配补光模版，基于距离信息调整曝光参数，基于色彩信息调整色彩参数，基于多模态信息推荐美化效果，将匹配的拍照方案传输至执行模块；基于亮度信息匹配补光与曝光参数包括以下内容：基于设置在车内的光线传感器，从感知模块获取触发相机拍照时的车内亮度信息；若从感知模块未获取到触发相机拍照时的车内亮度信息，则不跳过相机原有预曝光流程；若从感知模块获取到触发相机拍照时的车内亮度信息，则跳过相机预曝光流程，将感知模块获取到的车内亮度信息输入给屏幕补光与曝光模块，匹配对应补光亮度与曝光参数；基于人脸信息匹配补光模版包括以下内容：基于车内设置的TOF传感器和图像传感器，从感知模块获取人脸深度和人脸关键点信息；若从感知模块未获取到人脸深度和人脸关键点信息，则跳过补光模板匹配流程；若从感知模块获取到人脸深度和人脸关键点信息，且人脸数量＞1时，则跳过补光模板匹配流程；若从感知模块获取到人脸深度和人脸关键点信息，且人脸数量=1时，则不跳过补光模板匹配流程，根据面部五官及轮廓的人脸关键点信息，识别面部特征，选用对应特征的补光模板进行补光；基于距离信息调整曝光参数包括以下内容：基于车内设置的距离传感器，从感知模块获取触发相机拍照时的人脸与屏幕信息；若从感知模块未获取触发相机拍照时的人脸与屏幕信息，则跳过调整曝光参数流程；若从感知模块获取触发相机拍照时的人脸与屏幕信息，则不跳过曝光参数流程，根据人脸距离，按照以下方式调整曝光参数：人脸距离≤20cm时，曝光补偿值-3EV，防止人脸过曝；20cm＜人脸距离＜40cm时，曝光补偿值-1EV，防止人脸过曝；40cm＜人脸距离＜60cm时，曝光补偿值不变；60cm＜人脸距离＜80cm时，曝光补偿值加＋1EV，防止人脸过暗；80cm＜人脸距离＜100cm时，曝光补偿值加＋3EV，防止人脸过暗；100cm≤人脸距离时，曝光补偿值加＋4EV；基于色彩信息调整色彩参数包括以下内容：基于车内域控制器，从感知模块获取触发拍照时的车内色彩倾向信息，车内色彩倾向信息包括氛围灯、顶灯和车窗玻璃颜色；若从感知模块未获取触发拍照时的车内色彩倾向信息，则跳过调整色彩参数流程；若从感知模块获取触发拍照时的车内色彩倾向信息，则不跳过调整色彩参数流程，根据色彩倾向信息，选择色彩参数模板，色彩参数模板包括人脸AWB参数、灯AWB参数以及全局AWB参数；基于多模态信息推荐美化效果包括以下内容：基于车内多模态信息，从感知模块获取触发拍照时的场景信息；若从感知模块未获取触发拍照时的场景信息，则跳过推荐美化效果流程；若从感知模块获取到触发拍照时的场景信息，则不跳过推荐美化效果流程；所述美化效果指用于提升拍照氛围的滤镜、贴纸、裁剪和背景音乐的素材；S103，执行流程，执行模块根据决策模块所匹配的拍照方案，自动调节拍摄参数以及拍照素材，实现智能拍照。

全文数据：

权利要求：

百度查询： 润芯微科技(江苏)有限公司 一种基于车内多模态识别技术的智能拍照方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD