申请/专利权人：长春工业大学

申请日：2023-08-17

公开（公告）日：2024-01-12

公开（公告）号：CN117392797A

主分类号：G08B13/196

分类号：G08B13/196;G08B21/18;G08B13/16;G08B15/00;G10L25/63;G10L15/26;G10L25/51;G10L25/30

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.01.30#实质审查的生效;2024.01.12#公开

摘要：本发明涉及了一种基于表情识别和语音情感识别的车外预警防偷盗终端，包括：通过人脸图像识别模块对车周进行人脸识别，若识别结果为非授权用户，预警等级升高。随后通过语音情感识别模块对非授权用户的音频信息进行分析，若监测到犯罪相关词句，终端通过数据传输模块（GSM）提示车主、车辆发出警报驱离并报警。若没有监测到犯罪相关语句，表情识别模块对非授权用户进行表情分析，又通过车身传感器检测车身是否受损，若车身受损，立刻发出警报驱离，联系车主，并报警。若车身完好，将表情分析结果和语音情感分析结果进行统合，统合结果若属于预警范围，提高预警等级。预警等级提升后，终端持续保持监测状态，若非授权用户在车周停留超过五分钟，发出警报驱离，超过十分钟，通过数据传输模块联系车主，并再次警报驱离，等待车主。本发明在车外防盗领域引入了表情识别和语音情感识别，能够通过表情和语音情绪快速分析出车辆周身陌生人员意图，筛检出犯罪人员，更好的保护车辆安全，填补车外防盗领域空缺。

主权项：1.一种基于表情识别和语音情感识别的车外预警防偷盗终端，包括：人脸图像识别模块、语音情感识别模块、表情识别模块、数据传输模块（GSM）、车身传感器模块；人脸图像识别模块通过全景摄像头采集人脸图像，进行人脸识别；语音情感识别模块通过麦克风采集音频信息，麦克风为算法模型提供输入数据，进而实现语音情感识别；表情识别模块通过全景摄像头采集人脸图像信息，全景摄像头为算法模型提供输入数据，进而实现情识别；数据传输模块（GSM）为车主提供警报信息，并在危急时刻报警；车身传感器模块检测车辆是否破损；音响进行警报，驱离不轨人员；该设计终端创新在能够快速识别出车辆四周陌生人意图，分析出是否对车辆安全具有威胁，更有效保护车主财产对车外预警防盗领域填补空缺；具体如下：步骤一：在车辆静止状态中，使用全景摄像头获取人脸图像，通过人脸图像识别模块进行车周人脸识别：（1）若人脸识别结果对应人脸是授权用户，无预警；（2）若人脸识别结果对应人脸为非授权用户，提高预警等级的同时获取车辆四周的人脸图像信息和音频信息：（a）若采集到的音频信息包含犯罪和偷盗相关关键词，立刻发出警报，联系车主，并报警；（b）若采集到的音频信息不包含犯罪和偷盗相关关键词，将音频信息和人脸图像输入到已经训练好的语音情感识别模型与表情识别模型中；步骤二：（1）对采集到的音频信息进行预处理，如去除噪音、音频增益等，提高后续步骤的准确性；从预处理之后的音频数据中提取语音特征，包括声谱图和梅尔频率倒谱系数（MFCC）；然后将提取的语音特征送入融合多头注意力机制的并行混合模型中进一步提取更深层的特征，并行混合模型由CNN-BiLSTM与多头注意力机制组成，通过上下两个分支分别提取完特征后再进行拼接；最后利用带有联合损失函数的全连接层完成分类，得到最终的分类结果；（2）对采集到的人脸图像进行预处理，人脸表情，使用全景摄像头采集包含人脸的视频帧数据输入到表情识别模块中，对图像进行裁剪、调整大小、对齐旋转、灰度化等预处理，以便提高后续步骤的效率和准确性；在预处理后的图像中，使用人脸检测算法YOLO5定位人脸的位置，从检测到的人脸区域中，提取关键的人脸特征；这些特征是眼睛、鼻子、嘴巴五个关键点的位置；其中表情识别模型为了精确提取面部表情特征，融合了卷积注意力机制CBAM，以重构网络中间的特征图，目的是突出重要特征，抑制其他一般特征，进而提升模型对有用特征的抽取能力；其次，使用带参数的线性修正单元激活函数PReLU替代原有的ReLU函数，在提高网络模型表达能力的同时避免出现在负值区域的函数的梯度变为0，最后利用改进ResNet得出表情识别分类结果；步骤三：当语音情感识别和表情识别进程完成后，车身传感器若监测到非授权用户破坏车身，发出警报驱离，通过数据传输模块（GSM）联系车主并立刻报警；若车身传感器没有监测到车身损毁，进行下一进程；步骤四：终端对两者识别结果进行统合分类，语音识别的结果分别为高兴、伤心、害怕、愤怒、厌恶、平静和轻蔑；表情识别结果为高兴、伤心、害怕、愤怒、厌恶、惊讶和轻蔑；当两组识别统合结果属于预警范围：a.声音害怕和表情害怕、b.声音愤怒和表情愤怒、c.声音平静和表情轻蔑、d.声音高兴和表情高兴、e.声音厌恶和表情厌恶、f.声音生气和表情愤怒、g.声音厌恶和表情轻蔑；即统合结果为a到f中任意一种，预警等级上升；若不是，无预警；步骤五：预警等级上升后对人脸图像信息持续监测，当停留超过五分钟时，车辆通过音响发出警报驱离；预警等级上升后对人脸图像信息持续监测，当停留超过十分钟时，通过数据传输模块（GSM）联系车主，车辆通过音响再次发出警报驱离。

全文数据：

权利要求：

百度查询： 长春工业大学 一种基于表情识别和语音情感识别的车外预警防偷盗终端

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD