申请/专利权人：华南理工大学

申请日：2021-09-13

公开（公告）日：2024-04-05

公开（公告）号：CN113887332B

主分类号：G06F18/241

分类号：G06F18/241;G06F18/15;G06F18/2415;G06F18/2431;G06F18/25;G06V40/16;G06V10/764;G06V10/82;G06N3/0464;G06N3/047;G06N3/045;G06N3/08;G06F40/30;G06F40/242

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2022.01.21#实质审查的生效;2022.01.04#公开

摘要：本发明公开了一种基于多模态融合的肌肤作业安全监测方法，该方法包括：获取人脸图像、语音信息以及肌肤操作仪器输出的力数据；构建识别人脸表情的卷积神经网络，将人脸图像输入卷积神经网络的分类器中进行识别，获得第一基本信度赋值函数；对语音信息进行语音识别，获得文本语义，基于情感词典对文本语义进行识别，获得第二基本信度赋值函数；基于控制图对力数据进行状态识别，获得第三基本信度赋值函数；对获得的三个基本信度赋值函数进行融合，获得输出结果。本发明对作业对象的多模态信息进行监测，避免在操作过程中人体受到伤害，同时判别肌肤作业时人体舒适度，为个性化作业操作提供有价值的信息。本发明可广泛应用于安全监测领域。

主权项：1.一种基于多模态融合的肌肤作业安全监测方法，其特征在于，包括以下步骤：获取人脸图像、语音信息以及肌肤操作仪器输出的力数据；构建识别人脸表情的卷积神经网络，将所述人脸图像进行数据增强后输入所述卷积神经网络的分类器中进行识别，获得第一基本信度赋值函数；对所述语音信息进行语音识别，获得文本语义，基于情感词典对所述文本语义进行识别，获得第二基本信度赋值函数；基于控制图对所述力数据进行状态识别，获得第三基本信度赋值函数；对所述第一基本信度赋值函数、所述第二基本信度赋值函数和所述第三基本信度赋值函数进行融合，获得输出结果；其中，将视觉、语音以及力觉这三个模态的识别结果分为n个等级，针对每个模态识别后，获得n个等级的对应的置信度，将所述置信度作为基本信度赋值函数；所述n个等级包括舒适、稍不适、不适以及伤害这四个等级；所述基于控制图对所述力数据进行状态识别，包括：将舒适阈值设为DL，伤害阈值设为UL，且DL＜UL；从力数据中获取连续的m个采样点，若m个采样点中存在一个采样点的数值大于UL，则判定为伤害；若m个采样点的数值都小于DL，则判定为舒适；若m个采样点的数值均大于DL，且小于UL，则判定为不适；若m个采样点中，部分采样的数值小于DL，另一部分采样点的数值大于DL，则判定为稍不适；在每个模态识别后，为了分配规则中避免一票否决，引入不确定度δ；视觉模态中卷积神经网络获得各状态的概率加上不确定度δ作为视觉模态的基本信度赋值函数；语音模态与力觉模态识别状态后的基本信度赋值函数根据预设的规则匹配选取；所述对所述第一基本信度赋值函数、所述第二基本信度赋值函数和所述第三基本信度赋值函数进行融合，包括：采样DSmT理论中的PCR2组合规则，对所述第一基本信度赋值函数、所述第二基本信度赋值函数和所述第三基本信度赋值函数进行融合。

全文数据：

权利要求：

百度查询： 华南理工大学 一种基于多模态融合的肌肤作业安全监测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD