申请/专利权人：汉华智能科技(佛山)有限公司

申请日：2022-08-15

公开（公告）日：2023-04-18

公开（公告）号：CN115097946B

主分类号：G06F3/01

分类号：G06F3/01;G06F3/16;G06N3/0442;G06N3/0464;G06N3/045;G06F3/0484;G06T7/55;G06T7/70;G06T7/80;G06T17/00;G06T19/00;G06V40/10;G06V10/82;G06V40/20;A47G33/00;H04N9/31;H04L67/12

优先权：

专利状态码：有效-授权

法律状态：2023.04.18#授权;2022.10.14#实质审查的生效;2022.09.23#公开

摘要：本发明公开的一种基于物联网的远程祭拜方法、系统及存储介质，包括：通过电子祭祀设备获取墓碑的二维图像信息，根据所述二维图像信息进行三维重建构建墓碑三维模型；根据季节信息及地域信息选取预设场景，将所述墓碑三维模型结合预设场景生成目标用户与墓碑的交互场景；将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别；通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示。本发明通过虚拟交互进行远程祭拜，实现祭祀者的身临其境，满足心理需求，同时使得祭祀活动环保便捷。

主权项：1.一种基于物联网的远程祭拜方法，其特征在于，包括以下步骤：通过电子祭祀设备获取墓碑的二维图像信息，根据所述二维图像信息进行三维重建构建墓碑三维模型；根据季节信息及地域信息选取预设场景，将所述墓碑三维模型结合预设场景生成目标用户与墓碑的交互场景；将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别；通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示；将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别，具体为：获取逝者生前的声纹信息及视频图像信息，将所述声纹信息及视频图像信息导入交互场景，将逝者生前图像在交互场景中进行投影，并预设语音及动作指令；获取目标用户在交互场景中的视频流，通过时序提取帧图像数据选取关键帧，根据关键帧提取目标用户的骨架数据，根据骨架数据构成骨架动作序列，进行目标用户动作识别生成动作信息；将预设动作信息与预设语音及动作指令相匹配，判断目标用户的动作信息与预设动作信息的相似度，根据所述相似度提取预设动作对应的语音及动作指令；获取目标用户的语音信号，根据所述语音信号判断目标用户的情绪信息，并通过情绪信息生成情绪标签，将所述语音信号进行识别转换为文字字符串的文本信息，根据文本信息生成语料信息并赋予情绪标签生成语义信息；构建语义识别模型，通过预设语音及动作指令对应的语料信息及预设数量的情绪标签对语义识别模型进行初始化训练，将所述语义信息输入训练好的语义识别模型进行识别分类，获取对应的语音及动作指令；还包括：根据目标用户的语音信号实时判断祭拜对象的实时情绪变化，生成目标用户的情绪变化曲线；根据目标用户历史祭拜的祭拜时长及情绪变化情况确定目标用户的情绪变化基线，并获取情绪变化基线中情绪突变点处目标用户的动作信息及语义信息；将目标用户的情绪变化曲线与所述情绪变化基线进行对比，判断目标用户情绪变化趋势；根据情绪变化基线中情绪突变点处目标用户的动作信息及语义信息选取目标用户情绪变化曲线的情绪关键点，计算目标用户情绪变化曲线的情绪关键点与所述情绪突变点的差值；根据所述变化趋势及所述差值判断目标用户是否出现情绪过激情况，若出现，则在交互场景中生成提醒信息并暂停祭拜交互；通过电子祭祀设备的双目系统判断墓碑是否需要维护，具体为：通过预设周期通过双目系统分别采集墓碑的图像信息，对采集到的图像信息畸变校正及预处理，提取感兴趣区域；获取感兴趣区域的颜色特征及纹理特征，获取墓碑缺陷的样本数据集，根据样本数据集划分训练集及测试集；基于Tensorflow框架构建缺陷检测模型，通过训练集及测试集进行分类器的训练，将所述颜色特征及纹理特征输入缺陷检测模型，判断墓碑是否存在缺陷，若存在，则生成提醒信息；将所述提醒信息按照预设方式发送给管理人员，目标用户通过双目系统检查墓碑维护结果，并按照需求调整检测周期。

全文数据：

权利要求：

百度查询： 汉华智能科技(佛山)有限公司 基于物联网的远程祭拜方法、系统及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD