申请/专利权人：天津理工大学

申请日：2021-03-15

公开（公告）日：2022-05-13

公开（公告）号：CN113111156B

主分类号：G06F16/332

分类号：G06F16/332;G06F16/33;G06F16/338;G06N3/04;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2022.05.13#授权;2021.07.30#实质审查的生效;2021.07.13#公开

摘要：本发明公开了一种智能听障人士与健全人进行人机交互的系统及其工作方法，包括数据采集设备单元、人机交互终端和人机交互网络单元，通过弯曲传感器与姿态传感器组成的数据采集设备对手部的数据用Arduino控制器进行数据的实时采集，并在云端进行BP神经网络算法学习及手势识别，再通过手机将手势对应的语音进行播报，完成听障人士与健全人的交互，还可通过手机对语音进行识别，将识别的结果无线传输到云端，当云端接收到识别的结果时，对结果进行处理在unity中控制unity中人物模型完成相对应的动画。此系统完成了听障人士与健全人的正常沟通交流，对于人机交互领域，具有非常强的实用性与可研究性。

主权项：1.一种智能听障人士与健全人进行人机交互的方法，其特征在于它包括两种模式，即听障人士与健全人进行交流时的模式A和健全人与听障人士进行交流时的模式B；其中，所述模式A作为听障人士与健全人交流方式，听障人士为表述者，健全人为倾听者；所述模式B作为健全人与听障人士交流方式，健全人为表述者，听障人士为倾听者；所述模式A包括以下步骤：A-1听障人士穿戴数据采集设备单元比划手势，将该手势数据作为神经网络的训练集以构建BP神经网络分类模型；由安装在听障人士手指的弯曲传感器采集听障人士手指的弯曲程度信号，即模拟电压量，发送给控制器模块，与手背和前臂的姿态传感器通过UART进行串口通讯得到的3轴欧拉角数据一起传输给云端即手势数据信号，分别如式1-1和式1-2所示： 其中，Vour是弯曲传感器分到的电压量，Vin是控制器模块的5v输出电压，R1是弯曲传感器的阻值，R2是与R1并联的电阻；a0为弯曲传感器在控制器模块的模拟口输出的模拟电压量，当弯曲传感器的弯曲角度变大，弯曲传感器的阻值将变小，弯曲传感器所分到的模拟电压量则减小，而a0也会变小；A-2将A-1获取到的能够描述听障人士手语动作的手势数据信号通过无线网络传输到云端服务器；A-3云端服务器利用步骤A-1获得的手势数据信号以及该信号所对应的手势含义作为训练集数据并进行训练，从而得到BP神经网络分类模型；以手势数据信号作为BP神经网络分类模型的输入，输出该手势数据信号所对应的手势含义，不断重复该步骤，完成对BP神经网络分类模型的训练；神经网络的训练目标是使网络的输出值能够尽可能接近真实值，所以就可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差值来对每一层的权重矩阵进行调整更新：假如网络的预测值偏高，就调整权重让它预测低一些，假如网络的预测值偏低，就调整权重让它预测高一些，通过不断的调整，直至能够预测出目标值；A-4听障人士戴上数据采集设备单元比划手势，实时采集手势数据信号；将得到的手势数据信号输入至步骤A-3训练好的BP神经网络分类模型，作为其输入信号，由此得到的识别结果即为手势数据信号所对应的手势含义；A-6由云端BP神经网络模块将手势数据信号所对应的手势含义通过无线网络传输到健全人的手机上，此时，健全人的手机会发出与听障人士的手势相对应的语音，完成听障人士与健全人的沟通；所述模式B包括以下步骤：B-1由手机对健全人发出的语音进行识别，并将识别结果对应的听障人士双手的手势数据信号通过无线网络上传到云端服务器；所述步骤B-1中的语音识别功能是直接调用百度语音翻译平台开放的SDK来实现；所述步骤B-1中对应的听障人士双手的手势数据信号是与语音相符合的人体22位数据，其中，前11位数据的前5位代表人体模型右手手指的弯曲角度，后6位分别是人体模型右手腕关节骨骼和右手肘关节骨骼的x、y、z轴空间角度，分别代表云端unity模块中人体模型腕关节骨骼和肘关节骨骼空间角度，它们的角度不同会导致云端unity模块中人体模型的手指手掌和前臂的位置发生变化，后11位数据的前5位代表人体模型左手手指的弯曲角度，后6位分别是人体模型左手腕关节骨骼和右手肘关节骨骼的x、y、z轴空间角度；这22位数据在云端unity模块接收到以后，可以控制云端unity模块中的人体模型做出对应动作；B-2在云端服务器中，根据步骤B-1得到的手势数据信号，由云端unity模块接收到此信号，在云端unity模块中添加C#脚本来控制云端unity模块中的人体模型做出与语音相对应的手势动画，即手势数据信号传到云端unity模块中，C#脚本直接将手势数据信号控制人体模型动作；B-3将步骤B-2中的到的手势动画通过无线网络由云端服务器传送到听障人士的手机上，使听障人士能够根据看到的手势动画实现与健全人的交流。

全文数据：

权利要求：

百度查询： 天津理工大学 一种智能听障人士与健全人进行人机交互的系统及其工作方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD