申请/专利权人：四川师范大学;四川水利职业技术学院

申请日：2022-12-19

公开（公告）日：2024-02-23

公开（公告）号：CN116151226B

主分类号：G06F40/232

分类号：G06F40/232;G06F40/211;G06F40/237;G06F40/30;G06V40/20;G06V20/40

优先权：

专利状态码：有效-授权

法律状态：2024.02.23#授权;2023.06.09#实质审查的生效;2023.05.23#公开

摘要：本发明公开了一种基于机器学习的聋哑人手语纠错方法、设备和介质,通过获取手语肢体语言视频数据，建立手语句法语料库和手语句法检错模型对文本数据错误信息进行检错并纠错，提高手语图像的特征的准确性，通过建立文本数据和手语肢体语言视频数据跨模态的统一表征，对纠错后的文本数据进行跨模态的对抗训练，生成反馈视频数据，消除视频和文本之间存在跨模态异质性鸿沟,能够将存在句法错误的手语视频样本转换成修正后的教学反馈动画，指导聋哑学习者进行自主的手语认知训练，分解聋哑学习者所演示的手语样本，并检测出样本中不符合手语规则的句法错误加以修正反馈，从而提升聋哑人的学习交互体验。

主权项：1.一种基于机器学习的聋哑人手语纠错方法，其特征在于，包括以下具体步骤：S1、获取手语肢体语言视频数据，构建视频时空同步特征编码框架对视频数据进行特征提取，对提取的特征进行翻译，得到文本数据；S2、建立手语句法语料库和手语句法检错模型，根据手语句法语料库对手语句法检错模型进行预训练，通过训练后的手语句法检错模型对文本数据错误信息进行检错，根据手语句法语料库构建句法纠错候选集，对文本数据错误信息进行纠错；所述通过训练后的手语句法检错模型对文本数据错误信息进行检错，具体包括：对训练后的手语句法检错模型中的孤立词进行遮挡，使模型不知道当前位置的孤立词是否符合整体语义，引导训练后的手语句法检错模型依赖上下文信息去预测孤立词，检测出文本数据中存在的错误信息；根据文本数据错误信息，确定待纠错句子嵌入向量和经过手语句法检错模型纠错后的句子输出，在空间维度上对视频进行逐帧的均匀切分；按照切片加位置编码将二维图像转换成包含细粒度区域编码的一维线性序列，预先生成待纠错语句的嵌入向量和每个位置出错的概率，若出错的概率大于设定的阈值，则表示对应位置出错；所述根据手语句法语料库构建句法纠错候选集，对文本数据错误信息进行纠错，具体包括：采用Soft-Masked进行特征融合：将每个位置的出错概率乘以掩码字符的特征作为纠错器的第一部分输入，将未出错概率乘以原始的输入特征作为第二部分输入，将两部分相加作为每个字符的特征；对融合后的特征进行训练：对输入的原始一维序列按设定概率进行随机遮蔽，使模型不知道当前位置的遮蔽词是否为正确的手语孤立词，依赖上下文关联词汇来预测遮蔽词的原始值，通过出错概率对所有候选集进行比较和排序，输出概率最高的候选词进行填补和替换纠错；S3、建立文本数据和手语肢体语言视频数据跨模态的统一表征，将不同模态信息嵌入同一公共向量空间中，构建手语反馈动画生成模型，对纠错后的文本数据进行跨模态的对抗训练，生成反馈视频数据。

全文数据：

权利要求：

百度查询： 四川师范大学;四川水利职业技术学院 一种基于机器学习的聋哑人手语纠错方法、设备和介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD