申请/专利权人：华侨大学

申请日：2021-07-26

公开（公告）日：2024-04-16

公开（公告）号：CN113642420B

主分类号：G06V40/20

分类号：G06V40/20;G06V40/16;G06V10/82;G06V10/44;G06N3/0442;G06N3/082

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.11.30#实质审查的生效;2021.11.12#公开

摘要：本发明提供了一种唇语的识别方法、装置及设备,包括:获取视频数据,并对所述视频数据进行处理,以获得唇部图像序列；对所述图像序列进行双向时序的特征提取，生成所述唇部图像序列的表观特征；调用LSTM模型,对所述表观特征的变化进行镜头转换的边界检测并生成检测结果，根据所述检测结果初始化所述LSTM模型的隐含层和记忆层；提取所述隐含层的编码特征,并根据所述编码特征获取单词预测序列。减少现有的唇语识别算法的复杂度、时间复杂度的同时保持较高的准确率。

主权项：1.一种唇语的识别方法,其特征在于,包括:获取视频数据,并对所述视频数据进行处理,以获得唇部图像序列;对所述图像序列进行双向时序的特征提取，生成所述唇部图像序列的表观特征，具体为：调用三维卷积网络，将预设格式的唇部图像序列作为所述三维卷积网络的输入；获取所述三维卷积网络输出的张量，并对所述张量进行空间维度上自适应平均池化，生成所述表观特征；调用LSTM模型,对所述表观特征的变化进行镜头转换的边界检测并生成检测结果，根据所述检测结果初始化所述LSTM模型的隐含层和记忆层，具体为：将所述表观特征和上一时刻的隐含层进行线性结合后输入至边界检测函数；调用sigmoid函数对所述边界检测函数进行激活,以生成检测结果;根据所述检测结果判断当前视频与前后帧是否处在一个视频片段内;若是，初始化所述LSTM模型的隐含层和记忆层；提取所述隐含层的编码特征,并根据所述编码特征获取单词预测序列，具体地：提取所述隐含层的正向编码特征及反向编码特征；调用注意机制对所述正向编码特征及所述反向编码特征，以获取所述表观特征的特征向量；调用损失函数所述特征向量进行序列解码，以获得所述单词的预测序列；需要说明的是，将正向唇语序列和反向唇语序列的特征经过边界检测之后，每一个LSTM单元都保持着当前的编码信息,将隐含层单元提取出来作为正向编码特征和反向编码特征，之后将采用注意力机制来挑选出具有关键信息的特征；将正向编码之后的特征经过注意力机制，如下： 其中，，，，都是可学习的参数，为相对得分，为注意力权重，为上一时刻的隐含层单元；同样的，将反向编码之后的特征经过注意力机制，如下： 其中，，，，都是可学习的参数，为相对得分，为注意力权重，为上一时刻的隐含层单元。

全文数据：

权利要求：

百度查询： 华侨大学 一种唇语的识别方法、装置及设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD