申请/专利权人：中科方寸知微(南京)科技有限公司

申请日：2021-01-19

公开（公告）日：2024-02-20

公开（公告）号：CN112817575B

主分类号：G06F8/30

分类号：G06F8/30;G06V40/20;G06V10/82;G06N3/0442;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.02.20#授权;2021.06.04#实质审查的生效;2021.05.18#公开

摘要：本发明公开了一种基于唇语识别的汇编语言编辑器及识别方法，包括明确变量名，作为关键字存储在指令集中；划分每条指令的动作，寄存器，进行每一条指令数据的采集。采集的数据都是一条语句，在实时测试的时候，需要整段话的输入，所以对数据集需要做一个扩充；使用设计好的网络对数据集进行端对端的训练，得出模型。对一段视频帧进行唇动判断，将每段话中语句划分出来，过滤指令语句前后的空白帧，提取出每条指令帧序列；将每条指令帧序列作为网络的输入，预测出对应的指令，输出到编辑器上，并且模型的预测和指令帧序列的提取可以异步实现，达到实时的效果。相较于语音识别需要在噪音干扰较小环境下才能作用的缺点，在复杂背景下也可以正常工作。

主权项：1.基于唇语识别的汇编语言编辑器，其特征在于，包括：唇语网络模块：用于研究唇语识别网络模型的构造流程，采用时空卷积神经网络、门控循环单元以及联结主义文本分类的混合模型，在使用网络之前需要对数据进行预处理，提取唇部矩形区域并且进行归一化操作；时空卷积神经网络用于提取视频帧序列的特征表示；在此基础上，使用门控循环单元GRU理解提取的特征，最后使用联结主义文本分类损失函数来优化；唇动判断模块：在此过程中，从数据扩充后的视频帧序列中提取每一条有效唇语句子的起始位置和结束位置；首先是数据扩充过程，由于网络模型训练的数据只是一条句子，未考虑到停顿和多条语句的情况，所以先对其进行扩充操作；再对于扩充的数据进行唇动帧判断，最后基于唇动帧的位置逐条语句进行唇动序列的提取；唇读系统模块：在对唇语网络和唇动判断进行研究之后，唇语网络得到的模型和唇动判断子模块连接起来，构成唇读系统；在唇读系统中，唇动判断模块的输出的帧序列在网络模型中预测的结果就是整个唇读系统的输出，扩充后的数据集就是唇读系统的输入；每次唇读系统的输出作为编辑器的一行指令语句。

全文数据：

权利要求：

百度查询： 中科方寸知微(南京)科技有限公司 基于唇语识别的汇编语言编辑器及识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD