申请/专利权人：天津大学青岛海洋技术研究院

申请日：2018-11-15

公开（公告）日：2023-08-15

公开（公告）号：CN111260602B

主分类号：G06T7/00

分类号：G06T7/00;G06V10/46

优先权：

专利状态码：有效-授权

法律状态：2023.08.15#授权;2020.07.03#实质审查的生效;2020.06.09#公开

摘要：用于SSI的超声图像分析方法，提出了两种图像特征提取的新方法：核主成分分析KPCA和叠加降噪自动编码器SAD，该技术能够很好的描述像素间的相关性，有利于捕捉到超声图像舌头运动的主要信息，核主成分分析方法能够将输入空间不可线性拟合的数据变换到高维特征空间实现线性拟合，这样在低维空间就能够拟合非线性的数据，大大简化了计算量；叠加降噪自动编码器具有非线性映射能力，具有高度的自适应的能力，并且具有一定的容错能力。

主权项：1.用于SSI的超声图像分析方法，其特征在于：具体方案实施步骤如下：步骤一：数据采集：数据采集系统分为超声采集系统、视频采集系统和音频采集系统；步骤二：数据同步处理：将两个系统采集到的数据进行同步处理，即超声与音频的同步，视频与音频的同步；在采集超声图像时，会记录超声图像的信息，即每张超声图像的系统时间、序列号以及音频流的每帧的时间，利用超声图像的序列号信息进行判断是否有超声图像丢失的情况；系统采集音频数据时，将音频按照每帧来保存到硬盘；当每帧的时长到了的时候，系统访问图像采集的线程，获取并记录当前图像的序列号，利用该信息验证每一组数据流之间的同步性；在视频采集系统采集说话者的音频时，该系统每隔20ms记录当前音频的系统时间，并存在文本文档中；在视频采集系统采集的说话者的嘴唇图像流时，该系统记录每张图像的系统时间，并存到文本文档中，通过音频的系统时间找对应的系统时间的嘴唇图像，从而达到视频采集系统中视频与音频的同步；步骤三：超声图像特征提取：分别使用主成分分析法PCA、核主成分分析法KPCA和叠加降噪自动编码器SDA提取超声图像特征；主成分分析用于超声图像的操作步骤：1获取M张超声图像，在此过程中，超声图像大小必须相同；2将每张超声图像通过按行排列像素点表示成向量；3通过计算舌头超声图像向量平均值，计算公式如1所示： 4将每个超声图像向量减去平均值，计算公式如2所示： 5计算协方差矩阵C,计算公式如3所示： 其中6计算协方差矩阵C特征值和特征向量，这里特征值的大小表示了超声图像投影到新的空间的方差大小，选取数据投影到新的空间得到方差大的方向作为投影方向；7选取需要降低到的数据维数，保留个最大的特征值对应的特征向量，这个特征向量构成的矩阵我们称为特征舌；8将超声图像序列投影到特征舌对应的特征空间中，并计算一阶差分和二阶差分组成新的特征作为最终的训练特征；核主成分分析用于超声图像的操作步骤：1获取超声图像，超声图像的大小必须相同；2将每张超声图像重新表示成向量；3通过计算舌头超声图像的平均值，计算公式如4所示： 4对每张超声图像转换成的向量减去舌头超声图像的平均值，计算公式如5所示： 5计算特征空间中的协方差矩阵C,计算公式如6所示： 6计算特征空间的特征值和特征向量；7计算测试样本在特征向量空间的投影，计算公式如7所示： 8将超声图像序列投影到核函数对应的特征空间中，并计算一阶差分和二阶差分组成新的特征作为最终的训练特征；使用叠加降噪自动编码器用于超声图像的操作步骤：1获取超声图像，超声图像的大小必须相同；2将每张超声图像重新表示成向量；3将向量组成矩阵，其中；4将矩阵除以255，因为叠加降噪自动编码器的输入需要满足在0～1之间；5设计叠加自动编码器的结构；6将训练好的神经网络序列化，保存叠加降噪自动编码器的权值矩阵，偏置矩阵信息；7使用保存好的神经网络将数据降维，获取隐藏层的计算结果，计算一阶差分和二阶差分组成新的特征作为最终的训练特征；步骤四：使用隐马尔科夫模型进行连续语音识别：1设计语料库：该语料库有1000句中文句子组成，主要是根据音素平衡来设计的，使得在训练每个音素的HMM模型时更为有效；2设计字典：将所有的中文语料转化为拼音，字典是以词为单位进行设计的，以词为单位可以保证后期的识别率较高；3使用宾夕法尼亚标注软件进行语音标注：将录制好的数据进行同步处理后，取出数据中的音频部分以及音频对应的文本文件，使用宾夕法尼亚标注软件进行音频标注，标注后生成对应的TextGrid文件；4特征转化为mfcc参数：从舌头的超声提取出的特征后，计算该特征的一阶差分和二阶差分，将其拼接后作为新特征进行训练HMM模型，将该特征转化为mfcc参数；5在设计好字典，标注好音频数据，准备好mfcc数据后，最后进行HMM模型训练。

全文数据：

权利要求：

百度查询： 天津大学青岛海洋技术研究院 用于SSI的超声图像分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD