申请/专利权人：江苏清微智能科技有限公司

申请日：2020-10-10

公开（公告）日：2024-04-12

公开（公告）号：CN112712099B

主分类号：G06F18/2415

分类号：G06F18/2415;G06F18/214;G10L15/22

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2024.01.26#著录事项变更;2021.05.14#实质审查的生效;2021.04.27#公开

摘要：本发明公开一种基于双层知识蒸馏说话人模型压缩系统和方法，属于立体匹配算法的实现方式技术领域。包括：Embedding层知识蒸馏指导学生网络模仿教师网络的段级说话人表示说话人表征，它捕获了每个说话人特征的基本分布。Logit层知识蒸馏引导学生网络模仿教师网络的说话人后验概率分布，利用了说话人类别之间的相似性。此方法从教师网络那里迁移了说话人表征分布的层次结构。本发明解决了现有技术中学生网络不能实现较小的说话人类内差异和较大的说话人类间差异，且相同说话人和不同说话人验证系统的准确性较低的问题。

主权项：1.一种基于双层知识蒸馏说话人模型压缩方法，其特征在于，包括：S101，训练一个教师模型，所述教师模型能够提取教师网络学习的说话人表征，所述教师模型能够预测教师网络学习的说话人后验概率分布；S102，所述教师模型包括一个教师网络，所述教师网络包括表征层和后验概率层；S103，通过知识蒸馏，利用所述教师模型对学生模型进行训练；所述学生模型包括一个学生网络，所述学生模型能够提取学生网络学习的说话人表征；S104，所述双层知识蒸馏能够从所述教师网络中同时提取表征层和后验概率层的知识；S105，通过所述教师网络学习的说话人表征进行表征层知识蒸馏；S106，所述表征层知识蒸馏指导学生网络模仿教师网络的说话人表征；S107，通过所述教师网络学习的说话人后验概率分布进行后验概率层知识蒸馏；S108，所述后验概率层知识蒸馏通过说话人类别之间的相似性引导学生网络模仿教师网络的说话人后验概率分布；S109，所述双层知识蒸馏能够将所述学生网络和所述教师网络之间的表征层和后验概率层输出的差异添加到总分类损失中；S110，所述双层蒸馏能够得到说话人类内表征的分布和类间表征的相似性；通过说话人表征的层次化分布指导学生实现较小的说话人类内差异和较大的说话人类间差异，从而最终提高说话人建模的准确性。

全文数据：

权利要求：

百度查询： 江苏清微智能科技有限公司 一种基于双层知识蒸馏说话人模型压缩系统和方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD