申请/专利权人：南京大学;南京鼓楼医院

申请日：2022-11-30

公开（公告）日：2023-04-25

公开（公告）号：CN116011559A

主分类号：G06N3/096

分类号：G06N3/096;G06N3/091;G06N3/0895;G06N3/084;G06N3/045;G06F16/35;G06F40/205;G16H10/60;G16H50/70;G16H50/20

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.05.12#实质审查的生效;2023.04.25#公开

摘要：本发明公开了基于伪单词序列生成的病例分类的零样本蒸馏系统及方法，包括：模型分离模块，将教师模型分割成词嵌入层和剩余的编码层；多元正态分布生成模块，利用训练好的教师模型的网络权重计算多元正态分布系数；伪样本生成模块，利用生成的多元正态分布、分割后的教师模型编码层和教师模型词嵌入层生成词嵌入向量样本；蒸馏模块，利用生成的词嵌入向量生成样本，进行知识蒸馏，从而将教师模型的知识转移到学生模型中。本发明能够让使得没有真实数据的情境下，可以通过已经训练好的模型转移其知识给新的轻量化模型，并且直接生成词嵌入向量样本，并用其执行蒸馏过程，保证了伪样本生成和蒸馏的有效性，可以在没有数据的现实情况下蒸馏得到适用于同一领域数据预测的轻量化新模型。

主权项：1.基于伪单词序列生成的病例分类的零样本蒸馏系统及方法，其特征在于，包括：模型分离模块；多元正态分布生成模块；伪样本生成模块；蒸馏模块；所述模型分离模块，将教师模型分割成词嵌入层和剩余的编码层，并对公开病例数据集进行分句处理；所述多元正态分布生成模块包括：多元正态分布系数计算模块、模拟标签分布采样计算模块；所述多元正态分布系数计算模块，根据训练好的教师模型的pooler层权重计算多元正态分布的相关系数矩阵，并且设置多元正态分布方差矩阵为对角线矩阵，计算得到协方差矩阵，计算类多元正态分布系数，得到对应的多元正态分布；所述模拟标签分布采样模块，对得到的多元正态分布进行随机采样，并且对采样得到的样本进行softmax计算；所述伪样本生成模块包括：伪样本标签生成模块、多元正态分布采样监督优化模块；所述伪样本标签分布生成模块，从设定的最小值和设定的最大值之间进行均匀分布采样，用得到的样本代替Bert词表中的单词索引输入到教师模型的词嵌入层得到词嵌入向量，再将其输入到教师模型中得到伪样本标签分布；所述多元正态分布采样监督优化模块，将多元正态分布采样做伪样本标签分布的监督信息，优化教师模型分割出来的词嵌入层，直到得到符合要求的词嵌入向量，并且重新初始化词嵌入层；所述蒸馏模块包括：词嵌入空间一致性训练模块、知识转移模块；所述词嵌入空间一致性训练模块，将教师模型词嵌入向量与学生模型词嵌入向量经过线性层转换后处于同一空间内；所述知识转移模块，将生成的词嵌入向量分别输入教师模型，以及学生模型的线性层，转化为设定维度的词嵌入向量，得到教师模型和学生模型输出的标签分布，将其对齐，从而把教师模型的知识迁移到轻量化的学生模型当中。

全文数据：

权利要求：

百度查询： 南京大学;南京鼓楼医院 基于伪单词序列生成的病例分类的零样本蒸馏系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD