申请/专利权人：浙江工业大学

申请日：2020-12-16

公开（公告）日：2024-03-22

公开（公告）号：CN112580783B

主分类号：G06N3/042

分类号：G06N3/042;G06N3/096;G06N3/045;G06N3/084;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.04.16#实质审查的生效;2021.03.30#公开

摘要：一种高维深度学习模型向低维迁移知识的跨维度知识迁移方法，1将n‑1维数据x扩充形成伪n维数据y；2将y输入教师网络，提取n维特征；3将教师网络提取的n维特征在第n维度上求特征的均值；4将x输入学生网络，提取n‑1维特征；5通过损失函数约束，使学生网络的特征输出逼近教师网络的特征输出；6按步骤1～5重复设定次数，直到学生网络的特征输出与教师网络的特征输出相差小于预设阈值；7按照步骤1～6的方法，可迁移到维度n‑2，直到维度m。当只有低维数据或为了提高算法速度只能采用低维数据时，采用本发明可以得到一个低维模型，其中存储了高维模型的知识，且具备了与高维模型相近的特征提取能力。

主权项：1.一种高维深度学习模型向低维迁移知识的跨维度知识迁移方法，其特征在于，n＞m，n和m均是正整数，n维深度模型到m维深度模型的知识迁移包括以下步骤：1将n-1维医疗图像数据x在第n维度上进行复制堆叠N次形成伪n维数据y；2将伪n维数据y输入到选择的教师网络中，所述教师网络为待迁移的高维深度学习模型，由教师网络来提取n维数据的特征；3将教师网络提取的n维数据特征在第n维度上求特征的均值，将求得的均值作为教师网络提取的n-1维特征输出；4将n-1维数据x输入到学生网络中，由学生网络提取n-1维数据的特征，作为学生网络提取的n-1维特征输出；5针对学生网络的特征输出，通过损失函数进行约束限制，使得学生网络的特征输出逼近教师网络的特征输出；6按步骤1～5重复设定次数，直到学生网络的特征输出与教师网络的特征输出相差小于预设阈值，最终的学生网络就是n维教师模型通过跨维度知识迁移完成后的n一1维模型；7按照步骤1～6的方法，然后迁移到维度n-2，直到维度m；通过对n维特征的第n维度上求特征的均值，经过损失函数约束后，可将n维特征降低到n-1维，由此可训练出n-1维的学生网络，且具有与n维模型相近的特征提取能力；所述步骤7中，同理，将训练好的n-1维模型作为教师网络，将n-1维特征在第n-1维度上求特征的均值，经过损失函数约束后，可将n-1维特征降低到n-2维，由此训练出n-2维的学生网络，且具有与n-1维模型相近的特征提取能力，重复上述步骤，直到获得维度m的深度模型，即完成由高维深度模型迁移到目标低维度深度模型的知识迁移。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种高维深度学习模型向低维迁移知识的跨维度知识迁移方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD