申请/专利权人：南京大学

申请日：2021-10-27

公开（公告）日：2024-03-22

公开（公告）号：CN113822228B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/774;G06V10/764;G06N5/02;G06N20/00

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2022.01.07#实质审查的生效;2021.12.21#公开

摘要：本发明公开一种基于持续学习的用户表情识别方法和系统，包括数据采集步骤，持续学习步骤和用户表情测试步骤；首先收集不同种类的用户表情，包括特征数据和特征的标记数据；然后利用当前用户表情种类训练一个模型；在学习用户新种类表情时采用最优输运技术建立以往表情和新类表情的映射关系，以重用以往的模型；最后利用新收集到的用户表情更新已有模型。本发明可以解决用户新旧表情无法同时获得，以及只能利用已有模型和新的用户表情建立一个新模型的难点，并且本发明实施过程中占用资源少，适用性强。

主权项：1.一种基于持续学习的用户表情识别方法，其特征在于，包括如下内容：数据收集：收集用户表情信息的特征数据和对应表情标记；持续学习：采用知识蒸馏技术和最优输运技术完成模型持续学习；用户表情识别预测：在用户新收集到的表情数据上建立一个新的模型；利用建立好的模型对用户表情进行分类；所述数据收集的实现包括如下步骤：步骤100，收集设备中当前存储的用户表情数据，记为目前已有的旧类别表情数据；步骤101，收集设备中用户的旧表情数据的对应标记；步骤102，在与步骤100中的用户表情数据的不同场景下，收集设备中用户在这个新场景下的表情数据，记为新类别表情数据；步骤103，收集设备中用户在新场景下的新类别表情数据的对应标记；所述持续学习的实现包括如下步骤：步骤200，利用旧类别表情的样本训练一个分类模型M0，分类模型M0输入是旧类别表情数据，输出是表情种类分类；步骤201，通过新类别表情数据和旧类别表情数据间的匹配信息表示得到新类别表情数据和旧类别表情数据之间的输运距离矩阵，新类别表情数据的特征之间和旧类别表情数据的特征之间采用均匀分布，新类别表情数据的特征简称新特征，旧类别表情数据的特征称为旧特征，利用最优输运算法，学习一个从新特征到旧特征的最优输运矩阵T；步骤202，使用最优输运矩阵T对分类模型M0进行转换得到适用于新场景下的先验模型M1，设分类模型M0的参数为[Wa]，其中[Wa]是旧类别表情数据对应的特有特征的权重，使用转换矩阵得到先验模型M1全连接层的参数为[Wa,TWa]，TWa表示T和Wa的矩阵乘法；步骤203，基于知识蒸馏损失函数和交叉熵损失函数，仅利用新采集到的用户表情信息更新分类器先验模型M1；步骤204，重新计算从新特征到旧特征的最优输运矩阵T，利用知识蒸馏损失函数建立用户的旧表情识别用分类模型M0到新表情识别用先验模型M1和新表情识别用先验模型M1到旧表情识别用分类模型M0的映射关系。

全文数据：

权利要求：

百度查询： 南京大学 一种基于持续学习的用户表情识别方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD