申请/专利权人：中科苏州智能计算技术研究院

申请日：2020-09-14

公开（公告）日：2024-03-22

公开（公告）号：CN112115264B

主分类号：G06F16/35

分类号：G06F16/35;G06N20/00

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.08.17#著录事项变更;2021.01.08#实质审查的生效;2020.12.22#公开

摘要：本发明揭示了一种面向数据分布变化的文本分类模型调整方法，能够根据数据分布情况的变化，先对在线文本数据流进行标签预测，而后通过相似度计算和价值筛选，分类进行人工标注，采用对抗的训练样本数据集分别迭代训练判别网络，动态地对已训练好的识别网络模型进行调整和更新，使得离线模型自适应在线系统数据特征发生变化的情况；同时针对完全手动标注样本困难的情况提供一种有效的半自动化标注数据方法，对于文本分类技术的实际应用效果具有积极作用。

主权项：1.面向数据分布变化的文本分类模型调整方法，其特征在于包括步骤：S1、构建识别网络，由带标签数据训练识别网络，用于在线文本数据的分类，获得每条文本数据的预测类别；S2、将识别网络的分类结果，通过相似度计算聚成不同的样本子集，比对样本子集与原有训练样本的分布情况，进行主动样本选择和训练样本积累；S3、构建判别网络，用手动标注后的真实标签数据和识别网络分类后未标注的预测标签数据训练判别网络，用于判断输入的“样本-标签”数据是预测标签还是真实标签；S4、从训练样本集中选取真实标签的数据生成格式为“样本-真实标签”的正样本数据集，从识别网络的分类结果中选取预测标签的数据生成格式为“样本-预测标签”的负样本数据集，基于正样本数据集、负样本数据集采用增量迭代训练判别网络，并更新在线系统的判别网络模型；S5、判别网络计算奖励值，从识别网络的分类结果中选取m条数据转换为“样本-预测标签”格式，并输入判别网络中判断m条数据预测标签与真实标签的相似度，作为识别网络预测分类的奖励值，m为对应识别网络更新自定义的分类结果数量；识别网络根据判别网络返回的奖励值计算预期奖励的梯度，并通过策略梯度的方式更新识别网络的模型参数。

全文数据：

权利要求：

百度查询： 中科苏州智能计算技术研究院 面向数据分布变化的文本分类模型调整方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD