申请/专利权人：中国科学技术大学

申请日：2022-04-08

公开（公告）日：2024-03-29

公开（公告）号：CN114676851B

主分类号：G06N20/00

分类号：G06N20/00;G06F16/2457;G06F16/9535

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2022.07.15#实质审查的生效;2022.06.28#公开

摘要：本发明涉及机器学习以及推荐系统领域，公开了一种召回和排序模型的联合训练方法、设备和存储介质。该方法通过依据召回模型的打分重采样高质量负样本训练排序模型，并优化召回和排序模型打分分布的KL散度来增强召回模型，设计出全新的基于采样的KL散度，加速模型收敛，联合训练召回和排序阶段的模型，提升了模型的效果。

主权项：1.一种召回和排序模型的联合训练方法，其特征在于，所述方法包括：物品集合用表示；数据集用表示，每条数据均由二元组c，k构成，其中，c表示某个用户的交互上下文信息，k表示对应的正样本；模型由召回模型Mθ和排序模型Rφ构成，其中，θ和φ分别表示两部分模型的参数；对于一个上下文信息c和一个物品i，Mθi，c表示召回模型基于上下文信息c对物品i的打分；步骤1、对于上下文信息c，首先从某一静态分布Y·中采样一部分物品，组成样本池C，为样本池中每一个物品和正样本k，利用召回模型计算打分M·，c；基于此打分为样本池中每一个物品计算重要性采样的权重，计算公式如下： 根据该权重从采样池中进行有放回的重采样得到一个新的样本池S；步骤2、在步骤1的基础上，利用根据召回模型打分重采样得到的样本作为负样本，使用如下的基于采样的损失函数用于排序模型的参数更新： 其中，Q0k|c表示采样使用的分布；根据步骤1，此处取Q0i|c＝QC∪{k}i|c；步骤3、利用步骤2的损失对召回模型计算损失函数： 同时，将召回模型靠近排序模型的打分分布，用于提升召回模型的效果；步骤4、根据步骤2和步骤3计算得到的两部分模型的损失函数，采用梯度下降法对两模型同时进行梯度回传以及参数迭代更新。

全文数据：

权利要求：

百度查询： 中国科学技术大学 召回和排序模型的联合训练方法、设备和存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD