福州大学陈羽中获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉福州大学申请的专利多行为多对比视图的序列推荐方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116776002B 。
龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310794792.3,技术领域涉及:G06F16/9535;该发明授权多行为多对比视图的序列推荐方法及系统是由陈羽中;郑志强;陈子阳设计研发完成,并于2023-06-30向国家知识产权局提交的专利申请。
本多行为多对比视图的序列推荐方法及系统在说明书摘要公布了:本发明涉及一种多行为多对比视图的序列推荐方法及系统,该方法包括以下步骤:步骤A:采集用户在与物品交互下产生的多行为数据,构建多行为多视图训练集;步骤B:使用训练集训练用于序列推荐的深度学习网络模型,所述深度学习网络模型利用图信息的全局性和序列信息的个体性进行相互补充增强,同时对图数据进行数据增强以进行对比学习,以学习到更加鲁棒的表征,对序列数据进行数据增强以进行对比学习,以解决序列稀疏问题,进一步提高图和序列本身的表征能力;步骤C:将用户行为数据依次输入深度学习网络模型中,输出当前用户相应的推荐结果。该方法及系统有利于提高用户推荐结果的满意度。
本发明授权多行为多对比视图的序列推荐方法及系统在权利要求书中公布了:1.多行为多对比视图的序列推荐方法,其特征在于,包括以下步骤: 步骤A:采集用户在与物品交互下产生的多行为数据,构建多行为多视图训练集; 步骤B:使用训练集训练用于序列推荐的深度学习网络模型G,所述深度学习网络模型G利用图信息的全局性和序列信息的个体性进行相互补充增强,同时对图数据进行数据增强以进行对比学习,以学习到更加鲁棒的表征,对序列数据进行数据增强以进行对比学习,以解决序列稀疏问题,进一步提高图和序列本身的表征能力; 步骤C:将用户行为数据依次输入深度学习网络模型G中,输出当前用户相应的推荐结果; 所述步骤B具体包括以下步骤: 步骤B1:将训练集进行处理后根据不同行为进行划分,得到通用行为序列Sc以及特定行为的序列数据Sb和图数据Guv,b; 步骤B2:将步骤B1得到的通用行为序列数据Sc转化为通用行为图数据Guv,c,进行数据增强操作,得到扩展矩阵Muu和Mvv,然后构建相应无行为区分的增强图Guu和Gvv; 步骤B3:将步骤B1得到的通用行为序列数据Sc和特定行为序列数据Sb输入序列网络进行训练,同时进行对比学习操作,得到序列对比损失LSeqCL; 步骤B4:将步骤B2和B1得到的特定行为的图数据Guv,b和无行为区分的增强图数据Guu和Gvv,使用LightGCN进行消息传播,得到各图下的用户与物品的Embedding;然后进行对比学习操作,得到图对比损失LGraphCL; 步骤B5:将步骤B4得到的各图下各个行为的用户与物品Embedding进行注意力融合操作,即图视图的各行为融合后的Embedding;将步骤B3得到的序列下各个行为的用户与物品Embedding进行拼接融合操作,即序列视图的各行为融合后的Embedding; 步骤B6:将步骤B5得到的序列视图和图视图的各行为融合后的Embedding进行对比学习操作,得到跨视图对比损失LCrossCL; 步骤B7:将序列视图和图视图融合后进行训练,当深度学习网络模型产生的损失值小于设定的阈值或达到最大的迭代次数时,终止深度学习模型M的训练; 所述步骤B1具体包括以下步骤: 步骤B11:将训练集针对每个用户的通用行为序列生成相应的数据集,对于用户通用行为数据中的第n条数据,构建前n-1条数据去预测第n条数据的用户序列,每个用户生成MAX_LEN_u条数据,其中MAX_LEN_u表示用户u的最大序列长度; 步骤B12:将步骤B11得到的数据进行清理操作,对于每一个用户生成的数据,把最后一条目标行为时间记为t,接着把t行为之前在目标行为中出现过的物品从辅助行为中删除; 步骤B13:将步骤B12得到的数据按特定行为划分操作,取得各个行为下的序列数据Sb; 步骤B14:将步骤B13得到的序列数据Sb,按照节点分为用户节点与物品节点,在用户有过交互的物品上连边从而构建特定行为区分的图矩阵表示特定行为b下的用户i与物品j的交互矩阵,从而构建特定行为区分的图数据Guv,b; 所述步骤B2具体包括以下步骤: 步骤B21:根据步骤B14将步骤B11得到的数据转化为矩阵表示无行为区分的用户物品视图下用户i与物品j的交互次数,从而构建通用行为的图数据Guv,c; 步骤B22:根据步骤B21得到的矩阵进行矩阵乘法操作,通过Muu=MuvMuvT得到用户与用户的共现矩阵;同理通过Mvv=MuvTMuv得到物品与物品的共现矩阵,从而构建无行为区分的图数据Guu,Gvv; 所述步骤B3具体包括以下步骤: 步骤B31:设某个用户u的历史行为序列为其中B表示B种类型的行为{b1,…,bB};对于每个行为,有物品序列表示用户u特定行为b下的行为序列,目标行为序列表示为通用行为序列表示为将以上物品序列输入序列网络; 步骤B32:设物品Embedding和位置EmbeddingP∈RT×d,其中T是最大序列长度,是物品集合大小,故而给定第i个物品vi,其表征为经过Embedding层转换后,步骤B31输入的序列变为序列的Embedding矩阵 步骤B33:步骤B32得到的物品矩阵输入Transformer层,经过多头注意力: 其中X是输入的Embedding矩阵,W是可学习矩阵,d是Embedding维度,h是注意力头数,此外,对得到的多头注意力MSA进行拼接: MSAX=Concatheadi,head2,…,headhWo 其中Concat是拼接操作,Wo是可学习矩阵;引入非线性并在MSA层之间进行特征转换,采用前馈PFF层: PFFX=FCσFCX,FCX=XW+b 其中,FC是全连接层,σ是sigmoid激活函数,W∈Rd×d,使用Dropout技术、残差连接和层归一化,得到最终输出Embedding: Hl=LayerNormXl-1+MSAXl-1 Xl=LayerNormHl+PFFHl 其中,Hl作为第l层的中间表示,Xl是第l层的最终隐向量;将步骤以上注意力层操作合并称作Trm,序列经过L层Trm得到最终输出: 步骤B34:将步骤B33经过的多层Trm操作标记为SeqEnc,对于每个行为序列计算其Embedding: 其中,us,b表示用户在行为b下的Embedding;同样使用SeqEnc计算通用行为序列: 其中us,c表示用户在通用行为下的Embedding; 步骤B35:将步骤B34得到的目标行为下的用户Embeddingus,t与通用行为下的用户Embeddingus,c进行表征对比: fx,y,z=logσxTy-xTz 其中MLP将和映射到同一空间中的全连接层,表示第i个用户在目标行为下的序列Embedding,表示第i个用户在通用行为下的序列Embedding,表示第j个用户在通用行为下的序列Embedding,σ是sigmoid激活函数,N是用户个数; 所述步骤B4具体包括以下步骤: 步骤B41:利用步骤B14、B22得到的数据Guv,b,Guu,Gvv进行消息传播: 其中,A为邻接矩阵,Dii=∑j=0Aij为对角度矩阵,X是节点Embedding,经过传播后的用户-物品视图节点Embedding记为uuv,b,vuv,b,用户-用户视图节点Embedding记为uuu,物品-物品视图节点Embedding记为vvv,特定行为下的用户-物品视图节点Embedding记为uuv,t,vuv,t; 步骤B42:利用步骤B41得到的三个视图的节点Embedding进行用户对比: 其中,表示第i个用户在用户-物品视图的目标行为下的用户Embedding,表示第i个用户在用户-用户视图下的用户Embedding,表示第j个用户在用户-用户视图下的用户Embedding,N是用户个数; 步骤B43:利用步骤B41得到的三个视图的节点Embedding进行物品对比: 其中,表示第i个物品在用户-物品视图的目标行为下的物品Embedding,表示第i个物品在物品-物品视图下的物品Embedding,表示第j个物品在物品-物品视图下的物品Embedding; 步骤B44:将步骤B42、B43损失相加,得到最后的图对比损失: LGraphCL=LGraphUCL+LGraphICL; 所述步骤B5具体包括以下步骤: 步骤B51:将步骤B34得到的各行为Embedding融合: 其中,us是序列视图的融合Embedding,“||”是拼接操作; 步骤B52:将步骤B41得到的各行为Embedding做拼接操作: 其中ug-t表示除了目标行为外的其他辅助行为下的用户Embedding,u0表示用户-物品视图的原始Embedding,“;”表示Embedding堆叠; 步骤B53:将目标行为下的用户Embedding对步骤B52结果进行如步骤B33的注意力操作: uuv,att=ATTuuv,t,ug-t,ug-t 其中,ATT表示注意力操作,uuv,att是目标行为对辅助行为做注意力的输出Embedding; 步骤B54:将用户-物品视图的原始向量和注意力输出向量拼接,作为最终融合向量: ug=MLPgu0|uuv,att 其中,ug是图视图的融合Embedding; 所述步骤B6中,将步骤B51和步骤B54得到的不同视图Embedding进行对比操作: 其中,表示第i个用户的序列融合Embedding,表示第i个用户的图融合Embedding,表示第j个用户的图融合Embedding; 所述步骤B7具体包括以下步骤: 步骤B71:对两个视图进行拼接融合操作: u=MLPUus|ug,v=MLPVvs|vg 其中,us,ug,vs,vg分别表示序列和图的用户Embedding、序列和图的物品Embedding; 步骤B72:使用BPR损失计算损失值: 其中u表示用户向量,vi表示用户的正样本,vj表示用户的负样本; 步骤B73:通过梯度优化算法Adam对学习率进行更新,利用反向传播迭代更新模型参数,以最小化损失函数来训练模型;模型总损失为上述损失加权相加: L=λoLo+λ1LSeqCL+λ2LGraphCL+λ3LCrossCL 其中,λo,λ1,λ2,λ3为超参数,Lo为主损失,LSeqCL为序列对比损失,LGraphCL为图对比损失,LCrossCL为跨视图对比损失。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人福州大学,其通讯地址为:350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。