申请/专利权人：深圳大学

申请日：2021-01-27

公开（公告）日：2024-03-22

公开（公告）号：CN112836120B

主分类号：G06F16/9535

分类号：G06F16/9535;G06F16/735;G06F16/783;G06F16/36;G06F40/253;G06F40/295;G06F40/30;G06F18/22;G06N3/045;G06N3/0464;G06N3/042;G06N3/0442;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.06.11#实质审查的生效;2021.05.25#公开

摘要：本发明公开了一种基于多模态知识图谱的电影推荐方法、系统及终端，所述方法包括：根据单模态特征获取电影图片和文本信息，抽取电影图片和文本信息中的实体、属性和关系，得到知识本体后与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；利用长短期记忆网络模型学习嵌入向量输出表示实体和关系的聚合路径；利用全连接层将聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。本发明提高了电影推荐的全面性和准确率。

主权项：1.一种基于多模态知识图谱的电影推荐方法，其特征在于，所述基于多模态知识图谱的电影推荐方法包括：接收单模态特征的输入，根据所述单模态特征获取电影图片和文本信息，抽取所述电影图片和所述文本信息中的实体、属性和关系；将所抽取的实体、属性和关系进行知识获取得到知识本体后，与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；根据实体和路径的关系，通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；利用长短期记忆网络模型学习所述嵌入层输入的嵌入向量，输出表示实体和关系的聚合路径；所述利用长短期记忆网络模型学习所述嵌入层输入的嵌入向量，输出表示实体和关系的聚合路径，具体包括：将多模态知识图谱利用TransR采用分布式方法为实体和关系分别创造结构化的表示，将每个三元组实例中的关系relation看做从头实体head到实体tail的翻译，通过不断调整head的向量e、relation的向量r和tail的向量e′，使e+r≈e′；对于每一类关系，包括一个向量r来描述自身，还包括一个映射矩阵Mr来描述关系所处的关系空间；通过约束对实体和关系建模，映射到相同的向量空间中，获得向量表示；将每个路径pk中的实体向量el表示为el∈Md，d表示embedding的维度，关系向量rl表示为rl∈Md，得到一组路径的向量表示[e1，r1.....el-1，rl-1，el，rl]，其中，el-1为多跳路径上与el相连的前级实体，当el-1表示头实体时，el表示尾实体；在l-1步，LSTM层输出隐含向量[e1，r1...el-1，rl-1]，即hl-1，当前层输入向量xl-1表示为表示合并，输入向量具有上一步实体之间的语义信息以及实体之间的关联关系，学习到下一步输出的隐含信息表示，LSTM中的遗忘门表示为fl＝σwfxl+ufhl-1+bf，功能是控制输入xl-1和上一层隐藏层输出hl-1被遗忘的大小程度；输入门表示为il＝σwixl+uihl+bi，功能是控制输入xl-1和将当前计算的状态更新到记忆单元的程度大小；内部记忆单元表示为cl′＝Tanhwcxl+uchl-1+bc，状态记忆向量为当前状态的内部表征，输出门ol＝σwoxl+uohl-1+bo，当前隐藏层输出状态hl＝olTanhcl，在长短期记忆网络模型中，每个部分单独共用一套参数，u和w为映射系数，b为偏差，hi表示当前隐藏层的输出，为元素的向量乘积，σ表示激活函数，hl表示最终输出包含全部路径的pk；利用两个全连接层将所述聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。

全文数据：

权利要求：

百度查询： 深圳大学 一种基于多模态知识图谱的电影推荐方法、系统及终端

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD