申请/专利权人：苏州大学

申请日：2019-05-16

公开（公告）日：2023-05-02

公开（公告）号：CN110119479B

主分类号：G06F16/9535

分类号：G06F16/9535;G06F16/958;G06Q10/06;G06Q10/04;G06Q30/02;G06Q50/12;G06N3/04

优先权：

专利状态码：有效-授权

法律状态：2023.05.02#授权;2019.09.06#实质审查的生效;2019.08.13#公开

摘要：本发明公开了一种餐馆推荐方法，该方法包括：获取用户对餐馆的历史评分数据，并利用历史评分数据构建用户餐馆评分矩阵；获取各个待选餐馆的美食图片，利用评分预测模型提取美食图片的视觉特征；其中，视觉特征包括CNN特征和美学特征；利用评分预测模型将用户餐馆评分矩阵中未评分餐馆对应的视觉特征转化为预测评分，获得用户餐馆预测评分矩阵；利用用户餐馆预测评分矩阵向用户推荐感兴趣餐馆。本方法通过结合美食图像的美学特征中隐含的用户偏好和餐馆内容，可向用户推荐满足用户偏好的餐馆，使得餐馆推荐准确率更佳，可提升用户体验。本发明还公开了一种餐馆推荐装置、设备及可读存储介质，具有相应的技术效果。

主权项：1.一种餐馆推荐方法，其特征在于，包括：获取用户对餐馆的历史评分数据，并利用所述历史评分数据构建用户餐馆评分矩阵；获取各个待选餐馆的美食图片，利用评分预测模型提取所述美食图片的视觉特征；其中，所述视觉特征包括CNN特征和美学特征；所述利用评分预测模型提取所述美食图片的视觉特征包括：利用所述评分预测模型中的卷积神经网络提取所述美食图片的所述CNN特征；利用所述评分预测模型中的不同美学属性网络分别提取所述美食图片的不同属性的所述美学特征；所述利用所述评分预测模型中的不同美学属性网络分别提取所述美食图片的不同属性的所述美学特征包括：利用图像场景美学网络提取所述美食图片的图像场景信息；利用图像语义美学网络提取所述美食图片的图像语义信息；利用目标识别美学网络提取所述美食图片的美食目标信息；利用图像情感识别网络提取所述美食图片的美食情感信息；将所述图像场景信息、图像语义信息、美食目标信息和美食情感信息作为所述美学特征；利用所述评分预测模型将所述用户餐馆评分矩阵中未评分餐馆对应的所述视觉特征转化为预测评分，获得用户餐馆预测评分矩阵；其中，所述利用所述评分预测模型将所述用户餐馆评分矩阵中未评分餐馆对应的所述视觉特征转化为预测评分，获得用户餐馆预测评分矩阵包括：利用美学的视觉特征端对端训练方法将所述视觉特征和推荐模型融合到统一的所述评分预测模型中；对所述评分预测模型进行端对端训练，获得所述视觉特征与评分矩阵之间的目标转换函数；利用所述目标转换函数，将所述用户餐馆评分矩阵中未评分餐馆对应的所述视觉特征转换为用户对所述餐馆的评分，获得所述用户餐馆预测评分矩阵；利用所述用户餐馆预测评分矩阵向所述用户推荐感兴趣餐馆。

全文数据：一种餐馆推荐方法、装置、设备及可读存储介质技术领域本发明涉及信息服务技术领域，特别是涉及一种餐馆推荐方法、装置、设备及可读存储介质。背景技术随着移动互联网技术不断发展，网络中的信息量以指数规律迅速扩展和增加，网络上的信息过载和信息迷航问题日益严重。为了给用户提供满意的信息和服务，推荐系统应运而生，成为了众多研究学者关注的研究领域。推荐系统通过预测用户对信息资源的喜好程度来进行信息过滤。根据用户具体需求通过协同过滤算法等技术进行个性化推荐。在众多推荐算法中，协同过滤推荐是迄今为止最为广泛应用的个性化推荐技术。兴趣点推荐作为推荐系统中重要的一个分支，在人们的日常生活中扮演了重要的角色。而餐馆推荐作为兴趣点推荐中独特的一环，餐馆作为一种特殊的兴趣点，其中包含的地理位置、餐馆类别等丰富的内容，通过分析这些内容进行推荐，从而增加用户粘度，提高餐馆的顾客流量。在推荐系统领域，数据稀疏性和冷启动是仍然存在且颇具挑战性的问题。而在餐馆推荐领域，一些研究工作表明在基于内容的推荐中，使用丰富的内容来缓解这两个问题。传统的基于内容的兴趣点推荐系统主要使用了兴趣点类别、兴趣点地理位置和用户对兴趣点的评论等信息。基于此，目前的餐馆推荐仍然存在推荐准确率较低，即推荐效果不显著。也就是说，已有的餐馆推荐方法推荐给用户的餐馆不受用户喜爱等缺点。综上所述，如何有效地提升餐馆推荐准确率等问题，是目前本领域技术人员急需解决的技术问题。发明内容本发明的目的是提供一种餐馆推荐方法、装置、设备及可读存储介质，以结合餐馆的美食图片中的美学特征进行餐馆推荐，可提升餐馆推荐准确率。为解决上述技术问题，本发明提供如下技术方案：一种餐馆推荐方法，包括：获取用户对餐馆的历史评分数据，并利用所述历史评分数据构建用户餐馆评分矩阵；获取各个待选餐馆的美食图片，利用评分预测模型提取所述美食图片的视觉特征；其中，所述视觉特征包括CNN特征和美学特征；利用所述评分预测模型将所述用户餐馆评分矩阵中未评分餐馆对应的所述视觉特征转化为预测评分，获得用户餐馆预测评分矩阵；利用所述用户餐馆预测评分矩阵向所述用户推荐感兴趣餐馆。优选地，所述利用评分预测模型提取所述美食图片的视觉特征，包括：利用所述评分预测模型中的卷积神经网络提取所述美食图片的所述CNN特征；利用所述评分预测模型中的不同美学属性网络分别提取所述美食图片的不同属性的所述美学特征。优选地，利用所述评分预测模型中的不同美学属性网络提取所述美食图片的所述美学特征，包括：利用图像场景美学网络提取所述美食图片的图像场景信息；利用图像语义美学网络提取所述美食图片的图像语义信息；利用目标识别美学网络提取所述美食图片的美食目标信息；利用图像情感识别网络提取所述美食图片的美食情感信息；将所述图像场景信息、图像语义信息、美食目标信息和美食情感信息作为所述美学特征。优选地，在利用所述评分预测模型中的不同美学属性网络提取所述美食图片的所述美学特征之后，还包括：利用OWACNN深度美学网络对所述美食图片进行美学质量评价；将美学质量评价结果添加至所述美学特征中。优选地，利用所述评分预测模型将所述用户餐馆评分矩阵中未评分餐馆对应的所述视觉特征转化为预测评分，获得用户餐馆预测评分矩阵，包括：利用美学的视觉特征端对端训练方法将所述视觉特征和推荐模型融合到统一的所述评分预测模型中；对所述评分预测模型进行端对端训练，获得所述视觉特征与评分矩阵之间的目标转换函数；利用所述目标转换函数，将所述用户餐馆评分矩阵中未评分餐馆对应的所述视觉特征转换为用户对所述餐馆的评分，获得所述用户餐馆预测评分矩阵。优选地，在获得所述目标转换函数之后，还包括：利用负采样方法对所述目标转换函数进行优化。优选地，在利用负采样方法对所述目标转换函数进行优化之后，还包括：对将所述用户餐馆评分矩阵拆分后，获得用户特征矩阵、餐馆特征矩阵和交叉特征矩阵进行更新；锁定所述用户特征矩阵、所述餐馆特征矩阵和所述交叉特征矩阵，并移除与CNN无关的项，在所述目标转换函数上对CNN中可调参的权利集合求偏导，以对所述CNN特征进行微调，并基于微调后的包括所述CNN特征的所述视觉特征对所述用户餐馆评分矩阵中未评分餐馆进行评分预测。一种餐馆推荐装置，包括：历史评分数据获取模块，用于获取用户对餐馆的历史评分数据，并利用所述历史评分数据构建用户餐馆评分矩阵；美食图片处理模块，用于获取各个待选餐馆的美食图片，利用评分预测模型提取所述美食图片的视觉特征；其中，所述视觉特征包括CNN特征和美学特征；评分预测模块，用于利用所述评分预测模型将所述用户餐馆评分矩阵中未评分餐馆对应的所述视觉特征转化为预测评分，获得用户餐馆预测评分矩阵；餐馆推荐模块，用于利用所述用户餐馆预测评分矩阵向所述用户推荐感兴趣餐馆。一种餐馆推荐设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述餐馆推荐方法的步骤。一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述餐馆推荐方法的步骤。应用本发明实施例所提供的方法，获取用户对餐馆的历史评分数据，并利用历史评分数据构建用户餐馆评分矩阵；获取各个待选餐馆的美食图片，利用评分预测模型提取美食图片的视觉特征；其中，视觉特征包括CNN特征和美学特征；利用评分预测模型将用户餐馆评分矩阵中未评分餐馆对应的视觉特征转化为预测评分，获得用户餐馆预测评分矩阵；利用用户餐馆预测评分矩阵向用户推荐感兴趣餐馆。餐馆的美食对应图片蕴含了大量信息，如食物本身的色彩、配料搭配、摆拍、餐馆环境等信息，这些信息不仅能有效帮助剖析该餐馆的内容，还能间接反映出用户个人偏好。基于此，在获取用户对餐馆的历史评分数据，并构建用户餐馆评分矩阵的同时，还获取各个待选餐馆的美食图片。然后，利用评分预测模型提取出美食图片的视觉特征，特别地该视觉特征包括CNN特征和美学特征。然后，利用评分预测模型将用户餐馆评分矩阵中未评分餐馆所对应的视觉特征转化为预测评分，获得用户餐馆预测评分矩阵。即，用户餐馆预测评分矩阵中便不存在未评分餐馆，如此便可基于用户餐馆预测评分矩阵向用户推荐感兴趣餐馆。相较于仅基于内容的兴趣点向用户进行餐馆推荐，本方法通过结合美食图像的美学特征中隐含的用户偏好和餐馆内容，可向用户推荐满足用户偏好的餐馆，使得餐馆推荐准确率更佳，可提升用户体验。相应地，本发明实施例还提供了与上述餐馆推荐方法相对应的餐馆推荐装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例中一种餐馆推荐方法的实施流程图；图2为本发明实施例中一种评分预测模型；图3为本发明实施例中一种餐馆推荐装置的结构示意图；图4为本发明实施例中一种餐馆推荐设备的结构示意图；图5为本发明实施例中一种餐馆推荐设备的结构示意图。具体实施方式为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。深度学习在图像处理、自然语言处理等领域取得突破性的进展，为推荐系统的研究带来了新的机遇。将兴趣点的图像考虑在内，通过卷积神经网络模型抽取这些图像的视觉特征，通过结合视觉特征对兴趣点进行相似度计算，进而得出用户对兴趣点的预测得分。然而，目前，美食图像的视觉特征抽取与推荐模型的参数训练是分离的，导致推荐模型中使用的图像等视觉特征是针对分类任务而非针对推荐任务。本发明实施例将美食图像中的美学内容以及视觉特征的学习和推荐模型融合到一个统一的框架，其实质是让图像的美学内容和视觉内容服务于推荐方法而不是单纯的分类任务，可提升餐馆推荐准确率。实施例一：请参考图1，图1为本发明实施例中一种餐馆推荐方法的流程图，该方法可用于与推荐系统中，该方法包括以下步骤：S101、获取用户对餐馆的历史评分数据，并利用历史评分数据构建用户餐馆评分矩阵。其中，历史评分数据可直接从预先存储了历史评分数据的可读存储介质中读取，也可通过获取并解析日志信息等方式获得历史评分数据。该历史评分数据具体为每个用户对各个餐馆的真实评价。考虑到实际生活中，每个用户的活该轨迹是有限的，无法对每一个餐馆都进行真实评价，因而本申请中的历史评分数据并非包括各个用户分别对各个餐馆均有真实评价，进一步利用历史评分数据构建的用户餐馆评分矩阵也会出现未知项。即存某个用户对某个餐馆并不会有真实评价的评分数据。得到用户对餐馆的历史评分数据之后，便可基于历史评分数据构建用户餐馆评分矩阵。例如，当存在4个用户，且存在4个餐馆时，可依据每一个用户对每个餐馆的真实评分构建出如下用户餐馆评分矩阵：其中，各行代各个餐馆，各列代表各个用户，其中“？”表示该用户未对餐馆进行评价，例如，第2行第4列的“？”即为第4个用户未对第2个餐馆进行评价。当然，实际应用中，餐馆数量并非仅限与4个，用户数量并非仅限于4个，行与列指代的对象也可变换，即行代表用户，列代表餐馆也可。S102、获取各个待选餐馆的美食图片，利用评分预测模型提取美食图片的视觉特征。其中，视觉特征包括CNN特征和美学特征。在本发明实施例中，考虑到餐馆中的视觉内容主要包括餐馆中菜品等美食图片。对于N个用户u1，u2，...，ui，...，uN，分别将其收录到集合可表示为同样将M个餐馆收录到餐馆集合可表示为每个餐馆vj都有对应的美食图片，将这些图片统一放在集合中，其中L是所有图片的总数。使用集合来表示属于某个餐馆vj的所有美食图片。将每个餐馆中的所有美食图像统一放在集合中，这样与之间的关系可以描述为使用R∈RN×M来表示用户对餐馆的评分矩阵，U表示用户特征矩阵，V表示餐馆特征矩阵，Rij则表示某个用户ui在某个餐馆vj上的评分，ui表示用户的特征向量，vj表示餐馆的特征向量。本发明实施例中使用的符号如下表1所示。表1相关符号的解释具体的，提取美食图片中的视觉特征，包括：步骤一、利用评分预测模型中的卷积神经网络提取美食图片的CNN特征；步骤二、利用评分预测模型中的不同美学属性网络分别提取美食图片的不同属性的美学特征。优选地，由于VGGNet探索了卷积神经网络的深度预期性能之间的关系，通过反复堆叠3×3的小型卷积核和2×2的最大池化层，VGGNet成功地构筑了16-19层深的卷积神经网络。VGGNet相比之前state-of-the-art的网络结构，错误率大幅下降，并且其拓展性很强，迁移到其他图片数据上的泛化性非常好。VGGNet的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸和最大池化尺寸。因而，在本可选用诸如VGG-16的VGGNet来提取美食图片的CNN特征。其中，利用评分预测模型中的不同美学属性网络提取美食图片的美学特征，包括：步骤一、利用图像场景美学网络提取美食图片的图像场景信息；步骤二、利用图像语义美学网络提取美食图片的图像语义信息；步骤三、利用目标识别美学网络提取美食图片的美食目标信息；步骤四、利用图像情感识别网络提取美食图片的美食情感信息；步骤五、将图像场景信息、图像语义信息、美食目标信息和美食情感信息作为美学特征。为了便于描述，下面将上述五个步骤结合起来进行说明。传统的图像质量排序方法主要从美学角度进行质量评价，通过颜色统计、主体分布、构图等来分析图像的美感。而深度美学网络通过深度学习的方法可以挖掘图片的哪些属性会影响用户的判断，以及如何有效融合这些属性对图片进行评价。通过四种专用网络，分别从图像场景、图像语义、图像中的目标识别、图像中的情感四个方面提取图像的美学特征，可通过有序加权操作将这些专用网络提取的特征聚合起来，用于图像的美学质量评价。优选地，在利用评分预测模型中的不同美学属性网络提取美食图片的美学特征之后，还可以利用OWACNN深度美学网络对美食图片进行美学质量评价；将美学质量评价结果添加至美学特征中。OWACNNOrdered-WeightedAveragingoperator来提取图片的高层语义描述，如学习美感、可记忆度等高层特征。OWACNN的输入层用于接收图片；接着，可使用了ResNet作为特定深度网络用于提取图片的高层语义描述；紧接着一个池化层，主要是包含Ordered-WeightedAveraging的操作，其特点在于灵活性强且可以自动学习聚合规则；紧接着，输出聚合后的特征；最后，通过一个全连接层拟合，主要目的是为了分类，最终输出美学质量评价的预测分类。在本发明实施例中，因为评分矩阵可以分解为两个低维矩阵的乘积R＝UTV，其中N×K的矩阵U可以用来描述N个用户的属性，M×K的矩阵V可以用来描述M个餐馆的属性。根据矩阵秩的性质，矩阵R的秩不超过U和V的最小尺寸K。由于系统噪声的存在，不可能做出这样完美的分解，因此可将问题转化为：对一个近似矩阵要求近似矩阵在观测到的评分部分和观测矩阵R尽量相似，同时为了防止过拟合，需要对U和V做某种形式的约束。概率矩阵分解模型首先假设观测噪声观测评分矩阵R和近似评分矩阵之差服从高斯分布，其次假设用户属性和餐馆属性均服从高斯分布。根据第一个假设，可以写出完整观测矩阵的概率密度函数。其中σ是观测噪声的方差，由人工设定。Y是一个指标矩阵，当Rij＞0，则Yij＝1；反之，则Yij＝0。根据第二个假设，可以写出用户和餐馆属性的概率密度函数。其中σu和σv是先验噪声的方差，由人工设定。以下公式中I是一个指标矩阵。综合以上两个概率密度函数，利用经典的后验概率推导，可以得到，S103、利用评分预测模型将用户餐馆评分矩阵中未评分餐馆对应的视觉特征转化为预测评分，获得用户餐馆预测评分矩阵。评分预测模型将用户餐馆评分矩阵中未评分餐馆对应的视觉特征转化为预测评分。即，对于未知项，可基于餐馆的视觉特征进行确定。在实际应用中，还可结合餐馆的视觉特征、餐馆的如地址等内容特征确定未知项，即预测出用户对餐馆的评分。即用户餐馆预测评分矩阵的获取过程可具体，包括：步骤一、利用美学的视觉特征端对端训练方法将视觉特征和推荐模型融合到统一的评分预测模型中；步骤二、对评分预测模型进行端对端训练，获得视觉特征与评分矩阵之间的目标转换函数；步骤三、利用目标转换函数，将用户餐馆评分矩阵中未评分餐馆对应的视觉特征转换为用户对餐馆的评分，获得用户餐馆预测评分矩阵。为便于描述，下面将上述三个步骤结合起来进行说明。在本发明实施例中模型的训练过程，即为用户餐馆预测评分的获取过程。将视觉特征与推荐模型融合到评分预测模型中，对该评分预测模型进行端对端训练，便获得视觉特征与评分矩阵之间的目标转换函数。即该目标转换函数可基于视觉特征对未知项进行确定，以得到用户餐馆预测评分矩阵。需要说明的是，本申请中的用户餐馆评分矩阵与用户餐馆预测评分矩阵的区别是，在用户餐馆评分矩阵中存在未知项，而在用户餐馆预测评分矩阵中无未知项；用户餐馆预测评分矩阵即为将用户餐馆评分矩阵中的未知项进行确定后的矩阵，也就是说在用户餐馆预测评分矩阵中仍然保留了用户对餐馆的真实评分。S104、利用用户餐馆预测评分矩阵向用户推荐感兴趣餐馆。得到用户餐馆预测评分矩阵之后，针对每个用户便可通过评分分值筛选或排序的方法，向该用户推荐评分为TOP-N的感兴趣餐馆。应用本发明实施例所提供的方法，获取用户对餐馆的历史评分数据，并利用历史评分数据构建用户餐馆评分矩阵；获取各个待选餐馆的美食图片，利用评分预测模型提取美食图片的视觉特征；其中，视觉特征包括CNN特征和美学特征；利用评分预测模型将用户餐馆评分矩阵中未评分餐馆对应的视觉特征转化为预测评分，获得用户餐馆预测评分矩阵；利用用户餐馆预测评分矩阵向用户推荐感兴趣餐馆。餐馆的美食对应图片蕴含了大量信息，如食物本身的色彩、配料搭配、摆拍、餐馆环境等信息，这些信息不仅能有效帮助剖析该餐馆的内容，还能间接反映出用户个人偏好。基于此，在获取用户对餐馆的历史评分数据，并构建用户餐馆评分矩阵的同时，还获取各个待选餐馆的美食图片。然后，利用评分预测模型提取出美食图片的视觉特征，特别地该视觉特征包括CNN特征和美学特征。然后，利用评分预测模型将用户餐馆评分矩阵中未评分餐馆所对应的视觉特征转化为预测评分，获得用户餐馆预测评分矩阵。即，用户餐馆预测评分矩阵中便不存在未评分餐馆，如此便可基于用户餐馆预测评分矩阵向用户推荐感兴趣餐馆。相较于仅基于内容的兴趣点向用户进行餐馆推荐，本方法通过结合美食图像的美学特征中隐含的用户偏好和餐馆内容，可向用户推荐满足用户偏好的餐馆，使得餐馆推荐准确率更佳，可提升用户体验。需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在优选改进实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在本文的优选改进实施例中不再一一赘述。优选地，为了使得餐馆推荐效果更佳准确，用户体验更好，还可对目标转换函数进行优化，以便得到更为准确的用户餐馆预测评分矩阵。即在获得目标转换函数之后，还可以利用负采样方法对目标转换函数进行优化。相应地，在利用负采样方法对目标转换函数进行优化之后，还可以对将用户餐馆评分矩阵拆分后，获得用户特征矩阵、餐馆特征矩阵和交叉特征矩阵进行更新；锁定用户特征矩阵、餐馆特征矩阵和交叉特征矩阵，并移除与CNN无关的项，在目标转换函数上对CNN中可调参的权利集合求偏导，以对CNN特征进行微调，并基于微调后的包括CNN特征的视觉特征对用户餐馆评分矩阵中未评分餐馆进行评分预测。为便于本领域技术人员更好地理解本发明实施例所提供的餐馆推荐方法，下面结合具体的算法实例，对本发明实施例所提供的餐馆推荐方法进行详细说明。请参考图2，图2为本发明实施例中一种评分预测模型。图2中PMFProbabilisticMatrixFactorization：概率矩阵分解，即为U，V，W。关于：美学感知端对端训练的方法同上文中美学的视觉特征端对端训练方法。首先，给定一张图片pk，当pk与餐馆vj相关时，则pk中包含的视觉内容有较大概率可以用来描述餐馆vj。相反，当给出一张与餐馆vj不相关的图片ps，则ps中包含的视觉内容可以用来描述餐馆vj的概率就很小。为了赋予能较好描述vj的图片更大的概率，同时希望那些不能很好描述vj的图片的概率越小越好，因为指数函数的分布特点符合这样的规律，可采用指数函数来描述。根据以上分析，fjk＝1表示属于餐馆vj的图片pk；反之，若图片ps不属于餐馆vj那么fjs＝0。在这里，本发明实施例在衡量图片描述这个餐馆的概率程度时，可只考虑属于餐馆vj的图片pk，而不属于这个餐馆的图片，其能描述餐馆vj的概率均视为0。以下给出了属于餐馆vj的图片pk能描述这个餐馆的概率函数为Pfjk＝1|vj，pk，其中W∈RK×D，表示视觉特征和餐馆特征之间的交叉矩阵，D是视觉特征的维度。表示视觉特征向量，由CNN特征和美学特征拼接而成。对于通过最大化Pfjk＝1|vj，pk的方式，借助于交叉矩阵W让餐馆特征向量vj逼近视觉特征，这样视觉特征与餐馆特征连结在一起，以达到端对端训练的目的。通过以下的似然函数来衡量图片等视觉特征对餐馆描述能力的程度，其中表示属于所有餐馆美食的图像集合。如图2中所示，这里假设交叉矩阵W同样服从高斯分布，那么其概率密度函数可以写为其中表示观测噪声的方差。进一步，通过模拟评分数据和视觉特征，本发明实施例提出了一种全新的基于美学感知端对端训练的方法，结合概率矩阵分解得到的后验概率函数，为方便计算对其取对数，通过最大化以下式子，其中后验概率函数可以进一步表示为，本发明实施例提出的框架结构图如图2所示。可通过VGG16获得每一张图片pk的CNN特征向量，以及通过OWACNN获得其美学特征向量，然后用作高斯分布的均值，餐馆的高斯噪声则被用来表示高斯分布的方差。通过假设交叉矩阵W服从高斯分布，使得视觉特征与概率矩阵分解模型中的餐馆特征以及用户特征关联起来，以达到视觉特征的训练可以传播到概率矩阵分解模型中，从而实现端对端的训练过程。基于美学的视觉特征端对端训练的方法将视觉特征的学习和推荐模型融合到统一的框架模型并进行端对端训练，在视觉特征与评分矩阵之间搭建了桥梁。目标函数可以表示为，其中，⊙表示哈达玛乘积运算。如以上介绍概率矩阵分解模型时，为了防止过拟合，需要对U和V进行约束，本发明实施例将λ1和λ2分别设为结合负采样的优化方法，本发明实施例分别在U、V和W上对logPfjk＝1|vj，pk求不同的梯度，主要包含对的计算。由于包含了对所有图片的计算，因此会耗费了较多时间。为了加快优化速度，可结合了负采样的思想来评估logPfjk＝1|vj，pk，其中，pkt是负样本，t＝1，...，J，J是对每张图片pk选取的负样本的个数。对于每张图片负样本的图片集可以表示为总的来说，对于每个餐馆vj中美食的每张图片pk，都可以随机产生J张图片用作负样本。可以肯定的是，这些负样本图片不属于vj。尝试最大化餐馆特征向量vj与其图片pk视觉特征向量之间的相似度，然后最小化餐馆特征向量vj与负样本图片pkt视觉特征向量之间的相似度。通过负采样的方法，这些梯度的计算被简化。更新用户特征矩阵，通过在上对U求偏导，可以用来更新用户特征矩阵，公式如下所示，更新餐馆特征矩阵，通过在上对V求偏导，可以用来更新餐馆特征矩阵，公式如下所示，其中B＝{b1，...，bj，...，bM}∈RK×M，矩阵B为对目标函数中这一部分的求导。更新交叉特征矩阵，通过在上对W求偏导，可以用来更新餐馆特征矩阵，公式如下所示，微调CNN特征，每一道菜肴讲究色香味俱全，而从“色”的角度出发，每一个餐馆的美食佳肴都反映了该餐馆厨师团队的手艺与审美，在基于内容的餐馆推荐中，美食图片的美学特征作为美食内容的固有属性，本发明实施例可使用OWACNN来提取美学特征。为了更新CNN的参数，可锁定UVW，移除对CNN无关的项，然后通过在上对θ求偏导，可以用来微调CNN特征，公式如下所示，其中，θ为CNN中可调参的权重集合，但不包括被锁定的层。CNNpkh表示CNNpk中第h层的特征向量，并且CNN的梯度计算主要使用了反向传播算法。实施例二：相应于上面的方法实施例，本发明实施例还提供了一种餐馆推荐装置，下文描述的餐馆推荐装置与上文描述的餐馆推荐方法可相互对应参照。参见图3所示，该装置包括以下模块：历史评分数据获取模块101，用于获取用户对餐馆的历史评分数据，并利用历史评分数据构建用户餐馆评分矩阵；美食图片处理模块102，用于获取各个待选餐馆的美食图片，利用评分预测模型提取美食图片的视觉特征；其中，视觉特征包括CNN特征和美学特征；评分预测模块103，用于利用评分预测模型将用户餐馆评分矩阵中未评分餐馆对应的视觉特征转化为预测评分，获得用户餐馆预测评分矩阵；餐馆推荐模块104，用于利用用户餐馆预测评分矩阵向用户推荐感兴趣餐馆。应用本发明实施例所提供的装置，获取用户对餐馆的历史评分数据，并利用历史评分数据构建用户餐馆评分矩阵；获取各个待选餐馆的美食图片，利用评分预测模型提取美食图片的视觉特征；其中，视觉特征包括CNN特征和美学特征；利用评分预测模型将用户餐馆评分矩阵中未评分餐馆对应的视觉特征转化为预测评分，获得用户餐馆预测评分矩阵；利用用户餐馆预测评分矩阵向用户推荐感兴趣餐馆。餐馆的美食对应图片蕴含了大量信息，如食物本身的色彩、配料搭配、摆拍、餐馆环境等信息，这些信息不仅能有效帮助剖析该餐馆的内容，还能间接反映出用户个人偏好。基于此，在获取用户对餐馆的历史评分数据，并构建用户餐馆评分矩阵的同时，还获取各个待选餐馆的美食图片。然后，利用评分预测模型提取出美食图片的视觉特征，特别地该视觉特征包括CNN特征和美学特征。然后，利用评分预测模型将用户餐馆评分矩阵中未评分餐馆所对应的视觉特征转化为预测评分，获得用户餐馆预测评分矩阵。即，用户餐馆预测评分矩阵中便不存在未评分餐馆，如此便可基于用户餐馆预测评分矩阵向用户推荐感兴趣餐馆。相较于仅基于内容的兴趣点向用户进行餐馆推荐，本装置通过结合美食图像的美学特征中隐含的用户偏好和餐馆内容，可向用户推荐满足用户偏好的餐馆，使得餐馆推荐准确率更佳，可提升用户体验。在本发明的一种具体实施方式中，美食图片处理模块102，包括：CNN特征提取单元，用于利用评分预测模型中的卷积神经网络提取美食图片的CNN特征；美学特征提取单元，用于利用评分预测模型中的不同美学属性网络分别提取美食图片的不同属性的美学特征。在本发明的一种具体实施方式中，美学特征提取单元，具体用于利用图像场景美学网络提取美食图片的图像场景信息；利用图像语义美学网络提取美食图片的图像语义信息；利用目标识别美学网络提取美食图片的美食目标信息；利用图像情感识别网络提取美食图片的美食情感信息；将图像场景信息、图像语义信息、美食目标信息和美食情感信息作为美学特征。在本发明的一种具体实施方式中，还包括：美学质量评价结果获取模块，用于在利用评分预测模型中的不同美学属性网络提取美食图片的美学特征之后，利用OWACNN深度美学网络对美食图片进行美学质量评价；将美学质量评价结果添加至美学特征中。在本发明的一种具体实施方式中，评分预测模块103，具体用于利用美学的视觉特征端对端训练方法将视觉特征和推荐模型融合到统一的评分预测模型中；对评分预测模型进行端对端训练，获得视觉特征与评分矩阵之间的目标转换函数；利用目标转换函数，将用户餐馆评分矩阵中未评分餐馆对应的视觉特征转换为用户对餐馆的评分，获得用户餐馆预测评分矩阵。在本发明的一种具体实施方式中，还包括：优化模块，用于在获得目标转换函数之后，利用负采样方法对目标转换函数进行优化。在本发明的一种具体实施方式中，相应于上述优化模块，评分预测模块103，具体用于在利用负采样方法对目标转换函数进行优化之后，还对将用户餐馆评分矩阵拆分后，获得用户特征矩阵、餐馆特征矩阵和交叉特征矩阵进行更新；锁定用户特征矩阵、餐馆特征矩阵和交叉特征矩阵，并移除与CNN无关的项，在目标转换函数上对CNN中可调参的权利集合求偏导，以对CNN特征进行微调，并基于微调后的包括CNN特征的视觉特征对用户餐馆评分矩阵中未评分餐馆进行评分预测。实施例三：相应于上面的方法实施例，本发明实施例还提供了一种餐馆推荐设备，下文描述的一种餐馆推荐设备与上文描述的一种餐馆推荐方法可相互对应参照。参见图4所示，该餐馆推荐设备包括：存储器D1，用于存储计算机程序；处理器D2，用于执行计算机程序时实现上述方法实施例的餐馆推荐方法的步骤。具体的，请参考图5，图5为本实施例提供的一种餐馆推荐设备的具体结构示意图，该餐馆推荐设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器centralprocessingunits，CPU322例如，一个或一个以上处理器和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330例如一个或一个以上海量存储设备。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块图示没标出，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在餐馆推荐设备301上执行存储介质330中的一系列指令操作。餐馆推荐设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和或，一个或一个以上操作系统341。例如，WindowsServerTM，MacOSXTM，UnixTM，LinuxTM，FreeBSDTM等。上文所描述的餐馆推荐方法中的步骤可以由餐馆推荐设备的结构实现。实施例四：相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种餐馆推荐方法可相互对应参照。一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的餐馆推荐方法的步骤。该可读存储介质具体可以为U盘、移动硬盘、只读存储器Read-OnlyMemory，ROM、随机存取存储器RandomAccessMemory，RAM、磁碟或者光盘等各种可存储程序代码的可读存储介质。专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

权利要求：1.一种餐馆推荐方法，其特征在于，包括：获取用户对餐馆的历史评分数据，并利用所述历史评分数据构建用户餐馆评分矩阵；获取各个待选餐馆的美食图片，利用评分预测模型提取所述美食图片的视觉特征；其中，所述视觉特征包括CNN特征和美学特征；利用所述评分预测模型将所述用户餐馆评分矩阵中未评分餐馆对应的所述视觉特征转化为预测评分，获得用户餐馆预测评分矩阵；利用所述用户餐馆预测评分矩阵向所述用户推荐感兴趣餐馆。2.根据权利要求1所述的餐馆推荐方法，其特征在于，所述利用评分预测模型提取所述美食图片的视觉特征，包括：利用所述评分预测模型中的卷积神经网络提取所述美食图片的所述CNN特征；利用所述评分预测模型中的不同美学属性网络分别提取所述美食图片的不同属性的所述美学特征。3.根据权利要求2所述的餐馆推荐方法，其特征在于，利用所述评分预测模型中的不同美学属性网络提取所述美食图片的所述美学特征，包括：利用图像场景美学网络提取所述美食图片的图像场景信息；利用图像语义美学网络提取所述美食图片的图像语义信息；利用目标识别美学网络提取所述美食图片的美食目标信息；利用图像情感识别网络提取所述美食图片的美食情感信息；将所述图像场景信息、图像语义信息、美食目标信息和美食情感信息作为所述美学特征。4.根据权利要求1或2所述的餐馆推荐方法，其特征在于，在利用所述评分预测模型中的不同美学属性网络提取所述美食图片的所述美学特征之后，还包括：利用OWACNN深度美学网络对所述美食图片进行美学质量评价；将美学质量评价结果添加至所述美学特征中。5.根据权利要求1所述的餐馆推荐方法，其特征在于，利用所述评分预测模型将所述用户餐馆评分矩阵中未评分餐馆对应的所述视觉特征转化为预测评分，获得用户餐馆预测评分矩阵，包括：利用美学的视觉特征端对端训练方法将所述视觉特征和推荐模型融合到统一的所述评分预测模型中；对所述评分预测模型进行端对端训练，获得所述视觉特征与评分矩阵之间的目标转换函数；利用所述目标转换函数，将所述用户餐馆评分矩阵中未评分餐馆对应的所述视觉特征转换为用户对所述餐馆的评分，获得所述用户餐馆预测评分矩阵。6.根据权利要求5所述的餐馆推荐方法，其特征在于，在获得所述目标转换函数之后，还包括：利用负采样方法对所述目标转换函数进行优化。7.根据权利要求6所述的餐馆推荐方法，其特征在于，在利用负采样方法对所述目标转换函数进行优化之后，还包括：对将所述用户餐馆评分矩阵拆分后，获得用户特征矩阵、餐馆特征矩阵和交叉特征矩阵进行更新；锁定所述用户特征矩阵、所述餐馆特征矩阵和所述交叉特征矩阵，并移除与CNN无关的项，在所述目标转换函数上对CNN中可调参的权利集合求偏导，以对所述CNN特征进行微调，并基于微调后的包括所述CNN特征的所述视觉特征对所述用户餐馆评分矩阵中未评分餐馆进行评分预测。8.一种餐馆推荐装置，其特征在于，包括：历史评分数据获取模块，用于获取用户对餐馆的历史评分数据，并利用所述历史评分数据构建用户餐馆评分矩阵；美食图片处理模块，用于获取各个待选餐馆的美食图片，利用评分预测模型提取所述美食图片的视觉特征；其中，所述视觉特征包括CNN特征和美学特征；评分预测模块，用于利用所述评分预测模型将所述用户餐馆评分矩阵中未评分餐馆对应的所述视觉特征转化为预测评分，获得用户餐馆预测评分矩阵；餐馆推荐模块，用于利用所述用户餐馆预测评分矩阵向所述用户推荐感兴趣餐馆。9.一种餐馆推荐设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述餐馆推荐方法的步骤。10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述餐馆推荐方法的步骤。

百度查询： 苏州大学 一种餐馆推荐方法、装置、设备及可读存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD