申请/专利权人：北京谷器数据科技有限公司

申请日：2024-03-07

公开（公告）日：2024-04-09

公开（公告）号：CN117851444A

主分类号：G06F16/242

分类号：G06F16/242;G06F16/2457;G06F16/33;G06F16/335;G06F16/9535;G06F40/30;G06F40/289;G06N3/0464;G06N3/048;G06N3/0455;G06N3/094

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本发明公开了一种基于语义理解下的高级搜索方法，涉及信息搜索技术领域，包括使用知识图谱构建语义关联词表，支持智能提示辅助查询构建；输入多模态信息进行综合查询，结合语音、图像和文本进行语义匹配；建立个性化用户模型，理解并记忆用户搜索意图；对查询进行智能扩展建议，组合涵盖不同语义细节的子查询；进行多源异构图谱融合，丰富潜在语义联想，扩大匹配范围；展示匹配词条之间的语义路径，可视化语义理解过程。本发明支持多模态查询输入，可以更全面捕获用户意图，可以学习用户长期偏好，做出自适应推断。

主权项：1.一种基于语义理解下的高级搜索方法，其特征在于：包括：使用知识图谱构建语义关联词表；输入多模态信息进行综合查询，结合语音、图像和文本进行语义匹配；建立个性化用户模型，理解并记忆用户搜索意图；对查询进行智能扩展建议，组合涵盖不同语义细节的子查询；进行多源异构图谱融合，丰富潜在语义联想，扩大匹配范围；展示匹配词条之间的语义路径，可视化语义理解过程；所述输入多模态信息进行综合查询，结合语音、图像和文本进行语义匹的步骤如下：支持语音查询，自动将语音识别转化为文本；支持上传或拍摄图像进行视觉搜索；对文本使用BERT模型编码得到文本语义向量、对语音识别文本使用Wav2Vec语音模型编码、对图像用视觉模型提取图像语义向量；将不同模态的语义向量映射到共同语义空间，进行跨模态相似度计算；返回多模态关联度最高的查询结果；所述将不同模态的语义向量映射到共同语义空间，进行跨模态相似度计算包括，构建一个跨模态对抗网络，包括编码器、映射器和判别器三部分，每个编码器有独立预训练的功能；三个生成器分别将文本、语音和图像特征映射到共享空间，训练判别器判断映射向量的模态源，通过对抗过程逼近语义空间的模态分布；进行跨模态语义空间匹配：计算空间内向量间的相似度；构建相似度分数矩阵，得到归一化的条件概率；定义权重向量，计算文本匹配分数，返回匹配度最高的结果。

全文数据：

权利要求：

百度查询： 北京谷器数据科技有限公司 一种基于语义理解下的高级搜索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD