申请/专利权人：湖州师范学院

申请日：2024-01-15

公开（公告）日：2024-04-09

公开（公告）号：CN117851571A

主分类号：G06F16/332

分类号：G06F16/332;G06F16/36;G06N5/022;G06F16/33;G06N3/0455;G06N3/08;G06N5/04

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本发明公开了一种融合知识图谱与多模态对话模型的中医药知识问答方法，属于人工智能在中医药领域的应用。本发明的目的是解决现有中医药知识问答方法无法处理图像信息、中医药知识理解不足等问题。本方法包括：从“中医智库”、中医古籍等权威渠道收集来的有关中医药的问题、中医药知识文本与中草药图像，并在中医药专家的指导下从中挑选合适信息，以构建中医药多模态对话数据集；提出了融合基于Transformer的特征融合技术与中医药知识图谱的多模态对话模型进行中医药知识问答。利用本发明提出的融合知识图谱与多模态对话模型的中医药知识问答方法，可以实现对图像信息与中医药知识图谱信息的综合利用，从而提升问答系统在中医药领域的智能化水平。

主权项：1.融合知识图谱与多模态对话模型的中医药知识问答方法，包括多模态特征提取模块、多模态信息检索模块、知识图谱嵌入模块、多模态答案获取模块。多模态特征提取模块使用特征编码器，将文本、图像映射至多模态特征空间，多模态信息检索模块检索问题相关信息作为证据，知识图谱嵌入模块检索问题相关知识图谱信息，多模态答案获取模块利用基于Transformer的多模态特征融合技术优化问题与多模态信息的融合，以确定答案在文本中的位置，并最终得出最佳答案，其特征是，具体为以下步骤：1所述的文本、图像是中医药多模态对话数据集中的中医药相关知识文本与中草药图像。所述多模态特征提取模块将使用BERT、ResNet对所述的文本、图像进行特征编码，以形成多模态特征空间；2利用所述多模态信息检索模块，使用BERT对用户输入的问题进行特征编码，再利用最大内积算法，从多模态特征空间中检索出与问题特征相似度最大的信息作为证据，答案将由此得出；3利用知识图谱嵌入模块，同样使用BERT对中医药知识图谱信息进行特征编码，同时对用户输入的问题进行特征编码，利用余弦相似度算法从知识图谱中检索与问题最相似的Top10个知识图谱信息作为中医药相关知识，用以参与后续的特征融合；4利用多模态答案获取模块，将检索到的证据进行基于Transformer的多模态特征融合，随后再与中医药相关知识进行基于Transformer的特征融合，以确定答案的起止位置，并最终得出问题的最佳答案。训练时通过设置学习率、损失函数方法、学习迭代周期调整模型参数，最终形成多模态对话模型。所述特征编码操作为：本发明方法要求使用BERT模型抽取文本信息的特征，BERT模型的输出为：文本特征XP∈Rd，针对图像信息使用ResNet模型抽取特征，ResNet模型的输出为：图像特征Xi∈Rd。其中，d＝128。所述基于Transformer的多模态特征融合操作为：将用户输入问题、对话历史信息与检索到的中医药文本信息连接，记为input，将input输入BERT模型后得到词特征。随后将中草药图像信息输入ResNet进行一次特征编码，得到中草药图像特征。接着将词特征设为Q，中草药图像特征设为K，V与Q相同。最后将Q,K,V输入一个基于Transformer的多模态特征融合模块，模块使用缩放点积注意力，以此将图像信息融入到词特征中，最终模块的输出为融入中草药图像信息后的词特征。所述基于Transformer的特征融合操作为：先将检索到的中医药相关知识进行文本连接操作，以形成一段中医药文本信息。随后将融入图像信息后的词特征设为Q，将由中医药相关知识连接而成的中医药文本信息记为K,V与Q相同。最后将Q,K,V输入一个基于Transformer的特征融合模块，模块使用缩放点积注意力，以此将中医药相关知识的信息融入到词特征中，模块的最终输出为融入中医药相关信息后的词特征。

全文数据：

权利要求：

百度查询： 湖州师范学院 融合知识图谱与多模态对话模型的中医药知识问答方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD