申请/专利权人：中国科学技术大学

申请日：2020-09-28

公开（公告）日：2024-05-17

公开（公告）号：CN112131405B

主分类号：G06F16/36

分类号：G06F16/36;G06F16/34;G06F40/242;G16H30/20;G06T19/00

优先权：

专利状态码：有效-授权

法律状态：2024.05.17#授权;2021.01.12#实质审查的生效;2020.12.25#公开

摘要：本发明提出一种基于智能搜索的AR肿瘤知识图谱多模态演示方法，包括以下步骤：S1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立一种基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中；S2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；S3.智能搜索结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示。该方法通过结合多模态知识图谱的AR展示，并且提供智能搜索和2D转换，融合多种功能，有利于用户有更加丰富的体验效果，提高用户获取知识的效率。

主权项：1.一种基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，包括以下步骤：S1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中；S2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；S3.获取用户输入的问题的关键词，智能搜索关键词，结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示；在步骤S1中，对目标肿瘤的原始数据，通过以下方法进行多模态医疗知识图谱的构建以及数据库的连接：S11.根据不同的目标肿瘤实体以及相关肿瘤属性，从多个数据源获取多个原始数据，原始数据包括图片、音频或者视频资源；S12.利用开源的词法工具和医疗领域的词典库，对目标肿瘤实体识别，并从语料数据中提取出实体与实体之间的多个关系类型，所述关系类型至少包括流行病学特征，筛查，临床表现和诊断，病理诊断，分子分型，分期，治疗；S13.通过知识抽取得到所述实体和关系的信息，定义知识图谱实体和属性，包括实体和实体之间的关系，实体的属性值；其中的实体信息和属性信息，包括文本信息，图片，音频或者视频的一种或者多种；S14.根据所述实体和实体之间的关系，构建医疗知识图谱树，其中根节点代表的是目标肿瘤实体的值，实体与实体之间的关系代表树干，实体的下位概念是中间节点，每个实体的属性作为子节点；S15.根据上述S14中构建的图谱树，将目标肿瘤实体和实体之间的关联关系，以csv格式导入到neo4j数据库中；在步骤S2中，对于AR肿瘤知识图谱，通过以下方法进行AR知识图谱的多模态展示和2D、3D的切换：S21.在unity系统中设置知识图谱演示的场景，通过3DsMax三维建模软件制作人体目标肿瘤对应器官的三维模型中的标准图，包括各个器官的位置，器官名称，各种肿瘤可能存在的位置，并将其导入到unity中；S22.点击三维模型上的对应肿瘤所在器官，通过服务器，从neo4j数据库获取数据，解析从服务器获取的数据，将数据分为实体、关系和属性三类，实体、关系和属性都包含各自的id，名称以及类别；S23.通过unity中的树形插件，根据获取的实体和关系的id和类别，动态创建知识图谱树，形成3D树的根，树干以及节点，并且将实体的名称显示在树形结构对应位置上；S24.根据UI页面渲染帧循环的改变，实体和属性信息的改变进行UI页面的调整，主页面主要是实体名称及其他实体的关联情况，通过点击不同的实体进入下一层级；S25.在页面右侧设置自动旋转、模式切换以及后退的按钮，根据用户需求，在unity中进行设置，使得用户通过选择对应的按钮进行3D和2D模式的切换，2D模式通过对应的id，对获取的数据以思维导图的形式呈现，并通过在3D中不同实体的id，进入到目标实体id的2D思维导图平面中，在3D和2D的信息展示过程中，都是多模态信息，能够通过点击对应节点显示视频、图片、音频多模态的信息；S26.在unity中设置要展示的AR树结构和点击事件，并对AR树展示场景设置旋转、缩放按钮，点击上述S25中3D模式下的树节点，会自动下载默认图片，并根据neo4j数据库获取的信息，AR树显示的内容包括多模态的信息，发布到手机上，打开应用，摄像头会被打开，用摄像头扫描目标图片，就能看到AR树展现在屏幕上方空间中，通过设置的按钮进行旋转和缩放，点击AR树节点，在客户端显示对应的多模态内容。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种基于智能搜索的AR肿瘤知识图谱多模态演示方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD