买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】基于hudi快照的医疗数据查询方法及装置_上海柯林布瑞信息技术有限公司_202111312901.0 

申请/专利权人:上海柯林布瑞信息技术有限公司

申请日:2021-11-08

公开(公告)日:2023-03-14

公开(公告)号:CN114036107B

主分类号:G06F16/14

分类号:G06F16/14;G06F16/11;G06F16/242;G06F16/2455

优先权:

专利状态码:有效-授权

法律状态:2023.03.14#授权;2022.03.01#实质审查的生效;2022.02.11#公开

摘要:本申请实施例提供了一种基于hudi快照的医疗数据查询方法及装置,方法包括:获取针对hudi医疗数据存储系统的查询请求,查询请求中包含sql查询语句、查询模式和查询时刻,查询模式包括全量查询和增量查询;基于查询时刻确定目标hudi快照,并基于目标hudi快照获取全量文件列表和增量文件列表;对sql查询语句进行解析得到对应的数据筛选条件,若查询模式为全量查询,则基于数据筛选条件在全量文件列表中查询,得到对应的全量医疗数据,若查询模式为增量查询,则基于数据筛选条件在增量文件列表中查询,得到对应的增量医疗数据。该方案在hudi快照的基础上实现了任意时刻的全量查询和增量查询,为医院运营分析提供了数据基础。

主权项:1.一种基于hudi快照的医疗数据查询方法,其特征在于,包括:基于二次开发的presto查询引擎获取针对hudi医疗数据存储系统的查询请求,所述查询请求中包含sql查询语句、查询模式和查询时刻,所述查询时刻包括任意一个历史时刻,所述查询模式包括所述查询时刻的全量查询和增量查询;基于所述presto查询引擎确定所述hudi医疗数据存储系统的hudi快照链中生成时刻与所述查询时刻最接近的目标hudi快照,并基于所述目标hudi快照从所述hudi医疗数据存储系统的快照文件库中获取所述查询时刻的全量文件列表和增量文件列表;基于所述presto查询引擎对所述sql查询语句进行解析得到对应的数据筛选条件,若所述查询模式为所述查询时刻的全量查询,则基于所述数据筛选条件在所述查询时刻的全量文件列表中查询,得到对应的全量医疗数据,若所述查询模式为所述查询时刻的增量查询,则基于所述数据筛选条件在所述查询时刻的增量文件列表中查询,得到对应的增量医疗数据;其中,所述基于所述目标hudi快照从所述hudi医疗数据存储系统的快照文件库中获取所述查询时刻的全量文件列表和增量文件列表包括:获取所述目标hudi快照的快照元数据;基于所述快照元数据,确定所述目标hudi快照中与所述任意一个历史时刻对应的至少一个被重写的快照文件;从所述快照元数据中获取所述至少一个被重写的快照文件的文件标识和文件时间戳;基于所述至少一个被重写的快照文件的文件标识和文件时间戳,从所述hudi医疗数据存储系统的快照文件库中获取对应的快照文件,得到所述增量文件列表;将所述快照文件库中除所述至少一个被重写的快照文件外的快照文件确定为未被重写的快照文件;从所述快照文件库中,获取同一文件标识的未被重写的快照文件中在所述查询时刻之前文件时间戳最大的快照文件,与所述至少一个被重写的快照文件组合,得到所述全量文件列表。

全文数据:

权利要求:

百度查询: 上海柯林布瑞信息技术有限公司 基于hudi快照的医疗数据查询方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。