申请/专利权人:成都医星科技有限公司
申请日:2023-08-18
公开(公告)日:2024-04-23
公开(公告)号:CN116959656B
主分类号:G16H10/60
分类号:G16H10/60;G06F16/22;G06F16/25;G06F16/2455
优先权:
专利状态码:有效-授权
法律状态:2024.04.23#授权;2023.11.14#实质审查的生效;2023.10.27#公开
摘要:本发明提供一种基于ES的医疗主索引抽取合并方法及系统,将数据全量抽取到sqlserver中存储,再从sqlserver中抽取数据到elasticsearch中进行抽取合并,完成主索引初始化后,并行进行实时和准实时的增量抽取,并在每次增量抽取后记录当前快照的最后一条数据的数据更新时间,在下一次增量抽取时,以所述数据更新时间为基准并回退一秒后开始增量抽取,以使临界值的数据重复处理一次。本发明的方案可实现海量数据下的高效查询,并能够增量抽取和自动修复,实现业务解耦,满足数据溯源,解决准实时性压力负载问题。
主权项:1.一种基于ES的医疗主索引抽取合并方法,其特征在于,包括步骤:将第三方医疗数据全量抽取到sqlserver中进行临时存储;根据预先配置的主索引合并规则,从sqlserver中抽取数据到elasticsearch中,并在elasticsearch所创建的索引中预留四个空字段:groupId,ruleId,isMerge,isHead;预先配置的主索引合并规则是指将对预定字段配置为相同值的数据进行合并,groupId表示合并后同一个组的id字符串,ruleId表示规则的id,isMerge表示是否为合并数据,isHead表示是否为主索引数据;对elasticsearch进行http的交互请求,将符合所述合并规则的数据分到同一个groupId中,并且对ruleId进行赋值,并将isMerge打上常量值标记以与未合并的数据区分;根据预先配置的主索引选举规则,从当前同一个groupId且isMerge相同的数据里面选择一条作为主索引数据,并对isHead打上常量标记;发送http请求到elasticsearch,修改并添加主索引数据,完成主索引初始化;并行进行实时和准实时的增量抽取,其中,实时抽取是将通过对外暴露的接口获取到的第三方通过http请求传入的数据入库到sqlserver中并同时推送到elasticsearch中进行合并操作,准实时抽取是根据预先配置的抽取频率从sqlserver中抽取增量数据到elasticsearch中进行合并操作;其中,在每次增量抽取后记录当前快照的最后一条数据的数据更新时间,在下一次增量抽取时,以所述数据更新时间为基准并回退一秒后开始增量抽取,以使临界值的数据重复处理一次。
全文数据:
权利要求:
百度查询: 成都医星科技有限公司 基于ES的医疗主索引抽取合并方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。