买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明公布】一种异构多源数据融合系统_太极计算机股份有限公司_202110078550.5 

申请/专利权人:太极计算机股份有限公司

申请日:2021-01-21

公开(公告)日:2021-02-23

公开(公告)号:CN112395281A

主分类号:G06F16/215(20190101)

分类号:G06F16/215(20190101);G06F16/25(20190101);G06F16/22(20190101);G06F11/14(20060101)

优先权:["20201210 CN 2020114543649"]

专利状态码:有效-授权

法律状态:2021.05.11#授权;2021.03.12#实质审查的生效;2021.02.23#公开

摘要:本发明公开了一种异构多源数据融合系统,包括:数据源装置,数据集成装置,数据存储与处理装置及统一资源服务装置;其中通过数据集成装置对于多源数据的清理和转换,数据存储处理模块中对于查询和索引模块中对索引数据的保存,对副本的备份和访问时间的设置等,有效地提高了异构多源数据系统的可靠性,同时通过负载迁移的设置和自动恢复模块等在保障异构多源数据融合系统被可靠访问的同时,满足了用户快速访问的需求。

主权项:1.一种异构多源数据融合系统,其特征在于,所述系统包括:数据源装置,数据集成装置,数据存储与处理装置及统一资源服务装置,所述装置,通过通信线路相互连接;所述数据源装置,用于对数据进行采集,通过系统日志和网络数据采集获取结构化和非结构化的多源数据;所述数据源装置包括数据校验模块,所述数据校验模块,对接收数据和发送数据做一致性的校验;所述数据集成装置,用于对数据源装置的多源数据进行预处理,从中抽取具有价值的数据,并对采集数据进行清洗转换,以适应数据的存储要求;所述数据存储与处理装置,用于大数据存储与管理,并进行数据调用;对数据类型按照数据热度分为在线,近线,离线数据三种类型,对于近线数据响应时间设置在100ms以内,对于在线数据的响应时间设置在30ms以内,对于离线数据响应时间设置在1s以内;所述数据存储与处理装置,包括分布式索引和查询单元,所述分布式索引和查询单元,用于将索引数据切分后,采用hash函数的映射的方式,将数据分布到不同的存储节点;所述数据存储与处理装置,将同一存储节点的数据以2个副本的形式保存到不同的节点上,一个副本在同机架的其他节点上,另外一个副本在其他机架的节点上,其中一个副本仅起数据备份作用,不接受查询请求;所述统一资源服务装置,用于为用户使用数据提供不同的应用接口,以与各种应用的需求对接。

全文数据:

权利要求:

百度查询: 太极计算机股份有限公司 一种异构多源数据融合系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。