申请/专利权人：重庆邮电大学

申请日：2022-10-17

公开（公告）日：2024-04-02

公开（公告）号：CN115665161B

主分类号：H04L67/1023

分类号：H04L67/1023;G06F9/50;G06N3/006

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2023.02.17#实质审查的生效;2023.01.31#公开

摘要：本发明属于数据处理技术领域，具体涉及一种clickhouse实时数据流负载均衡方法及系统；该方法包括：采集clickhouse物理集群节点负载数据，构建一致性哈希多环结构，得到集群数据流的路由策略；根据clickhouse物理集群节点负载数据构建流量分发矩阵；根据流量分发矩阵，采用人工蜂群算法定期寻找流量分发的最优值，得到数据流量负载策略；根据路由策略和数据流量负载策略，采用flink流计算引擎对clickhouse集群的实时数据流进行动态调度；本发明可均衡各存储节点数据存储量，提高流量分发效率和存储性能，实用性高。

主权项：1.一种clickhouse实时数据流负载均衡方法，其特征在于，包括：S1：采集clickhouse物理集群节点负载数据；根据clickhouse物理集群节点负载数据，采用一致性哈希算法构建一致性哈希多环结构，得到集群数据流的路由策略；得到集群数据流的路由策略的过程包括：S11：根据clickhouse物理集群节点负载数据计算物理节点的初始化有效权重；计算物理节点的初始化有效权重的过程包括：根据clickhouse物理集群节点负载数据分别计算节点的内存使用率、CPU使用率和带宽使用率；根据节点的内存使用率、CPU使用率和带宽使用率计算物理节点的初始化有效权重；计算物理节点的初始化有效权重的公式为：Ew＝αCu+βMu+λBu其中，Ew表示初始化有效权重，Cu表示节点的CPU使用率，Mu表示节点的内存使用率，Bu表示节点的带宽使用率，α表示CPU权重系数，β表示内存权重系数，λ表示带宽权重系数；S12：根据初始化有效权重计算物理节点对应的虚拟节点映射数量；计算物理节点对应的虚拟节点映射数量的公式为： 其中，ρi表示第i个物理节点对应的虚拟节点个数，表示第i个物理节点的初始化有效权重，n表示物理节点数量，γ代表哈希槽的个数；S13：根据虚拟节点映射数量，采用一致性哈希算法构建一致性哈希多环结构即集群数据流的路由负载结构；根据集群数据流的路由负载结构得到集群数据流的路由策略；构建一致性哈希多环结构的过程包括：定义虚拟节点为索引节点和索引头节点；索引节点和索引头节点组成外层环，外层环用于存储哈希索引；内层环由虚拟节点组成，用于存储虚拟节点；计算索引节点所在的环的层数，根据索引节点各自所在的环的层数将所有索引节点组成多环结构；计算环的层数的公式为： 其中，Li表示第i个索引节点所在的环的层数，p表示概率常数，k表示层数；S2：根据clickhouse物理集群节点负载数据构建流量分发矩阵；S3：根据流量分发矩阵，采用人工蜂群算法定期寻找流量分发的最优值，得到数据流量负载策略；S4：根据路由策略和数据流量负载策略，采用flink流计算引擎对clickhouse集群的实时数据流进行动态调度。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种clickhouse实时数据流负载均衡方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD