申请/专利权人：南威软件股份有限公司

申请日：2021-09-27

公开（公告）日：2023-05-19

公开（公告）号：CN113872888B

主分类号：H04L47/56

分类号：H04L47/56

优先权：

专利状态码：有效-授权

法律状态：2023.05.19#授权;2022.01.21#实质审查的生效;2021.12.31#公开

摘要：本发明提供了一种针对Kafka积压队列追赶的方法、系统及介质，该方法包括：启动消费者，并添加至消费者列表，若该消费者为追赶者，则从最新的消费偏移量处开始消费，否则，按照正常消费流程消费；在正常消费时，消费者循环从Kafka拉取数据，计算当前消费者偏移量和消息队列最大偏移量的差值，若差值大于一阈值，则将该消费者设为延迟状态，若消费者已经消费到追赶者启动时的偏移量并且消费者为延迟状态，则将消费者设为延迟恢复状态；对延迟状态的消费者启动一个追赶者进行消费；若发现消费者的状态为延迟恢复状态，则关闭追赶者，消费者从追赶者当前消费位置继续消费，并将消费者设置为正常状态。本发明实现追赶者全自动化设置，提高数据处理效率。

主权项：1.一种针对Kafka积压队列追赶的方法，其特征在于：所述方法包括：步骤S10、启动消费者，并添加至消费者列表，传入一个标志参数以确定该消费者是否为追赶者，如果为追赶者，则从最新的消费偏移量处开始消费并记录该偏移量，否则，消费者按照步骤S20的正常消费流程消费数据；步骤S20、启动正常消费流程，消费者开始循环从Kafka拉取数据，在拉取数据时，计算当前消费者偏移量和消息队列最大偏移量之间的差值，若所述差值大于一阈值，则将该消费者设置为延迟状态，若消费者已经消费到追赶者启动时的偏移量并且消费者状态为延迟状态时，则将消费者设置为延迟恢复状态；若所述差值小于或等于所述阈值，则返回步骤S20继续执行；步骤S30、定时扫描消费者列表，若发现消费者的状态为延迟状态，则启动一个针对同一队列的新消费者作为追赶者进行消费，并将所述消费者与其对应的追赶者存储在映射里；步骤S40、定时扫描消费者与追赶者的映射，若发现消费者的状态为延迟恢复状态，则获取追赶者的消息队列分区当前消费偏移量，关闭追赶者，将追赶者的当前消费偏移量设置给消费者，所述消费者从所述追赶者消费的位置继续消费，并将消费者设置为正常状态；所述标志参数为一个布尔参数，取true时代表其为追赶者，反之为消费者；所述最新的消费偏移量指的是当前消息队列最新数据的绝对值位置；所述步骤S20中，在消费者开始循环从Kafka拉取数据时，首先判断消息队列数据生产者生产速度增速是否大于消息队列消费者增速，若是，再进一步计算当前消费者偏移量和消息队列最大偏移量之间的差值，否则，不计算所述差值。

全文数据：

权利要求：

百度查询： 南威软件股份有限公司 一种针对Kafka积压队列追赶的方法、系统及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD