申请/专利权人：宁波银行股份有限公司

申请日：2023-12-20

公开（公告）日：2024-03-22

公开（公告）号：CN117742958A

主分类号：G06F9/50

分类号：G06F9/50;G06F9/48;G06F9/455

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本申请公开了一种数据批量处理方法及装置，基于批量处理模型的控制节点和待处理数据总量，先对待处理数据进行分片处理，并对容器的数量进行调度分配，以便根据分配后的容器数量，调用容器云平台以请求满足分配后的容器数量的容器实例。基于容器云平台以请求预设数量的容器实例，使得执行节点可以基于匹配后的容器实例和待处理数据分片进行数据处理，通过这种弹性的请求架构，可以应对数据突增的情况。并且当数据处理完成后，可以调用容器云平台对容器实例进行销毁，实现资源的快速释放，由此数据的批量处理过程可以按照资源需求进行弹性伸缩。基于资源需求进行弹性伸缩的批量处理，从而可以满足待处理数据的时效性要求，提升批量处理效率。

主权项：1.一种数据批量处理方法，其特征在于，应用于批量处理模型的控制节点，所述方法包括：根据预设分片处理策略和待处理数据总量对待处理数据进行分片处理，获得待处理数据分片；根据预设容器数量配置策略和所述待处理数据总量对容器的数量进行调度分配，获得分配后的容器数量；根据所述分配后的容器数量，调用容器云平台以请求容器实例，使得所述容器云平台向所述批量处理模型的执行节点发送符合所述分配后的容器数量的容器实例；将所述待处理数据分片和所述容器实例进行匹配，并向所述执行节点发送匹配后的待处理数据分片和所述容器实例，使得所述执行节点按照匹配后的待处理数据分片和容器实例进行数据处理；当检测到所述待处理数据分片执行完成后，调用所述容器云平台对所述容器实例进行销毁。

全文数据：

权利要求：

百度查询： 宁波银行股份有限公司 一种数据批量处理方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD