申请/专利权人：北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司

申请日：2020-06-12

公开（公告）日：2024-03-08

公开（公告）号：CN113761548B

主分类号：G06F21/60

分类号：G06F21/60;H04L67/1042

优先权：

专利状态码：有效-授权

法律状态：2024.03.08#授权;2021.12.24#实质审查的生效;2021.12.07#公开

摘要：本公开的实施例公开了用于Shuffle过程的数据传输方法和装置。该方法的一具体实施方式包括：获取该Shuffle过程前的数据集合和该Shuffle过程后的数据集合包括的分区数目，其中，该Shuffle过程前的数据集合包括至少一个分区；获取目标服务组件的数目；根据该目标服务组件的数目，确定各目标服务组件与该Shuffle过程后的数据集合的分区之间的对应关系；将该Shuffle过程前的数据集合中各分区的数据分别发送至与该Shuffle过程后的数据集合对应的目标服务组件。该实施方式实现了Spark计算过程与存储过程的解耦，有效避免了由于节点本地的故障导致Shuffle过程的重新执行，提升了Spark的稳定性和性能。

主权项：1.一种用于Shuffle过程的数据传输方法，包括：获取所述Shuffle过程前的数据集合和所述Shuffle过程后的数据集合包括的分区数目，其中，所述Shuffle过程前的数据集合包括至少一个分区；获取目标服务组件的数目；根据所述目标服务组件的数目，确定各目标服务组件与所述Shuffle过程后的数据集合的分区之间的对应关系；将所述Shuffle过程前的数据集合中各分区的数据分别发送至与所述Shuffle过程后的数据集合对应的目标服务组件。

全文数据：

权利要求：

百度查询： 北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司 用于Shuffle过程的数据传输方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD