申请/专利权人：京东科技控股股份有限公司

申请日：2021-06-03

公开（公告）日：2024-04-16

公开（公告）号：CN113204443B

主分类号：G06F9/54

分类号：G06F9/54;G06F16/2455;G06N20/00

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.08.20#实质审查的生效;2021.08.03#公开

摘要：本公开实施例提供一种基于联邦学习框架的数据处理方法、设备、介质及产品。方法包括：对全量样本数据进行预分裂操作，获得中间数据，中间数据包括多个分裂信息；按照预设的数据分割策略，对中间数据进行分割操作，获得至少一条待处理流式数据；将至少一条待处理流式数据发送至消息中间件，消息中间件用于异步地将至少一条待处理流式数据发送至联邦学习框架中的数据接收端，以使数据接收端依次对各待处理流式数据进行增益值计算操作，根据增益值确定各待处理流式数据对应的最佳分裂节点。因此，数据接收端无需长时间的停等，可以相对同步地进行待处理流式数据的数据处理操作，避免了计算资源的浪费，且能够提高训练效率，降低训练成本。

主权项：1.一种基于联邦学习框架的数据处理方法，其特征在于，应用于数据发送端，所述方法包括：对全量样本数据进行预分裂操作，获得中间数据，所述中间数据包括多个分裂信息；按照预设的数据分割策略，对所述中间数据进行分割操作，获得至少一条待处理流式数据；所述至少一条待处理流式数据为至少一个分裂信息，所述分裂信息与所述数据发送端预存的全量样本数据中的特征分割点一一对应；将所述至少一条待处理流式数据发送至用于流式数据处理的消息中间件，所述消息中间件用于异步地将所述至少一条待处理流式数据发送至联邦学习框架中的数据接收端，以使所述数据接收端采用预设的增益值算法依次对所述至少一个分裂信息进行计算，获得与所述至少一个分裂信息对应的至少一个增益值，确定所述至少一个增益值中数值最大的目标增益值，并将所述目标增益值对应的分裂信息确定为目标分裂信息，将与所述目标分裂信息对应的特征分割点确定为最佳分裂节点。

全文数据：

权利要求：

百度查询： 京东科技控股股份有限公司 基于联邦学习框架的数据处理方法、设备、介质及产品

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD