申请/专利权人:苏州元脑智能科技有限公司
申请日:2024-01-31
公开(公告)日:2024-04-30
公开(公告)号:CN117667834B
主分类号:G06F15/78
分类号:G06F15/78;G06F11/14;G06F3/06
优先权:
专利状态码:有效-授权
法律状态:2024.04.30#授权;2024.03.26#实质审查的生效;2024.03.08#公开
摘要:本申请实施例提供了一种存算解耦系统、数据处理方法及存储介质,该系统包括:内存集群和算力集群,内存集群包括第一节点,算力集群包括第四节点,第二节点、第三节点属于内存集群和或算力集群中的节点,第一节点中存储有第四节点创建的M个数据块;第一节点和或第四节点,用于确定在M个数据块中分别执行复制操作和执行纠删操作的数据块的第一数量和第二数量;将第一数量的数据块进行复制所得数据存储到第二节点,将第二数量的数据块执行纠删操作所得数据存储到第三节点;在执行复制操作的数据块与执行纠删操作的数据块的两种数量的各种取值组合中,第一数量和第二数量对应的资源消耗参数最小。通过本申请,可以提高数据处理效率。
主权项:1.一种存算解耦系统,其特征在于,包括:内存集群和算力集群,其中,所述内存集群包括第一节点,所述算力集群包括第四节点,第二节点、第三节点属于所述内存集群和或所述算力集群中的节点,所述第一节点中存储有所述第四节点创建的M个数据块;其中,所述第一节点和或所述第四节点,用于确定在所述M个数据块中待执行复制操作的数据块的第一数量和待执行纠删操作的数据块的第二数量;将对所述M个数据块中所述第一数量的数据块执行复制操作所得到的数据块存储到所述第二节点,将对所述M个数据块中所述第二数量的数据块执行纠删操作所得到的数据块存储到所述第三节点;所述第四节点,还用于在所述M个数据块中待执行所述复制操作的数据块的数量为第一变量、待执行所述纠删操作的数据块的数量为第二变量的情况下,根据所述第一变量和所述第二变量,确定资源消耗参数的目标表达式,其中,所述目标表达式的取值表示所述资源消耗参数;在所述第一变量的取值为所述第一数量、且所述第二变量的取值为所述第二数量时所述目标表达式的取值最小的情况下,将所述M个数据块中待执行所述复制操作的数据块的数量确定为所述第一数量,并将所述M个数据块中待执行所述纠删操作的数据块的数量确定为所述第二数量;其中,M等于所述第一数量和所述第二数量之和,在待执行复制操作的数据块的数量与待执行纠删操作的数据块的数量的各种取值组合中,所述第一数量和所述第二数量对应的资源消耗参数最小。
全文数据:
权利要求:
百度查询: 苏州元脑智能科技有限公司 存算解耦系统、数据处理方法及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。