申请/专利权人：上海交通大学

申请日：2024-02-05

公开（公告）日：2024-04-12

公开（公告）号：CN117873730A

主分类号：G06F9/50

分类号：G06F9/50;G06F9/54

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本发明提供了一种适用于多GPU环境的高效嵌入向量访问方法及系统，包括：获取计算平台的硬件特征信息；将GPU中的计算单元划分为多个逻辑分组；为各个计算单元逻辑分组分别创建高优先级的局部计算任务队列；为所有计算单元创建低优先级的全局计算任务队列；每接收到一批嵌入向量的访问请求时，在缓存索引表中查询各个嵌入向量的具体存储位置；根据查询得到的存储位置将嵌入向量的批次访问请求划分为若干子批次；对于需要从非本地存储位置进行访问的子批次，将其放入存储位置对应的局部任务队列中，以在相对应的计算单元逻辑分组上执行；在启动非本地子批次嵌入向量访问后，将访问本地的子批次放入优先级较低的全局任务队列，以在所有计算单元上执行。

主权项：1.一种适用于多GPU环境的高效嵌入向量访问方法，其特征在于，包括：步骤S1：获取计算平台的硬件特征信息，包括：GPU的互联拓扑结构、GPU间的数据传输带宽、GPU与CPU间的数据传输带宽以及GPU计算单元个数与各个链路上带宽占用之间的关系；步骤S2：将GPU中的计算单元划分为多个逻辑分组，逻辑分组与GPU对外的数据链路一一对应；步骤S3：为各个计算单元逻辑分组分别创建一个高优先级的局部计算任务队列，为所有计算单元创建一个低优先级的全局计算任务队列；步骤S4：在各个GPU上初始化嵌入向量的缓存以及一个配套的缓存索引表；步骤S5：每接收到一批嵌入向量的访问请求时，在缓存索引表中查询各个嵌入向量条目的具体存储位置；步骤S6：根据查询得到的存储位置，将嵌入向量的批次访问请求划分为若干子批次，每个子批次对应一个存储位置；步骤S7：对于需要从非本地存储位置进行访问的子批次，将其放入存储位置对应的局部任务队列中，以在相对应的计算单元逻辑分组上执行；步骤S8：在启动非本地子批次嵌入向量访问后，将访问本地的子批次放入优先级较低的全局任务队列，以在所有计算单元上执行；步骤S9：通过同步来等待所有子批次任务的执行完成，返回执行结果；重复触发步骤S5，继续开始下一批嵌入向量访问请求的处理。

全文数据：

权利要求：

百度查询： 上海交通大学 适用于多GPU环境的高效嵌入向量访问方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD