申请/专利权人：厦门她趣信息技术有限公司;厦门欢趣信息技术有限责任公司;厦门海豹云信息技术有限公司

申请日：2024-02-01

公开（公告）日：2024-03-19

公开（公告）号：CN117725076A

主分类号：G06F16/23

分类号：G06F16/23;G06F16/13;G06F16/182;G06F16/178;G06F18/214;G06F18/213;G06F18/23

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.05#实质审查的生效;2024.03.19#公开

摘要：本发明公开了一种基于Faiss的分布式海量相似向量增量训练系统，包括FaissTrainer、FaissWorker及FaissDriver，所述FaissTrainer为Faiss训练组件，所述FaissWorker为Faiss检索组件，所述FaissDriver为Faiss代理组件。所述FaissTrainer包括批量训练模块和增量训练模块，所述增量训练模块用于对某一业务场景实时新产生的特征向量在其最新索引文件的基础上进行增量训练，并更新索引文件。本发明能够支持在线实时更新训练特征向量库，并且多节点可以同步更新最新索引文件，保证索引文件的一致性，且无需停机全量重新训练特征向量库占用过多时间，降低企业成本。

主权项：1.一种基于Faiss的分布式海量相似向量增量训练系统，其特征在于，包括FaissTrainer、FaissWorker及FaissDriver，所述FaissTrainer为Faiss训练组件，其用于对特征向量库文件进行训练，生成或更新索引文件，所述FaissWorker为Faiss检索组件，其用于相似特征向量检索计算、在线和离线索引文件的更新，所述FaissDriver为Faiss代理组件，其用于获取特征向量检索查询请求，并进行代理转发；所述FaissTrainer包括批量训练模块和增量训练模块，所述批量训练模块用于对某一业务场景的特征向量库里的特征向量进行批量训练，并生成索引文件，所述增量训练模块用于对某一业务场景实时新产生的特征向量在其最新索引文件的基础上进行增量训练，并更新索引文件；所述增量训练模块的增量训练方式具体包括以下步骤：B1：通过用户客户端将新增特征向量数据推送至所述FaissTrainer在线训练所对应的消息队列；B2：所述FaissTrainer加载Etcd索引文件列表，并且从消息队列拉取增量更新消息，获取所述增量更新消息中的新增特征向量，从加载的所述Etcd索引文件列表中检索是否存在新增特征向量对应的索引文件，若不存在，则所述FaissTrainer首先从HDFS集群中拉取该新增特征向量索引文件，并与本地索引文件进行比对是否一致，若存在不一致，则选取新增特征向量索引文件，进行更新训练；B3：所述FaissTrainer将B2更新训练得到的索引文件保存到本地，替换原有的索引文件；B4：所述FaissTrainer通知所述FaissDriver，再由所述FaissDriver通知所述FaissWorker进行同步和更新本地索引文件，并将最新索引文件上传同步至HDFS集群，从而完成增量训练。

全文数据：

权利要求：

百度查询： 厦门她趣信息技术有限公司;厦门欢趣信息技术有限责任公司;厦门海豹云信息技术有限公司 一种基于Faiss的分布式海量相似向量增量训练系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD