申请/专利权人：腾讯科技(深圳)有限公司

申请日：2024-03-11

公开（公告）日：2024-04-12

公开（公告）号：CN117874173A

主分类号：G06F16/33

分类号：G06F16/33;G06F40/30

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本申请公开了一种向量模型的训练方法和相关装置，可应用于云技术、人工智能、车载场景等场景，所述方法包括：获取第一文本训练数据。获取待训练网络模型，待训练网络模型的位置编码嵌入矩阵中包括原始位置编码和扩展位置编码，扩展位置编码是用于对原始位置编码进行扩展的位置编码，通过扩展位置编码对原始位置编码进行扩展使得位置编码嵌入矩阵的序列长度从原始序列长度扩展到目标序列长度。对待训练网络模型的模型参数进行初始化，得到初始网络模型。利用第一文本训练数据，对初始网络模型的扩展位置编码进行训练，得到目标向量模型。本申请提供的方法在处理长文档时无需进行分段处理或滑动窗口处理，避免因上下文信息的丢失影响检索性能。

主权项：1.一种向量模型的训练方法，其特征在于，所述方法包括：获取由第一查询文本和与所述第一查询文本具有关联关系的目标文档构成的第一文本训练数据；获取待训练网络模型，所述待训练网络模型的位置编码嵌入矩阵中包括原始位置编码和扩展位置编码，所述原始位置编码的序列长度为原始序列长度，所述扩展位置编码是用于对所述原始位置编码进行扩展的位置编码，通过所述扩展位置编码对所述原始位置编码进行扩展使得所述位置编码嵌入矩阵的序列长度从所述原始序列长度扩展到目标序列长度，所述目标序列长度大于所述原始序列长度；对所述待训练网络模型的模型参数进行初始化，得到初始网络模型，所述初始网络模型中扩展位置编码的初始化参数值是随机初始化得到的，所述初始网络模型中剩余模型参数的初始化参数值是基于预训练完成的开源向量模型的模型参数进行初始化得到的，所述剩余模型参数为所述初始网络模型的全部模型参数中除所述扩展位置编码之外的模型参数，所述剩余模型参数包括所述原始位置编码；利用所述第一文本训练数据，对所述初始网络模型的扩展位置编码进行训练，得到目标向量模型。

全文数据：

权利要求：

百度查询： 腾讯科技(深圳)有限公司 一种向量模型的训练方法和相关装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD