申请/专利权人：卓世科技(海南)有限公司

申请日：2024-01-03

公开（公告）日：2024-04-02

公开（公告）号：CN117520786B

主分类号：G06F18/20

分类号：G06F18/20;G06F40/216;G06F40/289;G06N3/044;G06F18/22

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2024.02.27#实质审查的生效;2024.02.06#公开

摘要：本发明涉及数字数据处理技术领域，提出了基于NLP和循环神经网络的大语言模型构建方法，包括：根据分词结果确定标准数据集中每个字的标签；根据每个字与专业字典中每个词语的词向量之间的相似度确定字意匹配度；根据文本序列内的分词结果在专业字典中出现的频率确定上下文语境匹配得分；根据词语的重要性以及上下文语境匹配得分确定词性特征得分；根据词性特征得分、字意匹配度确定状态特征函数与转移特征函数；采用条件随机场基于状态特征函数与转移特征函数获取标准数据集的标注结果；基于标注结果构建基于循环神经网络的大语言模型。本发明利用改进后的条件随机场对标准数据集进行标注，提高了大语言模型捕捉输入数据中颗粒信息的能力。

主权项：1.基于NLP和循环神经网络的大语言模型构建方法，其特征在于，该方法包括以下步骤：根据标准数据集中每个句子的分词结果确定标准数据集中每个字的标签；根据标准数据集中每个字与专业字典中每个词语的词向量之间的相似度确定标准数据集中每个字的字意匹配度；根据标准数据集中每个字所取文本序列内的分词结果在专业字典中出现的频率确定标准数据集中每个字的上下文语境匹配得分；根据标准数据集中每个词语的重要性以及每个词语中每个字的上下文语境匹配得分确定每个词的词性特征得分；根据标准数据集中每个词的词性特征得分、每个字的字意匹配度确定状态特征函数与转移特征函数；采用条件随机场基于状态特征函数与转移特征函数获取标准数据集的标注结果；基于标准数据集的标注结果构建基于循环神经网络的大语言模型；所述根据标准数据集中每个字所取文本序列内的分词结果在专业字典中出现的频率确定标准数据集中每个字的上下文语境匹配得分的方法为：根据标准数据集中每个字所取文本序列内的分词结果在专业字典中出现的频率确定每个字的信息量评估值；将标准数据集中每个字在专业字典中出现的频率与每个字的字意匹配度的乘积在每个字所取文本序列上累加结果的均值作为第一乘积因子；标准数据集中每个字的上下文语境匹配得分由信息量评估值、第一乘积因子两部分组成，其中，所述上下文语境匹配得分分别与信息量评估值、第一乘积因子成正比关系；所述根据标准数据集中每个字所取文本序列内的分词结果在专业字典中出现的频率确定每个字的信息量评估值的方法为：将标准数据集中的每个字与其预设数量个相邻字组成的序列作为标准数据集中每个字的文本序列；统计标准数据集中每个字的文本序列中每个元素出现的概率，将所述概率的映射结果在所述文本序列上的累加作为标准数据集中每个字的文本序列的局部信息熵；将标准数据集中每个字的文本序列内的分词结果中所有词语在专业字典中出现的次数与所述局部信息熵的乘积作为分子，将分子与所述分词结果中所有词语数量的比值作为每个字的信息量评估值；所述根据标准数据集中每个词语的重要性以及每个词语中每个字的上下文语境匹配得分确定每个词的词性特征得分的方法为：采用关键词提取算法获取标准数据集中每个词语的第一组成因子；将标准数据集中每个词语对应标签中“M”的数量与预设参数之和与每个词语内字的数量的比值作为第一计算因子；将标准数据集中每个词语内每个字的上下文语境匹配得分与第一计算因子的乘积在每个词语内所有字上累加结果的均值作为第二组成因子；每个词的词性特征得分由第一组成因子、第二组成因子两部分组成，其中，所述词性特征得分分别与第一组成因子、第二组成因子成正比关系；所述采用关键词提取算法获取标准数据集中每个词语的第一组成因子的方法为：将专业字典中的所有词语作为输入，利用TF-IDF算法确定专业字典中的每个词语的TF-IDF值；将专业字典中属于标准数据集中的每个词语的TF-IDF值与预设参数的和作为第一组成因子。

全文数据：

权利要求：

百度查询： 卓世科技(海南)有限公司 基于NLP和循环神经网络的大语言模型构建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD