申请/专利权人：电子科技大学

申请日：2022-05-26

公开（公告）日：2024-04-16

公开（公告）号：CN115062003B

主分类号：G06F16/215

分类号：G06F16/215;G06F16/332;G06N3/0455;G06N3/088

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.10.04#实质审查的生效;2022.09.16#公开

摘要：本发明公开了基于GPT2的云ERP社区生成式问答方法，通过对云ERP社区人工客服数据脱敏与清洗去噪；建立云ERP社区客服数据驱动服务；构建基于Transformer的无监督训练；构建基于Transformer解码器的GPT2模型；构建基于GPT2的生成式问答模型。最后通过实验验证证明模型的性能和有效性。针对现有社区问答方式检索效率低，不能及时、方便、灵活、有效的为各类客户提供问答服务等问题，以及社区交互数据中的海量人工客服会话数据未得到有效利用的问题，提出一种基于GPT2的云ERP社区生成式问答方法，该方法能够克服检索式方法的局限性，回答用户无法在数据库中检索到答案的问题，提升云ERP社区问答的灵活性，最后通过实验验证证明了模型的性能和有效性。

主权项：1.基于GPT2的云ERP社区生成式问答方法，其特征在于，包括以下步骤：1对云ERP社区人工客服数据脱敏与清洗去噪；2建立云ERP社区客服数据驱动服务；3构建基于Transformer的无监督训练；4构建基于Transformer解码器的GPT2模型；5构建基于GPT2的生成式问答模型；所述步骤3中给定一个无监督的标记语料库U＝{u1,...,un}，使用标准语言建模目标来最大化以下可能性，如式1：L1U＝∑ilogPui|u1,……,uk-1；θ1式中k是上下文窗口的大小，条件概率P使用神经网络建模参数为θ的网络，这些参数是使用随机梯度下降训练的，然后使用多层Transformer解码器作为语言模型，解码器是Transformer的变体，该模型在输入上下文标记上应用多头自注意操作，然后是位置前馈层，以在目标标记上产生输出分布如下式：m0＝UWe+Wp2 式中将n个词的词嵌入We加上位置嵌入Wp，输入Transformer中，n个输出分别预测该位置的下一个词，输入用m0表示，0代表初始输入层，m0的计算公式能够看出GPT是单向的语言模型，得到m0后，将m0依次传入Transformer所有的解码器中，最终得到mn，最后通过下式： 式中最后将得到的mn输入softmax函数进行求解，得到最终的无监督预训练结果；所述步骤4中GPT2的层归一化的原理如式5所示： 式中uL代表输入各维度的均值，σL代表输入各维度的方差，α和β是两个可学习的参数和计算出的LayerNorm的维数一致，∈是一个常数偏置项，xi是第i个时间步的输入向量表示：其中遮蔽未来信息-多头注意力层注意力计算原理如式6所示： 式中Q、K、V分别代表查询矩阵、键矩阵、值矩阵，通过矩阵乘法得到注意力矩阵，表示为标准正态分布，得到最后的注意力值；其中前馈神经网络FeedForward计算原理如式7所示：FFX＝RELULinearLinearX7LinearX＝wX+b8式中FFX代表将向量X输入前馈神经网络，RELU是激活函数，Linear代表线性全连接层，在此处堆叠了两层，w和b是随机初始化的常数项；所述步骤5中在设计模型时将前置轮次的问答语料建模在同一段文本上，将每段会话进行正序拼接，通过前几轮问答和当前轮问题预测当前轮次的回答，用条件概率可表示为式9： 式中A代表目标预测的当前问题答案；P代表当前答案之前的所有轮次历史问答对及当前轮问题；通过条件概率相乘，得到当前问答题答案预测概率，x1,x2,…,xn-1代表输入序列的前n-1个位置。

全文数据：

权利要求：

百度查询： 电子科技大学 基于GPT2的云ERP社区生成式问答方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD