申请/专利权人：电子科技大学

申请日：2023-10-09

公开（公告）日：2024-01-05

公开（公告）号：CN117350286A

主分类号：G06F40/289

分类号：G06F40/289;G06F40/284;G06N3/0455;G06F16/35;G06N3/084;G06N3/047

优先权：["20230714 CN 2023108718283"]

专利状态码：在审-实质审查的生效

法律状态：2024.01.23#实质审查的生效;2024.01.05#公开

摘要：本发明公开了一种面向意图驱动数据链网络的自然语言意图转译方法，属于数据链网络技术领域。本发明实现对用户输入的以自然语言表示的数据链网络意图进行精确转译。本发明运用Bert+CRF模型进行意图驱动的数据链网络的意图实体识别，采用预训练模型+模型微调的方式，减少了模型训练成本，能够很快完成对模型的参数调整和训练。采用模板匹配的方式将输出的网络意图转换为固定格式的网络配置文件，实现数据链网络意图的转译。

主权项：1.一种面向意图驱动数据链网络的自然语言意图转译方法，具体步骤如下：步骤1：数据链网络管理意图样本数据采集与标注；采集数据链网络相关的自然语言语料库，包括数据链网络的应用场景、性能指标、网络架构、网络管理、网络配置、网络运维；定义与网络管理、操作对象、期望状态、性能指标、时空约束；步骤2：中英文混合意图语句分词；采用Bert的WordPiece进行分词处理；分词后，根据步骤1中所标注的实体标签，采用BIO标注方法对采集的语料库中的每个字词进行标注，B表示实体开始，I表示实体中间和结尾，O表示非实体词语；步骤3：基于Bert模型的文本表征；采用基本Bert中文预训练模型，意图的原始输入是文本形式，无法被数学模型直接处理，需要将文本编码为数字向量的形式；Bert模型的输入采用了三种嵌入相加的形式，作为每一个符号对应的表征；以预训练的Transformer作为编码器，通过其注意力机制学习文本的上下文关系；随后，在模型的最上层加入一个随机初始化的分类器；在本发明中，将一个大小为h,k全连接层加入到Bert模型之上，作为一个从隐藏层h维向量到输出层k维向量的线性映射，其中k表示实体类型数量；步骤4：基于CRF模型的实体识别；在Bert模型完成文本的表征向量计算后，最后的全连接层将模型的输出映射到k维的空间，即得到了一个每个词对应的每个标签的分数；在最后一层后添加一个CRF层进行输出的约束；步骤5：Bert-CRF模型训练；将步骤1中采集标注的数据链网络意图语料库按照6:2:2的比例划分为训练集、验证集以及测试集；基于Bert的预训练模型，进行模型微调，以一个较小的学习率对步骤3中所述的编码器和分类器进行训练；在每一个epoch中，随机采样训练集数据依次执行步骤2、步骤3、步骤4，将预测的结果与步骤1中标注的标签进行对比，计算CRF的损失，反向传播损失，调整网络中各项权重以及CRF层中的转移矩阵；步骤6：模型部署应用；将步骤5中训练完成后的模型保存为离线文件，基于FlaskWeb框架部署其作为连续预测的模型并开放接口，输入为单条数据链意图语句，调用模型离线文件，分别执行步骤2至步骤4，输出该语句的意图实体识别结果；步骤7：模板匹配；步骤6中输出的实体识别结果没有区分步骤1中定义的操作、约束、对象，无法直接作为数据链网络管理的指令；通过模板匹配的方法，将实体类别映射为能够被意图网络处理的json语句，输入到下层的意图自动化系统中进行意图的下发；判断是否继续输入下一条意图，如果是，转到步骤6；否则转到步骤8；步骤8：结束。

全文数据：

权利要求：

百度查询： 电子科技大学 一种面向意图驱动数据链网络的自然语言意图转译方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD