申请/专利权人：昆明理工大学

申请日：2021-09-15

公开（公告）日：2022-09-23

公开（公告）号：CN113901791B

主分类号：G06F40/211

分类号：G06F40/211;G06F40/242;G06F40/247;G06N3/04;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2022.09.23#授权;2022.01.25#实质审查的生效;2022.01.07#公开

摘要：本发明涉及低资源条件下融合多策略数据增强的依存句法分析方法，属于自然语言处理领域。本发明包括：构造泰语、越南语和英语的同词性同义词典；利用同义词典对三种语言的小规模UDUniversalDependenciestreebanks数据集进行同义词替换扩充训练数据；利用多种mixup数据增强策略在模型训练不同阶段对训练数据中原词与同义词进行mixup产生虚拟新词进行后续训练。本发明针对低资源依存句法分析问题提出多种数据增强策略。提出的方法通过同义词替换有效扩充了训练数据，缓解了未知词问题。通过多种mixup的数据增强策略，有效缓解了模型过拟合问题，提高模型的泛化能力。

主权项：1.低资源条件下融合多策略数据增强的依存句法分析方法，其特征在于：所述方法的具体步骤如下：Step1、对获取的依存句法分析数据进行处理，再获取若干种不同语言的词语的同义信息，根据同义信息构建同词性同义词典；Step2、根据构建的同义词典，对数据集中的语料通过同义词直接替换的方式对其进行数据增强，获得若干种不同语言依存句法分析扩增的训练数据；Step3、根据构建的同义词典，得到训练数据中词语对应的同词性的同义词，通过多种mixup数据增强的方式在双仿射模型的Embedding阶段后、BiLSTM阶段后或经过MLP阶段后的不同模型位置对训练数据中原词与同义词进行mixup以产生虚拟新词，利用虚拟新词进行训练以及打分器打分；所述Step3包括：采用词语向量与词性标注向量拼接的形式作为模型输入，原词的输入向量为对应同义词的输入向量为其中ewi和edi分别对应原词向量和同义词向量，eti为词性标注向量；在Embedding阶段后融入mixup；在BiLSTM阶段后融入mixup；在MLP阶段后融入mixup；所述在Embedding阶段后融入mixup的具体步骤如下：Step3.2.1、经过Embedding过程后得到x原和x同，二者经过mixup的过程得到新的训练数据： 其中，w1和w2分别表示x原和x同，为新得到的虚拟的训练数据，λ是遵从beta分布，即λ～Betaα,α,α∈0,∞,λ∈[0,1]得到的参数；Step3.2.2、对于没有同义词的单词，w1和w2都用x原表示，经过同样的mixup过程产生训练数据；Step3.2.3、得到的带有的新的训练数据经过BiLSTM得到特征ri，使得每个输入元素都能联系上下文；Step3.2.4、ri经过两个不同的用于降维的多层感知机MLP后分别得到特征和 Step3.2.5、和经过双仿射打分器获得分数矩阵； 其中，矩阵H是经过MLP二次编码出来的特征向量h的堆栈形式，是分数矩阵；所述在BiLSTM阶段后融入mixup的具体步骤如下：Step3.3.1、原词和同义词一起经过Embedding过程后得到x原和x同，再一起经过BiLSTM阶段得到x原的带有上下文特征的ri和x同的带有上下文特征的ri′，之后二者经过mixup的过程得到新的训练数据； 其中，w1和w2分别表示ri和ri′，为新得到的虚拟的特征，λi是遵从beta分布，即λ～Betaα,α,α∈0,∞,λ∈[0,1]得到的参数，为每一对参与mixup的特征分配一个λi；Step3.3.2、对于没有同义词的单词，w1和w2都用ri表示，经过同样的mixup过程产生特征；Step3.3.3、得到的带有的新的特征后，后续过程同Step3.2.4以及Step3.2.5；所述在MLP阶段后融入mixup的具体步骤如下：Step3.4.1、原词和同义词一起经过Embedding过程后得到x原和x同，再一起经过BiLSTM阶段得到x原的带有上下文特征的ri和x同的带有上下文特征的ri′，之后一起经过两个不同的用于降维的多层感知机MLP，原词得到对应特征和同义词得到对应特征和最后在这个阶段分别mixup得到进入打分器的新特征； 其中，新得到的和为新的虚拟的特征；λi是遵从beta分布，即λ～Betaα,α,α∈0,∞,λ∈[0,1]得到的参数，为每一对参与mixup的特征分配一个λi；Step3.4.2、对于没有同义词的单词，和与和是一致的；Step3.4.3、得到新的训练数据后，打分过程同Step3.2.5。

全文数据：

权利要求：

百度查询： 昆明理工大学 低资源条件下融合多策略数据增强的依存句法分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD