【发明公布】序列标注模型及序列标注方法_南京邮电大学_202011577267.9 

申请/专利权人:南京邮电大学

申请日:2020-12-28

发明/设计人:王进;章韵

公开(公告)日:2021-04-13

代理机构:南京苏科专利代理有限责任公司

公开(公告)号:CN112651245A

代理人:姚姣阳

主分类号:G06F40/295(20200101)

地址:210012 江苏省南京市鼓楼区新模范马路66号

分类号:G06F40/295(20200101);G06N3/04(20060101);G06N3/08(20060101)

优先权:

专利状态码:在审-公开

法律状态:2021.04.13#公开

摘要:本发明提供了一种序列标注模型及序列标注方法,包括输入层,BiLSTM网络层和CRF层。利用该模型进行序列标注任务时,首先在输入层加入ELMo字向量作为额外特征,使每个字符的表示是其字符向量和ELMo表示的拼接,其次在BiLSTM网络层中除了使用正向LSTM网络学习每个字符的历史特征,也以逆序将序列输入到反向LSTM网络中学习每个字符的后续特征,将字符的上下文特征拼接输入到CRF层,最后使用条件随机场进行联合建模得到全局最优的标签序列。本发明提供的方法在中文命名实体识别的数据集如Boson、LDC2009等上取得了良好的性能,其平均性能F1值提高了4.95%。

主权项:1.一种序列标注模型,其特征在于,所述序列标注模型采用的基本框架是BiLSTM-CRF模型,并添加预训练的语言模型ELMo的字向量作为额外特征,所述序列标注模型包括:输入层:用于输入由n个字符组成的句子sentence=w1w2...wn,并通过查询字向量表将所述句子中的每一字符映射为向量序列,所述输入层引入ELMo的字向量作为额外特征;BiLSTM网络层:包括前向长短时记忆网络LSTM和后向长短时记忆网络LSTM,所述前向长短时记忆网络LSTM用于作为从后往前计算序列的表示,所述后向长短时记忆网络LSTM用于作为反向计算相同序列的表示,所述BiLSTM网络层用于接收输入层中得到的向量序列并作为输入,以获得每个字符的上下文特征;CRF层:用于接收BiLSTM网络层的输出,并引入转移矩阵来对整个句子的向量序列进行全局最优解码。

全文数据:

权利要求:

百度查询: 南京邮电大学 序列标注模型及序列标注方法