申请/专利权人：大连大学

申请日：2021-09-07

公开（公告）日：2024-02-13

公开（公告）号：CN113779196B

主分类号：G06F16/33

分类号：G06F16/33;G06F40/211;G06F40/247;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.02.13#授权;2021.12.28#实质审查的生效;2021.12.10#公开

摘要：本发明公开了一种融合多层次信息的海关同义词识别方法，包括：步骤1：将相同商品的所述要素短语作为同义词集合，获取多组同义词集合形成同义词识别的数据集；步骤2：将同义词集合进行向量编码转换，采用word2vec模型提取所述数据集中同义词的词向量特征，通过sentence‑BERT模型提取所述数据集中同义词的句向量特征；步骤3：把词向量特征和所述句向量特征分别送入双通道CNN层中进行特征提取，同时利用BiLSTM+attention网络提取所述同义词的语序信息和关键词信息；步骤4：将语序信息和关键词信息对应的特征进行拼接，再与BiLSTM+attention网络的输出层拼接，送入softmax层进行训练分类，得到同义词类别。本发明解决了同类商品要素短语稀疏造成的同义词识别困难问题，提高了同义词识别的准确率。

主权项：1.一种融合多层次信息的海关同义词识别方法，其特征在于，包括：步骤1：从海关进出口商品申报文本中提取描述商品属性的要素短语，将相同商品的所述要素短语作为同义词集合，获取多组所述同义词集合形成同义词识别的数据集；步骤2：将所述同义词集合进行向量编码转换，采用word2vec模型提取所述数据集中同义词的词向量特征，通过sentence-BERT模型提取所述数据集中同义词的句向量特征；步骤3：把所述词向量特征和所述句向量特征分别送入双通道CNN层中进行特征提取，同时利用BiLSTM+attention网络提取所述同义词的语序信息和关键词信息；步骤4：将所述语序信息和关键词信息对应的特征进行拼接，再与BiLSTM+attention网络的输出层拼接，送入softmax层进行训练分类，得到同义词类别；所述步骤2具体实现方式包括：步骤21.对所述同义词集合进行预处理，包括：去除特殊字符、停用词、否定词、异义词和全角半角转换；步骤22.制作句向量sentence-BERT的训练集；步骤23.采用中文预训练模型作为编码器构建sentence-BERT模型，设置最大句长为256维，超过部分将被截断，在池化层mean-pooling后加入一个512维的全连接层用来微调fine-tune，损失函数为Tanh，所述sentence-BERT模型训练输入两个句子，并根据实际两个句子的接近程度输出两个句向量表示，采用均方误差作为损失函数如公式1所示： 其中，yi是预测标签，是实际标签，N为总样本数；其次将同义词批量送入word2vec模型进行训练；故分别生成sentence-BERT同义词句向量信息和word2vec词嵌入信息；所述步骤3具体实现方式包括：步骤31.将sentence-BERT同义词句向量信息和word2vec词嵌入信息分别输入到textCNN两个通道作为输入，每个通道包含了3组不同大小的卷积核，计算公式如2所示； 其中，表示网络l层对第j个神经元的激活值，f为激活函数relu，为第i个特征值和当前层第j个特征值的卷积核，Mj为前一层特征数据集合，Bl为偏置项；所述步骤4具体实现方式包括：步骤41.BiLSTM+attention网络输出后的向量与通道卷积处理后的隐藏层向量进行拼接，构成了融合多层次信息的特征表示； 如公式6所示，BiLSTM模型提取同义词的语序信息，输出的隐藏层向量经过attention层提取关键特征，输出后的向量w3与双通道卷积处理后的w2v、sber的隐藏层向量w1、w2进行拼接，送入到分类器softmax之前，经过dropout层随机遮盖10％的数值，得到最终融合三组特征向量的特征D；步骤42.将拼接后的特征D送入全连接层进行分类。

全文数据：

权利要求：

百度查询： 大连大学 一种融合多层次信息的海关同义词识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD