申请/专利权人：江南大学

申请日：2021-12-30

公开（公告）日：2024-04-02

公开（公告）号：CN114297390B

主分类号：G06F16/35

分类号：G06F16/35;G06F40/30;G06F40/284;G06F18/214;G06F18/2415;G06F18/2431;G06N3/0442;G06N3/049;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.04.26#实质审查的生效;2022.04.08#公开

摘要：本发明公开了一种长尾分布场景下的方面类别识别方法及系统，属于自然语言处理技术领域。本发明的方法基于一种在长尾分布场景下的的方面类别识别系统，该系统聚焦数据长尾分布特点，首先得到句子细粒度方面特征向量，提供额外的上下文方面级语义信息；然后加入一种基于长尾分布的融合上下文方面级语义信息的注意力机制，加强模型捕捉与方面类别最相关的信息的能力，同时提出一种改进的分布平衡损失函数缓解长尾多标签文本分类任务中的标签共现以及负类优势的问题，有效地提升了具有长尾分布特点的方面类别识别效果。

主权项：1.一种长尾分布场景下的方面类别识别方法，其特征在于，所述方法对数据集中的N个句子进行方面类别的识别，其中，Sl＝{w1,w2,…,wn}为所述数据集D中的第l个句子，由n个词组成，wn表示所述第l个句子Sl中第n个词；是所述第l个句子Sl对应的方面类别标签；所述方法包括：步骤1：预先定义m个方面类别，用A＝{a1,a2,…,am}表示，其中am为描述第m个方面的单词或词组，步骤2：构建词嵌入矩阵E1∈R|V|×d，每个词wi通过所述词嵌入矩阵E1中映射为其中|V|为所述数据集D中所有词的大小，d是词向量的维度；同时构建方面类别嵌入矩阵E2∈Rm×d，每个词ai通过所述方面类别嵌入矩阵E2中映射为分别得到文本嵌入向量和方面嵌入向量步骤3：将所述文本嵌入向量与所述方面嵌入向量输入到长短时记忆网络LSTM中，得到该句子的网络输出隐藏状态和步骤4：将所述隐藏状态Hw和Ha输入到IAN-LoT机制中，得到融合长尾分布特点的总的方面向量表示s；步骤5：将所述总的方面向量s输入到融合上下文方面级语义信息的注意力机制，计算融合向量步骤6：使用所述融合向量向量作为预测的句子表示，如公式1所示，对于第j个方面类别： 其中，Wj∈Rd×1，bj为一个标量，为第j个方面类别的预测结果，当大于分类阈值时，认为句子包含第j个方面类别；所述IAN-LoT机制中计算融合长尾分布特点的总的方面向量的步骤包括：步骤41：对于输入的隐藏状态Hw和Ha计算交互注意力权重矩阵I∈Rn×m，如公式2所示： 步骤42：对所述交互注意力权重矩阵的每一行进行softmax计算，如公式3所示： 其中，kij为矩阵k∈Rn×m的第i行第j列元素，k表示文本对方面的注意力权重，Iij为矩阵I中第i行第j列的元素；步骤43：然后对于矩阵k引入数据长尾分布特点，如公式4所示： 其中，为引入长尾分布的文本对于每个方面的权重信息，β∈R1×m代表预先学习到的长尾分布特点，为训练集中有效样本的数量倒数，m为方面类别的个数；步骤44：对于进行最大池化，得到融入长尾分布特点的细粒度的文本对于方面的权重信息IL，进而将此权重信息与方面类别的嵌入向量表示相乘，得到最终的总的方面向量表示s，如公式5所示： 其中，s∈R1×d。

全文数据：

权利要求：

百度查询： 江南大学 一种长尾分布场景下的方面类别识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD