申请/专利权人：齐齐哈尔大学

申请日：2024-01-12

公开（公告）日：2024-04-16

公开（公告）号：CN117891949A

主分类号：G06F16/35

分类号：G06F16/35;G06F40/284;G06N3/0455;G06N3/0464;G06N3/084;G06N3/0985

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.03#实质审查的生效;2024.04.16#公开

摘要：一种基于U形卷积网络的文本分类方法，属于自然语言处理领域，具体方案包括以下步骤：首先将待分类的句子输入到Bert预训练模型中进行预处理得到输入数据；然后将数据依次送入到三层编码器和三层解码器中，编码器和解码器之间进行跳级连接；其中编码器负责提取语义的层次信息，解码器负责还原细粒度信息并且将层次信息和恢复的细粒度信息进行结合。最后经过输出处理层以及分类器得到句子所属的类别。本发明所提供的基于U形卷积网络的文本分类方法，能够获取细粒度信息，通过卷积网络能够减少参数量并且相较于循环神经网络在一定程度上提高了模型的并发能力。

主权项：1.一种基于U形卷积网络的文本分类方法，其特征在于,包括以下步骤：步骤一、获取句子集合后使用Bert的分词器对每个句子进行预处理后，得到词条列表集合D＝{d1,d2,…di,…dn}，其中di表示第i条词条列表，n表示词条列表的数量；设置数据集的标签Label＝{l1,l2,…li,…ln}，其中li表示di的标签；步骤二、对步骤一中得到的D输入到预训练模型Bert中进行特征提取，之后取Bert输出的最后一层特征其中m为特征维度，l为句子长度；步骤三、将得到的特征h输入到输入处理层InputProcessingLayer中，输入处理层为一个一维卷积，该卷积操作通过参数设置不改变句子的长度，并且卷积核的个数为128，处理后得到步骤四、编码器一共有三层，分别为编码器1、编码器2、编码器3，其中每层编码器均包含一维卷积操作和池化层操作，每一层编码器中一维卷积操作均不改变句子长度，卷积核数量呈倍数增长，依次为256，512，1024；每一层池化层操作均将句子长度变为上一层编码器输出的句子长度的一半；将input送入编码器1中，顺序执行，将每层输出记录为EncoderOutj，编码器3得到的输出为步骤五、解码器一共有三层，分别为解码器1、解码器2、解码器3，将得到的EncoderOut3输入到解码器3中，逆序执行，在每层解码器中均包含一维反卷积操作、拼接操作和一维卷积操作，第j层解码器中一维反卷积操作将句子长度扩展为当前输入句子长度的两倍并且特征维度变为当前输入的一半，输出记为TransCovOutj，将j-1层编码器的输出EncoderOutj-1与第j层解码器中一维反卷积操作的输出TransCovOutj在特征维度进行拼接得到ConcatOutj，最后将ConcatOutj输入到第j层解码器中的一维卷积操作中得到DecoderOutj，将DecoderOutj作为下一层解码器的输入依次执行反卷积操作、拼接操作和一维卷积操作，直至得到DecoderOut1，其中，每层解码器中一维卷积核数量成倍减少，依次为512，256，128；步骤六、将得到的解码器1中的输出即DecoderOut1输入到输出处理层OutputProcessingLayer中，其包含一个卷积操作和全局池化操作，卷积操作依旧不改变句子的长度，其包含128个卷积核，处理后得到最后将其送到全局池化层中，池化操作作用在整个长度维度，池化前长度为l，池化后长度变为1，最后得到步骤七、将得到的PoolOut送入到分类器中，得到所有类别的分数其中batch表示输入的批次大小，categories表示分类的类别；步骤八、将分数score与标签Label使用交叉熵函数计算损失，并且根据交叉熵损失函数更新模型参数降低损失，直到模型收敛为止。

全文数据：

权利要求：

百度查询： 齐齐哈尔大学 基于U形卷积网络的文本分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD