申请/专利权人：重庆邮电大学

申请日：2022-06-07

公开（公告）日：2024-04-19

公开（公告）号：CN114969343B

主分类号：G06F16/35

分类号：G06F16/35;G06F40/216;G06F40/30

优先权：

专利状态码：有效-授权

法律状态：2024.04.19#授权;2022.09.16#实质审查的生效;2022.08.30#公开

摘要：本发明涉及一种结合相对位置信息的弱监督文本分类方法，属于自然语言处理领域，包括以下步骤：S1：输入初始化种子词，以及与初始化种子词同类的为标记文档；S2：生成伪标签；S3：基于生成的伪标签训练Transformer文本分类器；S4：通过文本分类器为未标记的文本分配标签；S5：通过比较排序方法，更新每一个类别的种子词，返回步骤S2进行迭代训练。本发明提升了模型的学习能力，提高了分类的准确率。

主权项：1.一种结合相对位置信息的弱监督文本分类方法，其特征在于：包括以下步骤：S1：输入初始化种子词，以及与初始化种子词同类的为标记文档；S2：生成伪标签；S3：基于生成的伪标签训练Transformer文本分类器；S4：通过文本分类器为未标记的文本分配标签；S5：通过比较排序方法，更新每一个类别的种子词，返回步骤S2进行迭代训练；步骤S3中，使用Transformer的Enconder作为文本分类器；Transformer模型中位置编码计算公式如下： 其中，pos是指当前词在句子中的位置，i是指向量中每个值的索引，dmodel是指词向量的维度，在偶数位置使用正弦编码，在奇数位置使用余弦编码；将位置向量与词向量相加得到融合词向量；Transformer模型中多头自注意力机制计算公式如下： headi＝AttentionQWiQ，KWiK，VWiVMultiHeadQ，K，V＝Concathead1，head2，...，headhWO其中，WiQ、WiK、WiV∈Rdmodel×dk，WO∈Rdmodel×dmodel，i＝1，2，...，h，Q、K、V分别代表查询矩阵、键矩阵和值矩阵，Q、K、V的值同等于融合词向量矩阵；WiQ、WiK和WiV分别表示对Q、K、V进行线性变换的矩阵，将dmodel维的词向量映射到dk维空间；h代表头的数量，每个头能捕获文本序列中一个子空间信息，执行h次自注意力机制然后进行拼接，通过线性变换矩阵WO得到最终的多头自注意力值；在所述Transformer模型中引入相对位置编码，并且在每一层transformer的self-attention中都加入相对位置信息。

全文数据：

权利要求：

百度查询： 重庆邮电大学 结合相对位置信息的弱监督文本分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD