申请/专利权人：北京工业大学

申请日：2020-11-06

公开（公告）日：2024-04-16

公开（公告）号：CN112733498B

主分类号：G06F40/126

分类号：G06F40/126;G06F40/242;G06F40/44;G06F40/58;G06N3/045;G06N3/0464;G06N3/047;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.05.21#实质审查的生效;2021.04.30#公开

摘要：本发明公开了一种改进中文自动文本摘要自注意力计算的方法，本方法将中文自动文本摘要attention机制运用在中文文本摘要时计算的复杂度。首先对数据集划分为训练集与测试集。可用的摘要不仅需要保证生成的摘要是语言通顺的，还需要保证摘要表达的意思是文章的主要内容，且摘要表达了一个完整的语义。本发明除了关注改进attention的计算复杂度的同时，让其能够更好的运用在中文文本摘要领域方向。在原attention计算矩阵的时间复杂度为On2的基础上，将时间复杂度降低至On，同时该方法通用型也较强，能够运用在多种任务，不限于中文文本摘要。

主权项：1.一种改进中文自动文本摘要自注意力计算的方法，其特征在于，包括以下步骤：步骤1、收集微博文章摘要数据集，并对微博文本摘要数据进行清洗；步骤2、构建attention计算矩阵；步骤3、fine-tuning新的attention-based网络，直至模型收敛；步骤4、对步骤3构建的模型进行训练相同数据集，分别使用原有attention和改进后的空洞随机窗口attention进行训练；步骤5、使用步骤4的训练结果，选择在测试集上Rouge评分最优作为结果并计算；步骤2具体包括以下步骤：步骤2.1、使用在Transformer定义的Attention矩阵的基础上建立attention计算矩阵；步骤2.2、借助空洞卷积的思想对于每个“token”定义空洞率为2的空洞卷积局部attention矩阵步骤2.3、对每个“token”给予随机2-3个attention计算块，得到随机attention矩阵；步骤2.4、将每个“token”的空洞卷积attention矩阵和随机attention矩阵相结合得到空洞窗口随机矩阵；步骤3具体包括以下步骤：步骤3.1、选择损失函数为交叉熵损失函数： 步骤3.2、加载预训练模型，训练新的attention-based网络；步骤3.3、设置预训练模型后接的全连接网络节点个数为1024；步骤3.4、Dropout值设置为0.8；步骤3.5、观察Loss和Accuracy，当Loss与Accuracy收敛时停止迭代；步骤4具体包括以下步骤：步骤4.1、对于每一个input做embedding，得到n个embedding矩阵后分别计算attention；步骤4.2、使用相同的embedding，换成空洞随机窗口attention计算矩阵计算attention。

全文数据：

权利要求：

百度查询： 北京工业大学 一种改进中文自动文本摘要自注意力计算的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD