申请/专利权人：桂林电子科技大学

申请日：2021-11-16

公开（公告）日：2024-03-26

公开（公告）号：CN114020900B

主分类号：G06F16/34

分类号：G06F16/34;G06F16/33;G06F16/31;G06N20/00

优先权：

专利状态码：有效-授权

法律状态：2024.03.26#授权;2022.02.25#实质审查的生效;2022.02.08#公开

摘要：本发明公开了一种基于融合空间位置注意力机制的图表英语摘要生成方法，包括1）创建图表英语摘要描述数据集；2）数据变量替换图表数据值；3）基于空间关系的词向量位置编码；4）采用DiverseBeamSearch搜索词向量结果。这种方法基于融合空间位置注意力机制，采用数据变量替换图表数据值、采用空间注意力机制的方式学习词之间的关系、增强词向量与词向量之间的空间位置关系和正确的词位置排序、采用DiverseBeamSearch搜索更好的词向量结果，能提高生成图表英语摘要的质量。

主权项：1.一种基于融合空间位置注意力机制的图表英语摘要生成方法，其特征在于，包括如下步骤：1创建图表英语摘要描述数据集：选择公开网站的数据作为模型训练的数据来源，创建图表英语摘要描述数据集，该数据集由条形图和折线图组成，采用爬虫框架抓取8300条数据，8300条数据分别包括广告业、农业、化工业、建造业、消费业、电子商务业、经济业、能源与环境业、金融与保险业、健康与医疗业、互联网业、生活业、媒体业、金属与电子业、房地产业、零售业、服务业、社会业、运动休闲业、科技与电信业、运输与物流业、旅行、旅游与酒店业22个行业的数据统计表格、表格标题和对图表描述的英语摘要，采用TransChartText的英语摘要生成任务通过给定结构化的数据生成描述性的英语摘要：模型输入的结构化数据由记录表组成，其中，每条记录表包括标题ri0、表格单元格的值ri1、列索引值ri2、图表的类型ri3，输出的w＝w1+.....+wi是基于图表的描述性英语摘要向量，i表示文本的长度，数据到英语摘要的生成概率权重如公式1、公式2所示： 其中w＝w1+.....+wi表示生成的英语摘要向量、W表示模型参数；2数据变量替换图表数据值：采用数据变量替换图表数据值，在数据变量中定义七类数据变量，它们分别是标题实体变量、日期、x轴标签、y轴标签、表格单元格的数据、条形图和折线图趋势、占比，对于所定义的七个变量，采用命名识别构建变量模板数据库，在数据进入编码器的时候，首先，修改英语摘要，用预选设置的变量模板来替换摘要中的数值，将数值映射到某类别变量，然后，将修改后的摘要用来模型的训练和预测，最后，将生成的索引和预定义的数据变量进行匹配，生成摘要；3基于空间关系的词向量位置编码：采用空间注意力机制的方式学习词之间的关系，其中表示词向量ri的空间位置关系特征，表示词向量ri的词向量特征，表示词向量rj的空间位置关系特征，表示词向量rj的词向量特征，表示词向量ri与其它词向量之间的位置关系，在位置嵌入编码模块，对于向量ri，1≤i≤n，计算向量ri空间注意力权重，获取与其它单词的空间位置关系，并融合ri的词向量特征，作为向量ri的最终语义表示进行输出，定义如公式3所示进行变换操作： 其中wA表示词向量的长度，计算给定单词向量ri和rj间的位置关系，定义如公式4所示计算空间位置注意力权重： 其中表示ri的空间位置关系特征，表示rj的空间位置关系特征，εG是由cos和sin函数构成，在TransChartTextEncoder模块嵌入一组Relation模块，每个Relation模块都采用词向量空间位置特征作为输入，采用公式5学习与另外词向量之间的位置关系来更新词向量的表示： 最后通过融合一组Relation模块得到并与当前模块的词向量特征进行融合，作为当前词向量的语义表示，计算公式如公式6所示： 其中Concat表示对所有词向量进行拼接操作，Transformer编码模块不仅记录对应词向量与其它向量之间的位置关系，而且还采用Self-Attention更新语义信息表示，Self-Attention将词向量映射得到矩阵查询矩阵Q、键矩阵K和值矩阵V，计算方式如公式7所示：Q＝XWQ,K＝XWK,V＝XWV7，其中X表示输入的编码后的特征词向量，WQ，WK，WV表示权重矩阵，它们通过模型的训练获得，n个单向量的语义信息表示采用如公式8所示计算： Transformer词向量的编码器采用Multi-head-Attention将多个Self-Attention得到的语义信息进行拼接，计算方式如公式9所示：MultiHeadQ,K,V＝Concathead1,…,headhW9；4采用DiverseBeamSearch搜索词向量结果：最终采用DiverseBeamSearch搜索更好的词向量结果，Transformer解码器是根据编码器的输出词向量和上一个单词的词向量预测下一个单词，解码器通过条件概率选择当前时间序列局部最优的候选值加入单词序列y，解码器计算方式如公式10、11所示：θyt＝logPryt∣yt-1,...,y1,x10， 其中x表示编码器的输出向量，yt表示在t时刻基于上一个单词预测的词向量，θyt表示当前词向量的条件概率、θyt的值取决于前t-1输出的词向量，y[t-1]，Θy[t]表示t个词向量的条件概率，采用DiverBeamSearch集束搜索算法，将Y[t]分成G组Yg[t]进行词序列的搜索，产生多个词序列进行选择，其中，g∈[G]，DiverBeamSearch算法中每一组有BG个候选词向量，引入ΔY[t]惩罚因子用来保证组与组之间的差异，DiverBeamSearch算法计算方式如公式12所示： 其中λ是控制分组的惩罚项。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 基于融合空间位置注意力机制的图表英语摘要生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD