申请/专利权人:云知声智能科技股份有限公司;厦门云知芯智能科技有限公司
申请日:2021-01-31
公开(公告)日:2024-03-08
公开(公告)号:CN112749570B
主分类号:G06F40/58
分类号:G06F40/58;G06F40/289;G06N3/02
优先权:
专利状态码:有效-授权
法律状态:2024.03.08#授权;2021.05.21#实质审查的生效;2021.05.04#公开
摘要:本发明涉及一种基于多语种机器翻译的数据增强方法及系统,方法包括:利用预先训练的多语种翻译模型将原句从源语言翻译成目标语言,得到概率不同的多个候选译文,其中,源语言与目标语言相同;保留多个候选译文中与原句不完全相同的候选译文作为用于训练相应翻译模型的训练数据。本发明由于联合训练和知识迁移,多语种翻译模型中低资源和零资源语言的翻译受益于高资源语言,因此能够获得高质量、多样化的训练数据作为训练翻译模型的训练资源,有利于模型性能的提高;并且,由于多语种翻译模型具有多语种翻译和零资源翻译的能力,可以实现多个语种的同种语言间翻译,因此只需要训练一个多语种翻译模型即可进行多个语种的数据增强,降低资源成本。
主权项:1.一种基于多语种机器翻译的数据增强方法,其特征在于,包括:采用训练数据训练多语种翻译模型,训练数据包含多种语言对的双语平行语料;并为每个源句添加目标语言标记;用基于神经网络编码器-解码器的机器翻译模型,读取上述训练数据进行模型训练,得到多语种翻译模型,该模型具备翻译成指定语种的翻译能力;利用预先训练的多语种翻译模型将原句从源语言翻译成目标语言,得到概率不同的多个候选译文,其中,所述源语言与目标语言相同;用beamsearch算法来生成top-n个候选译文,设beam_size=n,在decoder解码过程中:步骤1.生成第1个词时,选择概率最大的n个词作为候选结果;步骤2.生成第2个词时,将步骤1中的候选结果分别与训练模型时词表中生成的词进行组合得到新的序列,选择概率最大的n个序列作为候选结果;步骤3.重复步骤2,直到遇到结束符或者达到最大长度为止,最终输出得分最高的n个序列,即top-n个候选译文;保留所述多个候选译文中与所述原句不完全相同的候选译文作为用于训练相应翻译模型的训练数据。
全文数据:
权利要求:
百度查询: 云知声智能科技股份有限公司;厦门云知芯智能科技有限公司 一种基于多语种机器翻译的数据增强方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。