申请/专利权人：渊慧科技有限公司

申请日：2022-10-06

公开（公告）日：2024-05-14

公开（公告）号：CN118043823A

主分类号：G06N3/088

分类号：G06N3/088;G06N3/0455;G06N3/047;G06N3/084

优先权：["20211006 US 63/252,617","20211006 US 63/252,979"]

专利状态码：在审-实质审查的生效

法律状态：2024.05.31#实质审查的生效;2024.05.14#公开

摘要：用于使用非自回归神经网络来生成输出序列的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。

主权项：1.一种训练神经网络系统的方法，所述神经网络系统包括解码器神经网络，所述解码器神经网络被配置为接收当前输出序列作为输入并且在以上下文输入为条件的同时处理所述当前输出序列以生成解码器输出，所述当前输出序列包括在多个输出位置中的每个输出位置处的输出词元的词表中的相应的输出词元，所述解码器输出针对所述多个输出位置中的每个输出位置包括针对所述输出词元的词表中的每个输出词元的相应的分数，所述方法包括：获得一批一个或多个训练示例，每个训练示例包括训练上下文输入和针对所述训练上下文输入的目标输出序列；针对所述批中的每个训练示例：通过以下操作来从所述目标输出序列生成损坏的输出序列：针对所述输出序列中的一个或多个词元中的每个词元用从所述词表中随机选择的词元替换所述输出序列中的所述输出词元；通过在一次或多次更新迭代中的每次更新迭代处进行以下操作来更新所述损坏的输出序列：在所述解码器神经网络以所述训练上下文输入为条件的同时使用所述解码器神经网络来处理截至所述更新迭代的所述损坏的输出序列，以生成针对截至所述更新迭代的所述损坏的输出序列的解码器输出；以及通过针对所述多个输出位置中的每个输出位置使用针对所述损坏的输出序列的所述解码器输出从所述输出词元的词表中选择词元，来更新所述损坏的输出序列；以及在所述解码器神经网络以所述训练上下文输入为条件的同时使用所述解码器神经网络来处理在最后更新迭代之后的更新后的损坏的输出序列，以生成针对更新后的损坏的输出序列的解码器输出；确定损失函数的关于所述解码器神经网络的参数的梯度，所述损失函数包括第一项，针对每个训练示例，所述第一项测量相对于所述目标输出序列的、针对所述最后更新迭代之后的更新后的损坏的输出序列的所述解码器输出的质量；以及使用所述梯度来更新所述解码器神经网络的所述参数。

全文数据：

权利要求：

百度查询： 渊慧科技有限公司 逐步展开降噪神经网络

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD