申请/专利权人：索尼集团公司;美国索尼公司

申请日：2020-02-25

公开（公告）日：2024-01-19

公开（公告）号：CN113574547B

主分类号：G06N20/00

分类号：G06N20/00

优先权：["20190320 US 62/821,243"]

专利状态码：有效-授权

法律状态：2024.01.19#授权;2021.11.16#实质审查的生效;2021.10.29#公开

摘要：双演员评论家DAC强化学习算法提供稳定的策略改进和激进的神经网络优化，而不会对策略进行灾难性过度拟合。DAC使用离线和在线学习这两者中的任意数据历史来训练模型，并且能够被用于平滑地改进通过某种其他手段学习或定义的现有策略。最后，DAC能够优化具有离散和连续动作空间的强化学习问题。

主权项：1.一种强化学习的方法，所述方法用于通过使用双演员评论家算法来控制代理，所述代理是机器人，所述方法包括：使用动作-值模型来训练策略模型，所述动作-值模型在所述代理的一个或多个处理器内估计以下项：在假设的动作是在所述代理的当前观测下选择的并且所述代理的行为此后被遵循的情况下会收到的预期的未来折扣奖励，其中所述当前观测包括由所述代理从一个或多个传感设备接收的信息；以及维护所述动作-值模型和所述策略模型这两者的陈旧副本，其中，所述陈旧副本与新鲜副本相同地被初始化并且随着对所述新鲜副本执行学习更新而使用小批集方法以逐步方式移动以匹配所述新鲜副本，其中，所述算法具有使用先前收集的数据来训练所述算法的离线变体和在所述算法训练所述策略模型时收集数据的在线变体这两者，其中所述离线变体被用于更新所述陈旧副本。

全文数据：

权利要求：

百度查询： 索尼集团公司;美国索尼公司 通过双演员评论家算法进行强化学习

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD