申请/专利权人：北京师范大学

申请日：2023-11-22

公开（公告）日：2024-04-09

公开（公告）号：CN117852618A

主分类号：G06N3/092

分类号：G06N3/092;G06N3/0464

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本发明公开了一种基于情景记忆深度Q网络的奖励获得方法，将情景记忆深度Q网络应用于稀疏奖励问题中，证明了情景记忆深度Q网络在稀疏奖励问题上的样本效率和有效性，从脑科学的角度解释了情景记忆深度Q网络能够有效解决稀疏奖励问题的深层原因，提供了一种具有较高生物可解释性的方法。本发明利用情景记忆深度Q网络可以更新更多的正奖励样本，充分利用正奖励，缓解由于正奖励样本数量与负奖励样本数量严重不平衡而导致智能体学习速度缓慢的问题。

主权项：1.一种基于情景记忆深度Q网络的奖励获得方法，其特征在于，包括以下步骤：S1、为智能体提供一个推断目标P和一个记忆目标M；S2、推断目标P采用一步自举更新；推断目标P的计算定义为：Pst，at＝rt+γmaxa′Qθst+1，a′1其中，st表示在t时刻智能体观测到的状态，at表示智能体在t时刻选择执行的动作，rt表示智能体在t时刻从环境获得的奖励；Qθ是用神经网络来近似的动作值函数，θ是神经网络的参数；γ是奖励折扣因子，用来调节近远期影响，决定了如何权衡当前奖励和未来奖励，取值范围γ∈[0，1]；a′表示智能体的下一个可能动作；S3、将记忆目标M定义为最佳记忆回报，实现情景记忆，根据经历的情境，存储在状态st下智能体执行动作at所能获得的最大回报；记忆目标M的计算公式为：Mst，at＝maxiRist，at，i∈{1，2，...，N}2其中N是从1开始的正整数，表示智能体已经经历的情景数量，Rist，at表示在第i个情景下，基于状态st智能体执行动作at所能获得的未来回报，是蒙特卡洛回报；S4、计算神经网络的损失函数，神经网络的损失函数包括两部分，分别为神经网络估计的值函数与推断目标P之间差的平方以及神经网络估计的值函数与记忆目标M之间差的平方；S5、对智能体进行迭代训练，通过最小化损失函数，优化神经网络的参数。

全文数据：

权利要求：

百度查询： 北京师范大学 一种基于情景记忆深度Q网络的奖励获得方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD