申请/专利权人：罗伯特·博世有限公司

申请日：2023-09-19

公开（公告）日：2024-03-19

公开（公告）号：CN117725982A

主分类号：G06N3/092

分类号：G06N3/092;G06N3/084

优先权：["20220919 DE 102022209845.5"]

专利状态码：在审-公开

法律状态：2024.03.19#公开

摘要：根据各种实施方式，描述了一种用于使用规划组件来训练代理的方法，具有：执行多个控制循环，以及训练所述规划组件以减少损失，所述损失包含由在控制循环中出现的从粗尺度状态到粗尺度后续状态的多个粗尺度状态转换中每个粗尺度状态转换的辅助损失，所述辅助损失代表由所述粗尺度状态的规划组件输出的值与针对该粗尺度状态转换获得的奖励和所述粗尺度后续状态的值的至少一部分的总和之间的偏差。

主权项：1.一种用于训练代理的方法，具有：执行多个控制循环，其中在每个控制循环中，规划组件接收环境的表示，所述表示包含关于所述环境的布局信息，其中根据粗尺度状态的网格将所述环境划分为粗尺度状态，使得每个能够在所述环境中采取的状态与能够在所述环境中采取的多个其他状态一起处于粗尺度状态；所述规划组件的神经网络从所述环境的表示中导出关于所述环境中状态的可穿越性的信息，并且所述规划组件基于关于可穿越性的信息和所述粗尺度状态的初步奖励信息向每个粗尺度状态分配一个值；以及在所述环境中由所述代理达到的多个状态的每一个状态中，演员神经网络从该状态的说明中以及从邻域中粗尺度状态的规划组件所确定的值中确定动作，所述邻域包含该状态所处的粗尺度状态以及与该粗尺度状态邻接的粗尺度状态；以及其中将所述规划组件训练为减少辅助损失，所述辅助损失包含由所确定的动作引起的从粗尺度状态到粗尺度后续状态的多个粗尺度状态转换中每个粗尺度状态转换的辅助损失，所述辅助损失代表由所述粗尺度状态的规划组件输出的值与针对该粗尺度状态转换获得的奖励和所述粗尺度后续状态的值的至少一部分的总和之间的偏差。

全文数据：

权利要求：

百度查询： 罗伯特·博世有限公司 用于训练代理的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD