买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜清华大学申请的专利部分可观测马尔科夫决策问题的双循环式应用方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115356923B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210897910.9，技术领域涉及：G05B13/04；该发明授权部分可观测马尔科夫决策问题的双循环式应用方法及系统是由李升波;谷子青;郑四发;曹文涵;杨雨杰;李克强;成波设计研发完成，并于2022-07-28向国家知识产权局提交的专利申请。

本部分可观测马尔科夫决策问题的双循环式应用方法及系统在说明书摘要公布了：本申请公开了一种部分可观测马尔科夫决策问题的双循环式应用方法及系统，其中，方法包括：获取汽车的观测数据；在部分可观测马尔科夫决策过程中，基于观测数据以极大似然估计的方法构建历史信息表征的同时，将隐状态模型的梯度信息作为内在奖励函数，激励最优策略学习到环境中的不确定性，求解部分可观测马尔科夫决策的最优策略；以及基于部分可观测马尔科夫决策的最优策略生成汽车的最优控制策略。由此，能够满足在部分可观测及观测中带有噪声的不确定性场景中，求解最优策略，并满足相应的驾驶性能，提升了求解方法对观测不确定性的鲁棒性。

本发明授权部分可观测马尔科夫决策问题的双循环式应用方法及系统在权利要求书中公布了：1.一种部分可观测马尔科夫决策问题的双循环式应用方法，其特征在于，包括以下步骤：获取汽车的观测数据；在部分可观测马尔科夫决策过程中，基于所述观测数据以极大似然估计的方法构建历史信息表征的同时，将隐状态模型的梯度信息作为内在奖励函数，激励最优策略学习到环境中的不确定性，求解所述部分可观测马尔科夫决策的最优策略，具体包括：基于所述观测数据，确定隐状态空间、动作空间、观测空间、奖励函数、在所述隐状态空间上的状态转移模型、所述隐状态空间与所述观测空间的状态转移模型及折扣因子；根据所述隐状态空间、所述动作空间、所述观测空间、所述奖励函数、在所述隐状态空间上的状态转移模型、所述隐状态空间与所述观测空间的状态转移模型及所述折扣因子构建所述部分可观测马尔科夫决策过程；驱动所述部分可观测马尔科夫决策过程的外循环的观测状态转移模型与驱动所述部分可观测马尔科夫决策过程的内循环的隐状态转移模型均未知，其中，在构建所述部分可观测马尔科夫决策过程之后，还包括：在外循环中，选择一段观测状态序列作为输入，并定义外循环中的观测状态转移模型为隐状态空间的似然函数，以通过历史观测的似然隐状态驱动外部马尔科夫过程；在内循环中，建立随机隐状态转移模型，每次正向推理时，对参数服从的概率分布进行采样，并以采样到的参数值作为本次正向推理的参数值，且使用交互数据池中的变分下界对内循环中的随机隐状态转移模型进行更新，以通过所述随机隐状态转移模型驱动内部马尔科夫过程；以及基于所述部分可观测马尔科夫决策的最优策略生成所述汽车的最优控制策略，具体包括：加载所述最优策略对应的神经网络参数文件，并输入观测状态序列，映射得到所述最优控制策略。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人清华大学，其通讯地址为：100084 北京市海淀区清华园1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。