申请/专利权人：中国科学院沈阳自动化研究所

申请日：2021-06-17

公开（公告）日：2024-04-16

公开（公告）号：CN115494831B

主分类号：G05D1/43

分类号：G05D1/43

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2023.01.03#实质审查的生效;2022.12.20#公开

摘要：本发明构建了一种人机自主智能协同的跟踪方法，步骤为：1基于马尔科夫链对工业现场人机协同场景建立链式模型；2对人机协同行为和过程建立示教模型；3通过机器学习人机协同行为，并基于目标完成情况建立奖惩函数和协同策略规则；4对策略规则进行训练，寻找最优方案；5依据评价指标对训练好的策略进行测试，如果表现满足要求则将策略函数输出，否则回到3进行重新学习；6利用子目标评价函数对策略函数进行分类，并根据目标函数的偏好选取合适的策略函数。本发明收敛速度快，目标协同精度高，对快速移动或者速度变化频繁的人机协同任务目标性能好等优点，并在流水线机器人跟随作业、台车跟随注油等领域具有广阔的应用前景。

主权项：1.一种人机自主智能协同的跟踪方法，其特征在于，包括以下步骤：1建立人机协同场景链式模型：根据马尔科夫链模型建立一个五元组；2根据目标要求，进行人工示教，得到多个策略，构成训练集，所述策略为智能体的某一状态对此状态下所有可能的动作的映射；3智能体获取策略，并对其进行离散采样，分别提取每个策略中各个动作的参数数值和频率，进而得到智能体不同状态下每个动作的近似概率分布；4通过近似概率分布以及状态回报得到对应动作的奖励值，进而得到奖励函数；5基于奖励函数训练最优策略；6对最优策略的性能进行测试：依据评价函数判断最优策略是否满足要求，即将评价函数与阈值比较，若不满足要求，则执行步骤7，否则，执行步骤8；7将最优策略加入训练集中，并修改估计参数，返回步骤4重新估计奖励函数；8提取最优策略的偏好；9根据最优策略的偏好判断该策略是否存在部分优于现有策略，如果是，则将该策略加入现有策略，组成策略集，并修改估计参数，返回步骤4，否则，舍弃该策略；若连续舍弃次数满足设定次数，则执行步骤10，否则，修改估计参数，返回步骤4；10智能体根据最优策略的偏好进行策略集中的策略分类，完成模型构建，智能体根据模型中的策略进行自主跟踪。

全文数据：

权利要求：

百度查询： 中国科学院沈阳自动化研究所 一种人机自主智能协同的跟踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD