申请/专利权人：太原理工大学

申请日：2021-12-22

公开（公告）日：2024-03-29

公开（公告）号：CN114329936B

主分类号：G06F30/20

分类号：G06F30/20;G06F119/02

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2022.04.29#实质审查的生效;2022.04.12#公开

摘要：本发明涉及一种基于多智能体深度强化学习的虚拟综采生产系统推演方法，根据综采工作面“三机”各自的结构参数与自由度特点进行煤机装备智能体本体的三维建模，以及根据煤层探测信息与采煤机截割信息进行虚拟煤层的建模；将建立的模型导入至Unity3D中，作为整个综采工作面“三机”的初始场景，将装备开采过程中的历史运行信息接入场景中，提取煤机装备运行关键信息作为初始运行的数据驱动来源；将装备运行数据进行集中迭代训练，采用分布式控制方式获得装备运行的决策信息，最终在决策结果的控制下实现综采工作面“三机”协同推进以及与工作空间的动态耦合，为综采工作面生产系统高效运行提供技术平台支撑。

主权项：1.一种基于多智能体深度强化学习的虚拟综采生产系统推演方法，其特征在于：根据综采工作面“三机”各自的结构参数与自由度特点进行煤机装备智能体本体的三维建模，以及根据煤层探测信息与采煤机截割信息进行虚拟煤层的建模；将建立的模型导入至Unity3D中，作为整个综采工作面“三机”的初始场景，将装备开采过程中的历史运行信息接入场景中，提取煤机装备运行关键信息作为初始运行的数据驱动来源；将装备运行数据进行集中迭代训练，采用分布式控制方式获得装备运行的决策信息，最终在决策结果的控制下实现采煤机智能体的调速、滚筒调高、推进，刮板输送机智能体自适应弯曲与推演下一循环开采轨迹，液压支架智能体的推溜、移架、升降柱、伸收互帮板以及智能体间的纠架，根据采煤机的截割信息进行煤层的更新；以上所述的“三机”为液压支架、刮板输送机和采煤机，所建立的煤机装备智能体为采煤机智能体、液压支架智能体群、刮板输送机智能体；在虚拟环境下，对煤机装备智能体的运动进行决策，实现综采工作面“三机”协同推进过程，包括以下步骤：1利用Unity3D的Ml-Agents插件构建运行环境，确定各智能体关于自身的信息以及关于其他智能体的信息，即自身的关节信息、在虚拟煤层上的方位信息、自身的关键运行动作信息，与其他智能体间的相对方位信息及其他智能体的自身的位置信息、关键运行动作信息；2煤机装备智能体根据当前的煤层环境以及装备间的相对状态信息进行选择并执行各自的动作，进而影响环境状态的转移与更新，该过程通过S,A1,…,An,T,R1,…,Rn分别表示状态集合S，动作集合Ai，奖励集合Ri，状态转移的概率T；3利用Unity3D中机器学习的“好奇心选项”，建立单个智能体的累积奖励机制如下:将st，at，st+1，输出为通过输入的st，at预测下一个状态与st+1的差距，差距越大，at对未知状态的好奇心越大，奖励越大；通过训练一个过滤器，将一些与煤机装备智能体行为无关的特性进行过滤，将过滤后的行为状态输入另外一个网络中，得到 4将整个开采过程的期望效果，即保证安全开采的前提下，实现最大开采率这一期望记为Qs,a，并将其分解为局部Qisi,ai的加权和，煤机装备智能体均有各自的局部值函数，将综采工作面“三机”的开采目标分解为单个煤机装备的运行目标； 5对单个煤机装备的运行决策过程进行整合，确定综采工作面“三机”运行的最大期望值，采用混合网络模块QMIX方法对单个煤机装备智能体的决策过程进行合并，最大化全局Qtot值对应的运行动作是各局部Qa值的组合； 6建立综采工作面“三机”多智能体在虚拟煤层上运行的全局Q值与单个设备的局部Q值的单调性约束关系，采用集中式的学习方法在考虑多智能体间的联合动作效应的前提下，去解决复杂煤层条件下开采过程中的不确定问题，从中提取单个煤机装备智能体的运行策略，进而实现分布式控制，约束关系如以下公式所示，其中n为装备智能体的个数： 7在训练的过程中，加入综采工作面开采过程的开采量、开采时间、留岩量以及综采工作面的平直度这些全局信息进行辅助训练，通过联合动作Q值指导策略的优化，同时个体能够从全局的Q值中提取局部的Qi值来完成各自的决策，实现多智能体的分布式控制；选择最大化全局Qtot值为迭代更新的目标，在每次迭代中选择各个智能体的动作； 8得到最优Qtot以及最优策略，建立了综采工作面“三机”的耦合推进运行机制，各煤机装备智能体按照各自的最优运行策略并结合整体的运行策略的指导实现综采工作面“三机”的耦合推演。

全文数据：

权利要求：

百度查询： 太原理工大学 基于多智能体深度强化学习的虚拟综采生产系统推演方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD