申请/专利权人：南宁学院

申请日：2018-09-04

公开（公告）日：2021-04-13

公开（公告）号：CN109240227B

主分类号：G05B19/418(20060101)

分类号：G05B19/418(20060101);G06N20/00(20190101)

优先权：

专利状态码：有效-授权

法律状态：2021.04.13#授权;2019.02.19#实质审查的生效;2019.01.18#公开

摘要：本发明提供了一种基于分时控制交接控制权的现场控制方法，包括如下步骤：1.模型训练：保持信号通路为信号接收端‑现场控制器‑指令发送端，获取现场控制器发送的指令和接收的数据，并根据获取到的发送的指令和接收的数据训练环境模型，环境模型训练完毕则进入下一步骤，否则重复该步骤；2.策略调整；3.介入控制。本发明通过三阶段渐进交接的方式，能够提供在线训练的基础，便于企业有效降低人力物力的投入、缩短研发周期，能顺畅完成控制权从传统的现场控制器到机器学习的插入控制器的交接。

主权项：1.一种基于分时控制交接控制权的现场控制方法，其特征在于：包括如下步骤：1.模型训练：保持信号通路为信号接收端-现场控制器-指令发送端，获取现场控制器发送的指令和接收的数据，并根据获取到的发送的指令和接收的数据训练环境模型，环境模型训练完毕则进入下一步骤，否则重复该步骤；策略模型采用如下方式更新：a.计算当前接收的数据与上一控制器周期中环境模型计算得到的模拟数据的误差值；b.根据误差值更新策略模型的值函数；c.将当前接收的数据代入至策略模型中计算当前输出指令值；d.将当前输出指令值代入至环境模型中计算模拟数据；e.将当前输出指令发送，然后等待下一控制器周期接收数据；2.策略调整：每经过N次现场控制器信号收发周期则将信号通路切换为信号接收端-插入控制器-指令发送端，每次将信号通路切换为信号接收端-插入控制器-指令发送端时为插入一个控制器周期，每个周期内插入控制器利用接收的数据和环境模型根据上一控制器周期计算得到的模拟数据更新策略模型，策略模型更新完成则进入下一步骤，否则重复该步骤；3.介入控制：保持信号通路为信号接收端-插入控制器-指令发送端，插入控制器通过策略模型控制，并于每M个信号收发周期更新策略模型。

全文数据：一种基于分时控制交接控制权的现场控制方法技术领域本发明涉及一种基于分时控制交接控制权的现场控制方法。背景技术目前，机器学习在工业控制中的应用逐渐增多，然而当下本地企业普遍遇到的最大麻烦在于数据严重匮乏，这导致机器学习的控制器难以训练完成，一种折中方案是，分两期进行，先采集一段时间数据，同时完成机器学习控制器的代码，然后根据所采集的少量数据进行训练，得到一期机器学习控制器，将之投入使用，在使用过程中继续采集数据较长时间，然后根据全部采集的数据重新训练机器学习模型并调整算法，得到二期机器学习控制器，将二期机器学习控制器用于最终控制。然而，采用这种方式，一来研发周期过长，二来人力物力投入极高，对企业而言不如直接聘请操作工人。为解决上述问题，本公司设计了如图1所示的一种基于分时控制交接控制权的现场控制系统已另外申请专利，该现场控制系统能够从硬件上保证从传统的现场控制器向机器学习为控制核心的控制器进行控制权交接可以是一个逐步更替的过程，然而具体如何完成控制权交接，现有技术并未提供技术启示。发明内容为解决上述技术问题，本发明提供了一种基于分时控制交接控制权的现场控制方法，该基于分时控制交接控制权的现场控制方法通过三阶段渐进交接的方式，能够提供在线训练的基础，便于企业有效降低人力物力的投入、缩短研发周期。本发明通过以下技术方案得以实现。本发明提供的一种基于分时控制交接控制权的现场控制方法，包括如下步骤：1.模型训练：保持信号通路为信号接收端-现场控制器-指令发送端，获取现场控制器发送的指令和接收的数据，并根据获取到的发送的指令和接收的数据训练环境模型，环境模型训练完毕则进入下一步骤，否则重复该步骤；2.策略调整：每经过N次现场控制器信号收发周期则将信号通路切换为信号接收端-插入控制器-指令发送端，每次将信号通路切换为信号接收端-插入控制器-指令发送端时为插入一个控制器周期，每个周期内插入控制器利用接收的数据和环境模型根据上一控制器周期计算得到的模拟数据更新策略模型，策略模型更新完成则进入下一步骤，否则重复该步骤；3.介入控制：保持信号通路为信号接收端-插入控制器-指令发送端，插入控制器通过策略模型控制，并于每M个信号收发周期更新策略模型。所述训练环境模型采用RNN算法。所述环境模型的输入为控制器发送的指令，输出为之后第N信号收发周期接收的数据。所述步骤2中，策略模型采用如下方式更新：a.计算当前接收的数据与上一控制器周期中环境模型计算得到的模拟数据的误差值；b.根据误差值更新策略模型的值函数；c.将当前接收的数据代入至策略模型中计算当前输出指令值；d.将当前输出指令值代入至环境模型中计算模拟数据；e.将当前输出指令发送，然后等待下一控制器周期接收数据。所述策略模型更新完成的条件为，接收的数据和环境模型根据上一控制器周期计算得到的模拟数据之间相似度大于90％。所述M和N均为10～20。所述M和N相等。所述环境模型训练完毕的条件为，环境模型根据现场控制器发送指令计算得到模拟数据和接收的数据之间相似度大于90％。本发明的有益效果在于：通过三阶段渐进交接的方式，能够提供在线训练的基础，便于企业有效降低人力物力的投入、缩短研发周期，能顺畅完成控制权从传统的现场控制器到机器学习的插入控制器的交接。附图说明图1是本发明所应用的现场控制系统的连接示意图。具体实施方式下面进一步描述本发明的技术方案，但要求保护的范围并不局限于所述。本发明应用于如图1所示的基于分时控制交接控制权的现场控制系统，具体是一种基于分时控制交接控制权的现场控制方法，包括如下步骤：1.模型训练：保持信号通路为信号接收端-现场控制器-指令发送端，获取现场控制器发送的指令和接收的数据，并根据获取到的发送的指令和接收的数据训练环境模型，环境模型训练完毕则进入下一步骤，否则重复该步骤；2.策略调整：每经过N次现场控制器信号收发周期则将信号通路切换为信号接收端-插入控制器-指令发送端，每次将信号通路切换为信号接收端-插入控制器-指令发送端时为插入一个控制器周期，每个周期内插入控制器利用接收的数据和环境模型根据上一控制器周期计算得到的模拟数据更新策略模型，策略模型更新完成则进入下一步骤，否则重复该步骤；3.介入控制：保持信号通路为信号接收端-插入控制器-指令发送端，插入控制器通过策略模型控制，并于每M个信号收发周期更新策略模型。所述训练环境模型采用RNN算法。所述环境模型的输入为控制器发送的指令，输出为之后第N信号收发周期接收的数据。所述步骤2中，策略模型采用如下方式更新：a.计算当前接收的数据与上一控制器周期中环境模型计算得到的模拟数据的误差值；b.根据误差值更新策略模型的值函数；c.将当前接收的数据代入至策略模型中计算当前输出指令值；d.将当前输出指令值代入至环境模型中计算模拟数据；e.将当前输出指令发送，然后等待下一控制器周期接收数据。所述策略模型更新完成的条件为，接收的数据和环境模型根据上一控制器周期计算得到的模拟数据之间相似度大于90％。所述M和N均为10～20。M和N实质上是控制指令作用在真实环境中而产生具体反馈的作用时间，故具体的应根据所用环境有所不同，如在电厂冷却水排放控制中最优选为17。所述M和N相等。所述环境模型训练完毕的条件为，环境模型根据现场控制器发送指令计算得到模拟数据和接收的数据之间相似度大于90％。本发明实质上是通过三个阶段完成强化学习模型对现有的现场控制器的控制权交接，环境模型和策略模型均在插入控制器中执行，整体而言，是第一步先通过实时采集现有数据进行环境模型的建模，极大降低收集数据所需的时间和成本，在环境模型完成后就可以对策略模型建模，但策略模型需要实际交互，因此第二步就是通过适当的交互来训练策略模型实际上也可以通过环境模型虚拟训练，但那样结果不够准确，因此采用策略模型在适当周期内直接与真实环境交互是个成本低而又能够被系统容错机制基于现场控制器的稳定性接受的方式，当环境模型和策略模型都训练完成，则强化控制模块的控制已经成熟并可投入使用，此时进入到第三步完成控制交接即可有效利用强化学习根据环境调整控制策略的优势，基于机器学习技术而实现适应性更强、准确度更高的现场控制。

权利要求：1.一种基于分时控制交接控制权的现场控制方法，其特征在于：包括如下步骤：1.模型训练：保持信号通路为信号接收端-现场控制器-指令发送端，获取现场控制器发送的指令和接收的数据，并根据获取到的发送的指令和接收的数据训练环境模型，环境模型训练完毕则进入下一步骤，否则重复该步骤；2.策略调整：每经过N次现场控制器信号收发周期则将信号通路切换为信号接收端-插入控制器-指令发送端，每次将信号通路切换为信号接收端-插入控制器-指令发送端时为插入一个控制器周期，每个周期内插入控制器利用接收的数据和环境模型根据上一控制器周期计算得到的模拟数据更新策略模型，策略模型更新完成则进入下一步骤，否则重复该步骤；3.介入控制：保持信号通路为信号接收端-插入控制器-指令发送端，插入控制器通过策略模型控制，并于每M个信号收发周期更新策略模型。2.如权利要求1所述的基于分时控制交接控制权的现场控制方法，其特征在于：所述训练环境模型采用RNN算法。3.如权利要求1所述的基于分时控制交接控制权的现场控制方法，其特征在于：所述环境模型的输入为控制器发送的指令，输出为之后第N信号收发周期接收的数据。4.如权利要求1所述的基于分时控制交接控制权的现场控制方法，其特征在于：所述步骤2中，策略模型采用如下方式更新：a.计算当前接收的数据与上一控制器周期中环境模型计算得到的模拟数据的误差值；b.根据误差值更新策略模型的值函数；c.将当前接收的数据代入至策略模型中计算当前输出指令值；d.将当前输出指令值代入至环境模型中计算模拟数据；e.将当前输出指令发送，然后等待下一控制器周期接收数据。5.如权利要求1所述的基于分时控制交接控制权的现场控制方法，其特征在于：所述策略模型更新完成的条件为，接收的数据和环境模型根据上一控制器周期计算得到的模拟数据之间相似度大于90％。6.如权利要求1所述的基于分时控制交接控制权的现场控制方法，其特征在于：所述M和N均为10～20。7.如权利要求1所述的基于分时控制交接控制权的现场控制方法，其特征在于：所述M和N相等。8.如权利要求1所述的基于分时控制交接控制权的现场控制方法，其特征在于：所述环境模型训练完毕的条件为，环境模型根据现场控制器发送指令计算得到模拟数据和接收的数据之间相似度大于90％。

百度查询： 南宁学院 一种基于分时控制交接控制权的现场控制方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD