申请/专利权人：大连理工大学

申请日：2022-03-07

公开（公告）日：2024-04-02

公开（公告）号：CN114675535B

主分类号：G05B13/04

分类号：G05B13/04

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.07.15#实质审查的生效;2022.06.28#公开

摘要：本发明提供一种基于强化学习的航空发动机过渡态寻优控制方法，属于航空发动机过渡态技术领域。包括：基于现有的某型双轴涡轮风扇发动机模型，将其调整为适用于调用强化学习算法的模型；为了同时满足实时模型的高位状态空间和连续动作输出，设计Actor‑Critic网络模型；设计基于Actor‑Critic框架的深度确定性策略梯度算法，以便同时解决高维状态空间和连续动作输出的问题；在将Actor‑Critic框架与DDPG算法结合之后，进行模型的训练；发动机加速过渡的控制规律是由上述训练过程得到的，应用此方法对发动机加速过程进行控制。

主权项：1.一种基于强化学习的航空发动机过渡态寻优控制方法，其特征在于，包括以下步骤：S1基于某双轴涡轮风扇发动机模型，将其调整为适用于调用强化学习算法的模型；S2为了同时满足实时模型的高位状态空间和连续动作输出，设计Actor-Critic网络模型；具体如下：S2.1采用Actor网络生成动作，Actor网络由传统深度神经网络组成，每一步的输出行为at可以通过确定性策略函数μst和输入状态s确定，采用深度神经网络对策略函数进行拟合，参数为θμ；S2.2设计相应的Actor网络结构，包括输入层、隐含层和输出层，其中隐含层将状态映射为特征，以及将前层输出归一化同时输入动作值；S2.3Critic网络用于评价执行动作的好坏程度，由深度神经网络组成，其输入为状态-动作组s,a，输出为状态-动作值函数Q值函数，参数为θQ；S2.4设计Critic网络结构，在其输入状态s后加入隐含层；同时，由于Critic网络的输入应有动作a，在与状态s的特征进行加权求和后再对其进行特征提取；最终的输出结果是与执行动作的好坏相关的Q值；S2.5将深度神经网络作为函数拟合器；S3设计基于Actor-Critic框架的深度确定性策略梯度DDPG算法，使用Critic网络预估Q值，Actor网络输出动作，同时解决高维状态空间和传统DQN算法无法解决的连续动作输出的问题；具体如下：S3.1采用经验回放方法和批规范化方法，减少样本之间的相关性；目标网络采用软更新模式，使网络权值参数缓慢接近原训练网络，保证网络训练的稳定性；确定性行为策略使得每一步的输出都是可以计算的；S3.2DDPG算法核心问题是处理训练目标，即最大化未来期望奖励函数Jμ，同时最小化Critic网络的损失函数LθQ；因此应当设置合适的奖励函数，使网络选择出最优策略；最优策略μ定义为最大化Jμ的策略，定义为μ＝argmaxμJμ，按照过渡态的目标要求，目标函数定义为最小化喘振裕度、涡轮前总温与加速时间；S3.3DDPG算法是异策略算法，在连续空间中进行学习探索的过程可以独立于学习算法；因此需要在Actor网络策略输出中添加噪声作为新的探索策略；S3.4对训练样本的每个维度进行标准化，使其具有单位均值和方差；S4在将Actor-Critic框架与DDPG算法结合之后，进行模型训练；具体如下：S4.1首先根据现有需求，搭建相应计算奖励，惩罚函数模块；S4.2将发动机模型与强化学习网络结合，进行分批次训练；在训练时，将目标奖励值范围调大，进行预训练，当满足基本要求后，依次减小目标奖励值范围，直到满足相应要求；S4.3为了使策略最优，且控制器具有鲁棒性，在参考目标上增加±5％的随机量，使当前控制器模型具有最优的控制量输出；S4.4为了设计满足多工况下的燃油供给规律，在保持高度、马赫数不变的前提下，改变转子目标转速，进行多次训练；S5由上述训练过程得到发动机加速过渡的控制规律，应用此方法对发动机加速过程进行控制，主要包含以下步骤：S5.1在训练结束后，得到相应的控制器参数，每一个工况对应一个控制器参数，此时的控制器输入为目标转速值，输出为供给发动机的燃油流量；S5.2在当前工况下，模型直接给出控制规律，将模型的输出与发动机的输入直接相通，即可对发动机加速过程的过渡态进行控制。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于强化学习的航空发动机过渡态寻优控制方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD