申请/专利权人：北京航空航天大学

申请日：2024-02-27

公开（公告）日：2024-05-14

公开（公告）号：CN118036461A

主分类号：G06F30/27

分类号：G06F30/27;G06F30/28;G06F30/23;G06F30/15;G06N3/045;G06N3/092;G06F113/08;G06F119/14

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.31#实质审查的生效;2024.05.14#公开

摘要：本发明公开了一种适用于前后缘变弯度机翼阵风减缓实时决策的强化学习方法，属于阵风减缓控制与深度学习领域；具体为：首先，针对三维前后缘变弯度机翼，搭建用于强化学习训练的离线开环阵风响应模型；并以离线开环阵风响应模型为基础，建立强化学习的训练环境，采用近端优化策略算法设计强化学习的实时决策神经网络进行训练；然后，将训练好的决策神经网络，植入到计算流体力学软件中作为阵风减缓实时决策的控制器。最后，利用阵风减缓实时决策的控制器，在线仿真变弯度机翼实时决策阵风减缓控制过程。本发明相比于传统的比例‑积分控制具有更好的控制效果和更强的自适应性，避免工况改变时重复的调参工作。

主权项：1.适用于前后缘变弯度机翼阵风减缓实时决策的强化学习方法，其特征在于，具体步骤如下：步骤一、针对三维前后缘变弯度机翼，搭建用于强化学习训练的离线开环阵风响应模型；所述离线开环阵风响应模型的具体搭建过程为：首先，针对该变弯度机翼，建立机翼的结构有限元模型，采用模态法搭建机翼的结构动力学模型；然后，基于频域面元法和有理函数拟合法，建立机翼的非定常气动力模型；其中通过傅里叶变换和反变换方法求解阵风引起的非定常气动力；变弯度前后缘通过构造舵面偏转模态来计算其引起的非定常气动力；最后，将结构动力学模型与非定常气动力模型联合，得到基于变弯度前后缘的开环阵风响应模型；步骤二、以离线开环阵风响应模型为基础，建立强化学习的训练环境，采用近端优化策略算法设计强化学习的实时决策神经网络，并进行训练；其中，实时决策神经网络的状态输入为：时间、变弯度前后缘偏转角度以及翼尖加速度；动作输出为：单位时间步的变弯度前后缘偏角增量；近端优化策略算法中包含两个神经网络：决策神经网络与价值神经网络；首先，对两个神经网络的参数进行初始化；然后，完成训练参数的设置，即可开始强化学习在线训练：通过强化学习代理与离线开环阵风响应模型反复交互与训练，不断计算回合奖励并更新两个神经网络的参数，价值神经网络用于预测价值；当回合奖励达到预设目标值时，结束训练得到基于离线开环阵风响应模型的强化学习代理，提取决策神经网络参数即可；步骤三、将训练好的决策神经网络，植入到计算流体力学软件中作为阵风减缓实时决策的控制器；步骤四、利用阵风减缓实时决策的控制器，在线仿真变弯度机翼实时决策阵风减缓控制过程；具体步骤如下：步骤401、在计算流体力学软件中建立气动弹性方程组，并且在每个仿真时间步下求解机翼的翼尖加速度与节点位移；步骤402、构造时间、变弯度柔性前、后缘偏转角度以及翼尖加速度组成的状态输入矩阵[t,δLE,δTE,acce]；步骤403、将状态输入矩阵输入强化学习的实时决策控制器，得到下一步的控制指令增量Δδ，将其与当前偏角δ’相加即可得到下一步的前后缘偏转角δ＝δ’+Δδ；步骤404、针对变弯度前后缘区域中的每一个网格点，将其坐标带入变弯度前后缘几何控制方程进行求解，计算前后缘偏转引起的网格节点位移；变弯度前后缘均由中间的主动变弯度区与两侧对称分布的连续过渡区组成，分别采用二次曲线沿着弦向与三次样条曲线沿着展向进行拟合；两侧过渡区以靠近机翼内侧为例，采用飞机机体坐标系表示为：z'x',y'＝aδx'2,0≤x'≤cTE,y2'≤y'≤y3' 式中，aδ是二次项的系数，由变弯度前、后缘的偏转角δ决定，cTE是变弯度后缘的弦长；y1，y2，y3分别是过渡区内侧边界、过渡区与主动变弯度区的连接边界以及主动变弯度区的另一侧边界；b0,b1,b2,b3分别是三次样条曲线的系数，通过边界条件求解；步骤405、将变弯度前后缘偏转引起的网格节点位移与气动弹性方程组求解得到的机翼节点位移叠加，更新机翼每一个网格节点位移；步骤406、更新翼面网格后进行动网格更新并进行下一时间步的流体动力学求解，通过在高保真度仿真环境中进行在线实时决策控制，验证基于离线近端优化策略的强化学习方法的控制效果。

全文数据：

权利要求：

百度查询： 北京航空航天大学 适用于前后缘变弯度机翼阵风减缓实时决策的强化学习方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD