申请/专利权人：南京航空航天大学

申请日：2024-01-12

公开（公告）日：2024-04-26

公开（公告）号：CN117938959A

主分类号：H04L67/60

分类号：H04L67/60;H04L41/14;H04L41/142;H04L41/16

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明公开了一种基于深度强化学习和遗传算法的多目标SFC部署方法，属于服务功能链编排技术。该方法首先构建物理网络模型和SFC请求模型，且建立系统模型之间的映射关系，并且使用二进制决策变量表示请求r中的VNFfi是否可以部署在服务器节点v上。然后构建SFC部署问题的数学模型，包括问题的优化目标和约束条件，并且引入了时隙τ的概念，分别使用τr，a和τr，1来表示请求的到达时间和生存时间，其中还包括最小化延迟、最小化成本和最大化请求的总吞吐量三个目标的优化。接着将SFC部署问题建模为马尔可夫决策过程模型来描述网络状态的变化；最后是将深度强化学习和多目标遗传算法结合设计编排方案。

主权项：1.一种基于深度强化学习和遗传算法的多目标SFC部署方法，其特征在于，包括如下步骤：S1、构建系统模型，包括物理网络模型和SFC模型，还包括建立系统模型之间的映射关系；该系统模型中，对于网络中的SFC请求需要考虑部署VNF以满足每个SFC请求的特定业务需要，对于VNF考虑CPU需求和内存需求，通过二进制决策变量表示请求r中的VNFfi是否可以部署在服务器节点v上；S2、构建SFC部署问题的数学模型，包括问题的优化目标和约束条件，所述的优化目标包括最小化延迟、最小化成本和最大化请求的总吞吐量；所述方法引入时隙τ以解决由请求的随机到达和离开引起的实时网络动态问题，在时隙τ中，用二进制变量xr，τ表示请求r是否仍在被服务的状态： 其中，τr，a和τr，1分别表示请求r的到达时间和生存时间；由于单个节点可以部署VNF服务的多个实例来处理多个请求，使用二进制决策变量来表示部署在节点v上的VNFfi服务实例的数量： 其中，ri表示请求r的第i个VNF，第i个VNF表示为fi；所述最小化延迟的目标函数表示如下： 其中，Td表示总响应延迟，包括链路上的通信延迟和服务器节点上的处理延迟；所述最小化成本的目标函数表示如下： 其中，λv和λB分别表示服务器资源和带宽的单位成本；Cv表示第v个服务器节点上的可用的CPU和内存容量；表示请求r中的VNFfi是否可以部署在服务器节点v上；Bv表示服务器v的总输出带宽，表示请求r中的虚拟链路1i是否可以映射到物理链路e上；该方法使用二进制决策变量yr来表示请求r是否被接受，表示如下： 其中，Td表示总响应延迟，Tr表示最大容忍延迟；所述最大化请求的总吞吐量的目标函数表示如下： 其中，Br表示请求r的带宽需求，τr，1表示请求r的生存时间；3将SFC部署问题建模为马尔可夫决策过程模型来描述网络状态的变化；马尔可夫决策过程模型表示为S，A，P，R，γ，分别对应状态空间、动作空间、状态转移概率、奖励函数以及折扣因子，在每个决策事件中，智能体观测系统状态st并且选择动作at，通过选择动作at，获得奖励rt和下一个系统状态st+1；其中的奖励rt用来评估动作at的有效性；4将深度强化学习和多目标遗传算法结合设计编排方案，具体是基于深度强化学习方法，构建Actor-Critic神经网络；通过actor网络负责生成VNF部署策略，critic网络用于评估生成策略的价值，并通过近端策略优化进行训练，训练得到的不同部署方案作为NSGA-II算法的初始种群，通过NSGA-II算法继续对部署方案进行优化。

全文数据：

权利要求：

百度查询： 南京航空航天大学 基于深度强化学习和遗传算法的多目标SFC部署方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD