申请/专利权人：湖南汽车工程职业学院

申请日：2023-12-11

公开（公告）日：2024-03-22

公开（公告）号：CN117749795A

主分类号：H04L67/10

分类号：H04L67/10;G06F18/23213;G06N3/092;G06F9/50;H04L67/12;H04L41/16

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明公开了基于强化学习算法的车辆边缘服务器部署方法，其方法的步骤包括：S1：在云端与边缘端协同环境下对部署车辆边缘服务器的场景进行建模；S2：构建寻找云边协同计算网络下车联网边缘服务器部署问题最优解时的目标函数和约束条件；S3：采用层次聚类算法和强化学习算法求解目标函数，得到目标函数的最优解；综上所述，本发明将强化学习机制应用于划分路边单元RSU的归属与决策边缘服务器位置，以实现用户服务访问延迟最小化及边缘服务器之间的负载均衡，满足了车载用户对车联网服务“低延时、高带宽、高可靠”的性能需求。

主权项：1.基于强化学习算法的车辆边缘服务器部署方法，其特征在于，所述方法包括以下步骤：S1：在云端与边缘端协同环境下对部署车辆边缘服务器的场景进行建模，其建模的过程如下：S1.1：在无向网络G中，构建S＝{s1，s2，s3，s4，...，sk}为一组车联网中车辆边缘服务器，B＝{b1，b2，b3，b4，...，bn}为所有路边单元RSU集合，路边单元RSU通过访问车联网边缘服务器获取网络服务，每个车联网边缘服务器负责处理其覆盖范围内车辆用户的所有服务请求，每个车联网边缘服务器的负载等于其覆盖范围内所有路边单元RSU的负载之和，即wsi＝wb1+wb2+…+wbi；S1.2：基于步骤S1.1，考虑在车联网边缘服务器部署方案中路边单元RSU和其所分配的车联网边缘服务器间的服务访问延迟最小化，建立延迟最小化模型，即： 式中，ai代表某一车联网边缘服务器部署方案，Tai代表该方案下各路边单元RSU车辆用户访问延迟，b代表分配到某一车联网边缘服务器中所有路边单元RSU集Es中的某一个路边单元RSU，s代表该车联网边缘服务器，tb,s表示为路边单元b访问其隶属车联网边缘服务器s服务延迟大小；S1.3：基于步骤S1.1，考虑车联网边缘服务器之间负载大小的差距尽量最小化，为量化车联网边缘服务器的负载均衡度，建立负载均衡化模型，其负载均衡化模型的表达式为： 其中，Wai代表该车联网边缘服务器部署方案中负载差异量大小，wsi和wsj分别代表车联网边缘服务器si和sj间负载大小，两者差越小，车联网边缘服务器间负载越均衡；S2：构建寻找云边协同计算网络下车联网边缘服务器部署问题最优解时的目标函数和约束条件，其目标函数以及约束条件的表达式分别为：ProblemP1:minTai,minWai 其中，minTai,minWai分别表示为车辆用户访问延迟最小化和车辆边缘服务器负载差异最小化；C1，C2为约束条件，C1即表示的约束条件为车联网边缘服务器需满足没有交叉路边单元RSU，C2即表示的约束条件为车联网边缘服务器需满足所处理的车辆用户请求等于其覆盖范围内所有路边单元RSU的请求之和；S3：采用层次聚类算法和强化学习算法求解目标函数，得到目标函数的最优解，其求解目标函数最优解的步骤如下：S3.1：基于层次聚类算法进行RSU初步划分，将每个路边单元RSU作为一个单一的聚类，然后根据最小距离法，计算两聚类之间的距离，并寻找最近的两个RSU即相似度最高的RSU进行合并，直到达到预期类的数量即车联网边缘服务器数量k，结束聚类，完成路边单元RSU的归类RUC；S3.2：基于强化学习算法确定边缘服务器位置，其过程如下：S3.2.1：获取步骤S3.1中得到的归属至每个车联网边缘服务器的路边单元集群RUC，在每一个路边单元RSU集中任意选择一个路边单元RSU所在位置为车辆边缘服务部署位置；S3.2.2：基于步骤S3.2.1，设定强化学习参数，包括状态、动作和奖励；其中，状态：St＝{RUCt,Wt,Tt}；式中RUCt表示在时间t时路边单元RSU的归类，Wt表示各车辆边缘服务器负载差异量大小，Tt表示当前车辆用户服务访问总时延；动作：改变状态的执行动作为改变当前路边单元的归类及车辆边缘服务器位置，获取最大的累计奖励值；奖励：式中，r为一次动作执行后的单步奖励，rst,ac为在状态st执行动作ac的奖励值；ΔWtotal是动作执行后的负载差异指标变化量；ΔTtotal为动作执行后的车辆用户服务访问延迟变化量；a为常数，表示负载均衡指标的权重，其使负载均衡优化更加有效，对所有单步奖励求和获得一次路边单元RSU选择更新的累计奖励Re，即： S3.2.3：经过多轮更新获取最大累计奖励Remax，输出最终的路边单元划分RUC和边缘服务器部署方案A。

全文数据：

权利要求：

百度查询： 湖南汽车工程职业学院 基于强化学习算法的车辆边缘服务器部署方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD