申请/专利权人：北京邮电大学

申请日：2024-01-19

公开（公告）日：2024-04-12

公开（公告）号：CN117615418B

主分类号：H04W28/084

分类号：H04W28/084;H04W4/029;H04W4/02;H04W4/44

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2024.03.15#实质审查的生效;2024.02.27#公开

摘要：本发明提出一种移动感知辅助的车联网服务迁移方法，包括，感知车辆的位置信息；根据位置信息计算车辆在当前基站的预期停滞时间；基于当前基站的观测信息，以车辆作为智能体，构建服务迁移环境模型，通过多智能体强化学习算法输出最优的迁移策略；其中，观测信息包括车辆的通信状态、任务处理状态和预期停滞时间；根据迁移策略向目标基站发起服务迁移请求，并执行预服务迁移过程。本发明提出的方法，通过基于迁移距离的迁移成本评估方式，降低平均服务时延的同时，还限制了平均迁移成本，限制频繁迁移的发生。

主权项：1.一种移动感知辅助的车联网服务迁移方法，其特征在于，包括以下步骤：感知车辆的位置信息；根据所述位置信息计算所述车辆在当前基站的预期停滞时间；基于所述当前基站的观测信息，以所述车辆作为智能体，构建服务迁移环境模型，通过多智能体强化学习算法输出最优的迁移策略；其中，所述观测信息包括所述预期停滞时间；根据所述迁移策略向目标基站发起服务迁移请求，并执行预服务迁移过程；其中，所述感知车辆的位置信息，包括：通过下行信道的感知信号感知车辆的位置信息，所述位置信息包括车辆相对当前基站距离、车辆与基站之间的方位角以及车辆的速度，其中包括：获取回波信号的多普勒频移，接收的回波信号和发送感知信号之间的时间差以及不同天线之间接收的回波信号之间的相位差，根据无线感知原理参照下述公式，计算基站所连接车辆的相对距离，方位角以及车辆速度：车辆与所连接基站之间的相对距离计算公式为： （1），其中表示光速；车辆与基站之间的方位角计算公式为： （2），其中表示感知信号的带宽，表示接收天线上的阵元之间的距离；车辆速度计算公式为： （3），其中表示感知信号的中心频率；其中，所述根据所述位置信息计算所述车辆在当前基站的预期停滞时间，包括：依据三角函数余弦定理，车辆的预期停滞时间计算公式为： （4），其中，表示基站的通信覆盖半径；表示车辆相对于基站的方向，如果车辆正在远离当前基站，，相反的车辆正在接近当前基站，；其中，所述基于所述当前基站的观测信息，以所述车辆作为智能体，构建多智能体强化学习算法，包括：通过光纤网络共享各个基站彼此之间的接入状态、资源占用状态和所链接车辆的位置信息；根据共享的信息构建优化模型；其中，所述根据共享的信息构建优化模型，包括：将服务迁移过程建模为以最小化所有车辆的计算服务时延为优化目标的优化问题；基于多智能体近端策略优化算法对构建的模型进行训练，从而得到最优的迁移策略和资源分配策略；其中，所述基于多智能体近端策略优化算法对构建的模型进行训练，包括：将观测信息输入模型中，其中，所述模型包括Actor网络和Critic网络，所述Actor网络用于生成智能体动作，所述Critic网络用于估计智能体的动作值函数；根据奖励函数和折扣因子，计算折扣奖励；从经验回放缓冲区中随机抽样数据，计算Actor网络损失函数和Critic网络损失函数，其中，通过最大化策略梯度来更新策略网络参数，以使得智能体的策略能够生成更优的动作，通过最小化价值函数的均方误差来更新价值函数网络参数，以使所述模型能够更准确地估计累积奖励；保存训练好的模型；其中，所述基于多智能体近端策略优化算法对构建的模型进行训练，还包括：通过模拟智能体的运行状态并实现智能体与决策单元构建的模拟环境进行交互，做出决策和反馈决策的奖励，具体地，智能体的观测集合定义为： （13），其中表示车辆的位置坐标；和分别表示车辆上行信道的信道增益和干扰；表示剩余未被处理的数据量；表示车辆的预期停滞时间。

全文数据：

权利要求：

百度查询： 北京邮电大学 一种移动感知辅助的车联网服务迁移方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD