申请/专利权人：昆明理工大学

申请日：2022-07-31

公开（公告）日：2024-01-12

公开（公告）号：CN115278704B

主分类号：H04W16/18

分类号：H04W16/18;H04W16/22;H04W4/02;H04W52/02;H04W84/18;G07F15/00

优先权：

专利状态码：有效-授权

法律状态：2024.01.12#授权;2022.11.18#实质审查的生效;2022.11.01#公开

摘要：本发明涉及一种基于DRL的无线传感器网络中单对多充电驻点规划方法，属于利用深度强化学习技术和无线充电技术延长无线传感器网络生存时长的研究领域。本发明通过利用了深度强化学习对高维数据的适应性和实时决策能力，在无线传感器网络中选择二维坐标作为最优充电驻点，使得移动无线智能体选择在前往充电驻点的过程中，减少移动无线充电智能体在移动的能量消耗，同时移动无线充电智能体在充电驻点时，可以覆盖更多节点和尽可能缩短与充电范围内节点之间的距离，从而减少能量传输过程中的能量损耗，通过这些步骤减少MC的能量损耗，提高充电效率，从而较少传感器节点的死亡，维护整个无线传感器网络的长期运行。

主权项：1.一种基于DRL的无线传感器网络中单对多充电驻点规划方法，其特征在于：步骤如下：Step1：建立一个包括传感器节点，移动无线充电智能体，基站和服务站的无线传感器网络模型：在确定监测的区域内随机部署10个以上的传感器节点，移动无线充电智能体最大充电范围为D，NS表示传感器节点构成的集合，传感器节点总数为N；NQ表示移动无线充电智能体充电范围内传感器节点的集合；Nk表示移动无线充电智能体充电范围内传感器节点个数；初始时ni表示传感器节点i，表示移动无线充电智能体充电范围内第i个节点，当节点位于移动无线充电智能体充电范围内，就称此传感器节点被覆盖；Step2：分析移动无线充电智能体位置信息和各传感器节点的位置信息对于充电驻点规划的影响；Step3：基于节点全覆盖和提高移动无线充电智能体能量效率原则，设计一种称为ADRL的充电驻点规划方法，该方法的工作过程是：在无线传感器网络中设置汇聚节点，用于收集节点的位置和是否被覆盖标识信息，并将收集的信息发送给基站；移动无线充电智能体接收基站发送来的节点状态信息，通过深度强化学习算法计算，基于节点全覆盖和提高移动无线充电智能体能量效率原则，计算出一个坐标，即充电驻点，并移动到该充电驻点；到达充电驻点后，节点未被覆盖的节点改变覆盖标识信息，由未覆盖变为已覆盖，如果网络中还存在未被覆盖的节点，则继续以上步骤选择充电驻点，并移动到该充电驻点，如果网络中不存在未被覆盖的节点，则返回服务站；如此循环工作以计算得出最优充电驻点；所述Step3中，ADRL的具体过程为：每个节点都会周期性检查自身状态信息，因为需要移动无线充电智能体选择充电驻点，从而使得更多节点达到覆盖状态，节点最重要的信息为：节点二维平面坐标Li,和是否被覆盖标识index，两者信息共同组成元组Li,index发送给基站，再由基站转发给移动无线充电智能体；所述Step3，整体步骤如下：Step3.1结合Attention机制和深度强化学习算法，首先计算query，key和value的公式如下：Qc＝WQhc1Ki＝WKhiVi＝Wvhi其中WQ，WK和Wv分别为query，key和value的权重矩阵，Qc，Ki和Vi分别为query，key和value，hi为节点i状态嵌入信息，hc为移动无线充电智能体位置嵌入信息；Step3.2先计算query和key的相关性uc，为：uc＝Qc·KT2其中KT为K的转置矩阵，K是key矩阵，为：K＝[K1,K2,K3…Kn]3其中Kn为节点n状态嵌入信息经过key权重矩阵的状态向量，然后再将query和key的相关性归一化得： 其中softmax为归一化函数；Step3.3最后计算注意力值为： Attention值为移动无线充电智能体与当前无线传感器网络中节点的关系，使得移动无线充电智能体更加快速的选择出充电驻点；Step3.4Attention值最后再经过深度强化学习算法，得出充电驻点，具体为Attention值经过深度强化学习算法后，深度强化学习回生成两个值：l和θ，其中l为充电驻点距离移动无线充电智能体的长度，θ为充电驻点与移动无线充电智能体之间的角度；假设移动无线充电智能体当前位置为其中为移动无线充电智能体当前位置的横坐标，为移动无线充电智能体当前位置的纵坐标，移动无线充电智能体通过ADRL算法计算出的充电驻点位置为其中为充电驻点的横坐标，为充电驻点的纵坐标，那么移动无线充电智能体与充电驻点之间的位置关系为： Step3.5移动无线充电智能体在到达充电驻点后，需要判断哪些节点被覆盖，节点位置为Li＝xi,yi，其中xi和yi分别为节点的横坐标和纵坐标，节点位置需满足下面条件，则为被覆盖： 其中xmc和ymc分别为移动无线充电智能体所停留位置的横坐标和纵坐标；Step3.6已经到达覆盖条件的节点会改变自己的覆盖标识，由indexi＝0变为indexi＝1，indexi为节点i的是否被覆盖标识；Step3.7判断无线传感器网络内所有节点受否全部达到覆盖条件，如果已经达到移动无线充电智能体返回服务站，同时利用收集的数据训练更新ADRL算法，以达到下一次更优秀的覆盖路径；如果没有则再通过ADRL得出新的充电驻点。

全文数据：

权利要求：

百度查询： 昆明理工大学 基于DRL的无线传感器网络中单对多充电驻点规划方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD