申请/专利权人：山东大学

申请日：2024-01-02

公开（公告）日：2024-03-19

公开（公告）号：CN117521716B

主分类号：G06N3/006

分类号：G06N3/006;G06F9/50

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2024.02.27#实质审查的生效;2024.02.06#公开

摘要：本发明属于分布式网络技术领域，具体涉及一种面向海量未知选项与有限内存空间的协作决策方法及介质。该方法可以在未知选项规模庞大以及内存空间有限的约束条件下，通过充分利用上下文信息以及多智能体之间的共同协作，最大化累计收益，并使得累计遗憾函数关于决策轮数满足次线性关系。

主权项：1.一种面向海量未知选项与有限内存空间的协作决策方法，其特征在于，包括如下步骤：S1.获取多智能体协作的相关信息，包括智能体的总数N、通信网络图总决策轮数T、智能体本地内存空间大小M、未知选项集合包含K个选项，每个选项具有一个未知的期望收益值和一个已知的上下文信息；S2.准备阶段：包括1对上下文信息空间进行划分，得到一组超立方体，将超立方体集合记为2将决策轮数T分为探索阶段和利用阶段两部分，计算探索阶段所需的轮数T′；3选取一个智能体作为领导者，在通信网络图中构造一棵以领导者为根节点的生成树S3.探索阶段：在每一轮内，每个智能体计算本轮需要采样的超立方体的编号，从中随机选择一个选项，观测其收益值并更新超立方体的信息，探索阶段分为若干子阶段，每个子阶段结束后，通过S2中构造的生成树将当前子阶段收集到的数据聚合到领导者处，领导者本地内存中存储一个具有最高平均收益的超立方体，记为最优超立方体Q*，领导者根据每次聚合后的数据更新最优超立方体Q*的信息；S31初始化子阶段计数器p＝1，对于第p个子阶段,a为选项，D为上下文信息的维度，用表示该子阶段内需要进行评估的超立方体的编号集合，用tp表示该子阶段的结束时间,即第p个子阶段在第tp轮结束，和tp的计算公式如下： 根据上述公式初始化和tp；S32智能体在其本地内存中存储超立方体的相关信息，对于任意超立方体Q和智能体i，i本地存储的具体信息包括Q的累计采样次数与Q的平均收益，分别用nQ,i和表示；如果智能体i本地内存中存储了关于Q的相关信息，则称Q在智能体i的本地内存中；S33在第t轮t∈[1,T′]，智能体i需要采样的超立方体的编号记为的计算公式如下： 若超立方体不在智能体i的本地内存中，则先将其读入内存，并在智能体i的本地内存中将关于的累计采样次数和平均收益均初始化为0；S34每个智能体i从超立方体中随机选择一个选项，观测其收益值r，并在智能体i的本地内存中更新关于的相关数据，更新方式如下： S35若t≥t[，则说明当前子阶段已结束，需要进行数据聚合；数据聚合过程分为dTree个时间间隙Δt＝1,2,…,dTree；在第p个子阶段对应的聚合过程中，所有跟随者将集合中所有超立方体的相关信息通过生成树聚合到领导者处；在第Δt时刻，对于所有满足di＝dTree+1-Δt的跟随者i，以及每一个超立方体若Q在i的本地内存中，则i将其存储的关于的Q的相关信息发送给双亲节点，发送完成后删除i本地存储的Q的相关信息，并释放对应的内存空间；在第Δt时刻，对于所有满足di＝dTree-Δt的智能体i，接收其邻居发来的消息，并将智能体相关信息进行更新，设智能体i收到了来自智能体j的关于超立方体Q的相关数据，则i本地的数据更新方式如下： nQ,i＝nQ,i+nQ,j在第dTree时刻，领导者在完成数据更新后，从其本地存储的所有超立方体中，选取一个具有最高平均收益者，记为最优超立方体Q*，然后将除Q*以外的所有超立方体的数据从本地内存中删除，并释放内存空间；完成一次数据聚合过程后，p自加1，并根据步骤S31中的公式更新tp与S36重复步骤S35，直到满足ttp，完成所有聚合过程，之后t自加1，进入下一轮；S37重复步骤S33至步骤S36，直到满足t＝T′+1，探索阶段完成；S4.探索阶段结束后，通过步骤S2中构造的生成树将领导者处存储的最优超立方体Q*的编号传播到每一个智能体处；S5.利用阶段：在剩余的每一轮内，每个智能体从最优超立方体中随机选择一个选项，直到所有剩余的T-T′轮结束。

全文数据：

权利要求：

百度查询： 山东大学 面向海量未知选项与有限内存空间的协作决策方法及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD