买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京信息工程大学申请的专利一种基于深度强化学习的动态缓冲区大小调整方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119520450B 。

龙图腾网通过国家知识产权局官网在2025-06-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510081574.4，技术领域涉及：H04L49/9005；该发明授权一种基于深度强化学习的动态缓冲区大小调整方法是由潘成胜;吴兆;崔骁松设计研发完成，并于2025-01-20向国家知识产权局提交的专利申请。

本一种基于深度强化学习的动态缓冲区大小调整方法在说明书摘要公布了：本发明公开了一种基于深度强化学习的动态缓冲区大小调整方法，包括：构建DuelingDQN模型和经验回放池，将网络状态依次经过两层全连接层提取特征，通过自注意力机制进行注意力权重分配，再经过噪声层引入噪声扰动；采用动作优势网络对智能体所能采取的动作进行评估，采用状态价值网络对网络状态进行评估，获得网络的Q值并执行动作，基于反馈的奖励以及下一时刻网络状态，构成网络环境样本存入经验回放池中；抽取网络环境样本训练DuelingDQN模型；本发明所设计的方法通过强化学习算法，在不同流量负载和网络状态下，动态调整缓冲区大小减少抖动和延迟，从而有效提高网络的传输性能，提升服务质量。

本发明授权一种基于深度强化学习的动态缓冲区大小调整方法在权利要求书中公布了：1.一种基于深度强化学习的动态缓冲区大小调整方法，其特征在于，针对具有智能体和缓冲区的网络，执行如下步骤S1-步骤S7，完成针对网络的缓冲区大小的自动调节： 步骤S1：初始化缓冲区的初始值和上下界； 步骤S2：构建DuelingDQN模型，包括网络状态、动作和奖励函数，以及状态价值网络，动作优势网络；其中网络状态由缓冲区的特征组成，动作定义为智能体对缓冲区的调整策略，奖励函数根据智能体的动作反馈奖励；状态价值网络和动作优势网络分别对网络状态和动作进行评估； 步骤S3：构建经验回放池，用于保存网络环境样本，包括当前时刻网络状态、动作、奖励、下一时刻网络状态以及是否结束的经验数据； 步骤S4：针对当前时刻的网络状态，依次经过两层全连接层提取特征，通过自注意力机制对两层全连接层所提取的特征进行注意力权重分配，将注意力权重和所提取的特征相结合，再经过噪声层引入噪声扰动； 步骤S4的具体步骤如下： 步骤S4.1：将当前时刻的网络状态输入第一层全连接层，设输入网络状态为，第一层全连接层将输入网络状态映射到第一隐藏层，获得第一隐藏层的输出，并使用ReLU激活函数处理，公式如下： ； 式中，表示第一隐藏层的权重矩阵，表示第一隐藏层的偏置向量； 步骤S4.2：将第一隐藏层的输出输入第二层全连接层，获得第二隐藏层的输出： ； 式中，表示连接第一隐藏层到第二隐藏层的权重矩阵，表示第二隐藏层的偏置向量； 步骤S4.3：通过自注意力层对第二隐藏层的输出进行动态权重分配，先计算查询向量、键向量和值向量，计算公式如下： ； 式中，、、是可训练的权重矩阵； 随后，利用查询向量和键向量的内积计算每个历史时刻网络状态与当前时刻网络状态之间的相关性得到权重，权重的计算公式如下： ； 式中，为注意力权重，为查询向量，为键矩阵，是键向量的维度； 步骤S4.4：将注意力权重和输入特征相结合，加权后的输出为： ； 式中，为注意力权重，为值向量，为加权后的输出； 步骤S4.5：将自注意力层的输出传递至噪声层，噪声层的计算公式如下： ； 式中，为自注意力层的输出，为噪声层，是从噪声分布中采样的随机扰动； 步骤S5：采用DuelingDQN模型的动作优势网络对智能体所能采取的动作进行评估，采用状态价值网络对当前时刻的网络状态进行评估，获得当前时刻网络的Q值，根据Q值选择并执行动作，基于当前时刻网络状态、动作、奖励、下一时刻网络状态以及是否结束的经验数据，构成网络环境样本，并存入经验回放池中； 步骤S6：从经验回放池中抽取网络环境样本，采用均方误差作为损失函数，通过反向传播算法训练DuelingDQN模型，经过迭代训练，获得训练好的DuelingDQN模型； 步骤S7：应用训练好的DuelingDQN模型，完成针对网络的缓冲区大小的自动调节。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京信息工程大学，其通讯地址为：210032 江苏省南京市江北新区宁六路219号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。