申请/专利权人：天津大学

申请日：2024-01-25

公开（公告）日：2024-04-26

公开（公告）号：CN117939192A

主分类号：H04N21/233

分类号：H04N21/233;G06N3/0442;G06N3/045;G06N3/092;H04N21/2343;H04N21/2662;H04N21/439;H04N21/4402;G10L19/24

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明公开了一种基于强化学习的音视频协作自适应码率控制系统及方法，构建基于强化学习的Actor‑Critic神经网络，采用集中式训练、分布式执行框架。利用本地音频码率决策Actor和本地视频码率决策Actor，以音视频各自相关的包括吞吐量预测结果、缓冲区信息和其他有效信息作为状态空间，以码率为动作进行决策，以及利用全局监督Critic实现码率决策朝着最大化累计奖励更新，实现在通勤场景下优化音视频流自适应码率传输。与现有技术相比，本发明是面向音频和视频协作自适应码率的，在ABR决策时嵌入针对多变量时间序列的轻量级吞吐量预测模块，有效缓解通勤场景下因网络波动带来的音视频播放卡顿、低质量等情况。

主权项：1.一种基于强化学习的音视频协作自适应码率控制系统，其特征在于，包括吞吐量预测模块、基于Actor-Critic神经网络的自适应码率决策模块和码率输出模块；所述吞吐量预测模块，基于TPA-LSTM神经网络预测未来时刻的吞吐量；所述基于Actor-Critic神经网络的自适应码率决策模块，该模块进一步包括本地音频码率决策Actor、本地视频码率决策Actor和全局监督Critic，其中，所述本地音频码率决策Actor和所述本地视频码率决策Actor，将包括与音视频各自相关的吞吐量预测结果、缓冲区信息以及与音视频块相关的信息作为音频相关状态空间Sa和音频相关状态空间Sv，根据当前状态输出每个选择的音频动作aa和选择的音视频动作aa的概率，根据概率选择合适的动作与环境交互，得到下一个状态和奖励函数Reward，根据当前状态空间和动作的奖励函数、所述全局监督Critic得到的当前状态的价值函数和下一个状态的价值函数估计结果，更新所述本地音频码率决策Actor和所述本地视频码率决策Actor的策略，作出满足最大化累积奖励的期望值的音视频码率决策选择；所述全局监督Critic，负责监督所述本地音频码率决策Actor和所述本地视频码率决策Actor的更新，包括整合本地音频码率决策Actor和所述本地视频码率决策Actor的状态空间作为神经网络的状态空间，计算当前状态下的价值函数、下一状态下的价值函数；所述码率输出模块，进行所述基于Actor-Critic神经网络的自适应码率决策模块得到的满足最大化累积奖励的期望值的音视频码率输出。

全文数据：

权利要求：

百度查询： 天津大学 基于强化学习的音视频协作自适应码率控制系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD