申请/专利权人：宜百科技(深圳)有限公司

申请日：2022-05-13

公开（公告）日：2024-02-06

公开（公告）号：CN114945105B

主分类号：H04N21/43

分类号：H04N21/43;H04N21/2187;G06N3/0464;G06N3/088

优先权：

专利状态码：有效-授权

法律状态：2024.02.06#授权;2022.09.13#实质审查的生效;2022.08.26#公开

摘要：本发明涉及音频信号滞后估计的技术领域，揭露了一种结合声音补偿下的无线耳机音频滞后性抵消方法，包括：基于生成对抗网络构建音频信号编解码模型；确定音频信号编解码模型的参数优化目标函数，利用改进的鸽群算法对参数优化目标函数进行优化求解；构建音频信号延迟评估模型；利用L‑BFGS算法训练音频信号延迟评估模型；无线耳机获取待传输的音频信号，将编码处理后的音频信号通过无线网络传输到视频直播终端；视频直播终端利用优化后的音频信号延迟评估模型量化音频信号的延迟时间，在进行音频信号与图像信号重组时，对音频信号进行调前。本发明所述方法降低了音频信号的传输时延，利用音频信号延迟评估模型实现音频与图像信号的匹配。

主权项：1.一种结合声音补偿下的无线耳机音频滞后性抵消方法，其特征在于，所述方法包括：S1：基于生成对抗网络构建音频信号编解码模型，其中所述音频信号编解码模型包括编码模型以及解码模型，编码模型为生成式模型，解码模型为判别式模型；S2：确定音频信号编解码模型的参数优化目标函数，利用改进的鸽群算法对参数优化目标函数进行优化求解，得到参数优化后的音频信号编解码模型；S3：构建音频信号延迟评估模型，模型的输入为音频信号的发送时间、接收时间，对应图像信号的发送时间和接收时间，输出为音频信号的延迟时间；S4：基于直播过程中的音频信号和图像信号传输时延数据构建训练数据集，利用L-BFGS算法训练音频信号延迟评估模型，得到优化后的音频信号延迟评估模型；S5：无线耳机获取待传输的音频信号，利用编码模型对待传输的音频信号进行编码处理，将编码处理后的音频信号通过无线网络传输到视频直播终端，视频直播终端利用解码模型对音频信号进行解码；S6：视频直播终端利用优化后的音频信号延迟评估模型量化音频信号的延迟时间，在进行音频信号与图像信号重组时，对音频信号进行调前，得到音频信号与图像信号相匹配的视频，其中所述调前量为音频信号的延迟时间；所述构建音频信号延迟评估模型，包括：基于神经网络方法构建音频信号延迟评估模型，其中所构建模型的输入为音频信号的发送时间、视频直播终端的接收时间，与音频信号对应的图像信号的发送时间、视频直播终端的接收时间，输出为音频信号的延迟时间；所述音频信号延迟评估模型包括输入层，计算层以及输出层，其中输入层用于接收音频信号的发送时间、视频直播终端的接收时间，与音频信号对应的图像信号的发送时间、视频直播终端的接收时间，计算层用于计算出音频信号的延迟时间τ，输出层用于输出所计算的延迟时间；所述基于直播过程中的音频信号和图像信号传输时延数据构建训练数据集，包括：采集直播过程中的音频信号以及图像信号的传输时延数据构建训练数据集，所述训练数据集的格式为：{yk＝xkt,zkt,L1,k,L2,k,τk|k∈[1,K]}其中：yk表示训练数据集中第k组训练数据，K表示训练数据集中的训练数据总数；xkt表示第k组训练数据中的音频信号；zkt表示第k组训练数据中的图像信号；τk为第k组训练数据中音频信号的延迟时间；L1,k表示第k组训练数据中音频信号的发送时间、视频直播终端的音频信号接收时间的时间长度；L2,k表示第k组训练数据中图像信号的发送时间、视频直播终端的图像信号接收时间的时间长度；所述利用L-BFGS算法训练音频信号延迟评估模型，得到优化后的音频信号延迟评估模型，包括：构建音频信号延迟评估模型计算层的训练目标函数，所述训练目标函数G为： 其中： 为模型输出的第k组训练数据的音频信号延迟时间；α1,α2为待优化的模型参数；所述训练目标函数G的约束条件为： 其中：E·表示期望值计算；利用L-BFGS算法训练音频信号延迟评估模型中的计算层，得到模型参数，所述L-BFGS算法流程为：设定训练目标函数求解优化的迭代次数为MAX，随机生成一组模型参数采用迭代的方式计算得到第h次迭代时训练目标函数二阶导数的倒数： 其中：h的初始值为0，D0为单位矩阵；ah＝wh+1-wh，wh表示第h次迭代时训练目标函数G的驻点；bh＝gh+1-gh；T表示转置；I表示单位矩阵；gh表示第h次迭代时训练目标函数G的导数；Dh表示第h次迭代时训练目标函数G二阶导数的倒数；采用迭代的方式求解计算层训练目标函数G的驻点：wh+1＝wh-Dhgh其中：h表示迭代次数；令h＝h+1；重复上述目标函数驻点的求解流程，直到h＝MAX；判断此时下的训练目标函数是否满足约束条件，若满足，将此时求解得到的作为求解得到的模型参数α'1,α'2，否则令h＝MAX+1，重复该步骤；则音频信号延迟评估模型中计算层的计算公式为： 其中：L1为视频直播终端记录的音频信号的发送时间以及接收时间的时间差；L2为视频直播终端记录的图像信号的发送时间以及接收时间的时间差； 为计算得到的延迟时间。

全文数据：

权利要求：

百度查询： 宜百科技(深圳)有限公司 一种结合声音补偿下的无线耳机音频滞后性抵消方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD