申请/专利权人：之江实验室

申请日：2023-10-07

公开（公告）日：2024-02-13

公开（公告）号：CN117011924B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/764;G06F18/24;G06V10/80;G06V10/82;G06F18/25

优先权：

专利状态码：有效-授权

法律状态：2024.02.13#授权;2023.11.24#实质审查的生效;2023.11.07#公开

摘要：一种基于语音和图像的说话人数目估计方法和系统，其方法包括：获取图像数据和麦克风阵列数据；检测图像中人脸数量；根据人脸数量生成one‑hot向量；使用麦克风阵列数据计算频域谱；将频域信号输入到噪声估计神经网络中估计噪声嵌入空间中的噪声向量；将噪声向量和频域信号输入到神经网络中估计人声嵌入空间的人声向量；将人脸数量的one‑hot向量和人声向量融合成一个混合向量；将混合向量通过多层全连接层；将全连接层结果输出到说话人数嵌入空间估计说话人数向量；将说话人数向量输入到softmax分类器中，估计出说话人个数。本发明提升了噪声环境下说话人数目估计的准确性和抗干扰能力。

主权项：1.一种基于语音和图像的说话人数目估计方法，其特征在于，包括：获取同步图像数据和麦克风阵列数据，对图像数据进行人脸检测；检测图像中人脸数量；根据人脸数量生成one-hot向量；使用麦克风阵列数据计算傅里叶频域数据向量；包括：对每个阵元的时域数据做傅里叶变换，选取指定频域范围的多个阵元的频域数据，将多个阵元的频域数据拼接成一个频域数据向量；将频域信号输入到噪声估计神经网络中估计噪声嵌入空间中的噪声向量；将噪声向量和频域信号输入到神经网络中估计人声嵌入空间的人声向量；将人脸数量的one-hot向量和人声向量融合成一个混合向量；将混合向量通过多层全连接层；将全连接层结果输入到说话人数嵌入空间，估计说话人数向量；最后将说话人数向量输入到softmax分类器中，估计出说话人个数。

全文数据：

权利要求：

百度查询： 之江实验室 一种基于语音和图像的说话人数目估计方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD