买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】用于语音增强的全局优化最小二乘后滤波_谷歌有限责任公司_201710063534.2 

申请/专利权人:谷歌有限责任公司

申请日:2017-02-03

公开(公告)日:2020-10-23

公开(公告)号:CN107039045B

主分类号:G10L21/0216(20130101)

分类号:G10L21/0216(20130101);G10L21/0232(20130101)

优先权:["20160203 US 15/014,481"]

专利状态码:有效-授权

法律状态:2020.10.23#授权;2018.02.16#著录事项变更;2017.09.05#实质审查的生效;2017.08.11#公开

摘要:提供了用于语音增强的全局优化最小二乘后滤波。用于麦克风阵列语音增强的现有后滤波方法有两个共同的缺陷。首先,这些方法假设噪声是白色的或者扩散的并且不能处理点干扰。其次,这些方法每次只使用两个麦克风来估算后滤波系数,对所有麦克风对执行取平均,以获得次佳解。所提出的方法描述了实施信号模型的后滤波方案,这些信号模型处理白噪声、扩散噪声和点干扰。所述方法还实施麦克风阵列中的麦克风的全局优化最小二乘法,以提供比现有传统方法更佳的方案。实验结果证明了所描述的方法在各种声学场景中均胜过传统方法。

主权项:1.一种计算机实施的方法,包括:经由麦克风阵列从环境中的声源接收音频信号;基于所接收到的音频信号来假设多个声场场景以生成多个输出信号,包括假设点干扰、扩散噪声和白噪声;基于所接收到的音频信号来计算固定的波束形成器系数;基于所述多个输出信号来确定协方差矩阵模型;基于所接收到的音频信号来计算协方差矩阵;估计所述声源的功率以找到使所确定的协方差矩阵模型与所计算的协方差矩阵之间的差最小化的方案;基于所估计的功率来计算并且应用后滤波系数;以及基于所接收到的音频信号和所述后滤波系数来生成输出音频信号。

全文数据:用于语音増强的全局优化最小二乘后滤波背景技术[0001]麦克风阵列逐渐被公认为用于抵抗不利声学环境中的语音采集的噪声、干扰和混响的有效工具。其应用包括:鲁棒语音识别、免提语音通信与电话会议、助听器,在此仅列举了几个例子。波束形成是一种提供一种形式的空间滤波的麦克风阵列处理技术:在衰减来自其它方向的信号的同时,接收来自特定方向的信号。虽然空间滤波是可能的,但是从信号重构来看在最小均方差MMSE含义上却不是最佳的。[0002]—种后滤波的传统方法是多道维纳滤波器MCWF。该多道维纳滤波器可以分解为最小方差无失真响应MVDR波束成形器和单道后滤波器。目前公知的传统后滤波方法能够提高波束形成之后的语音质量;然而,这些现有方法有两个共同的局限或者缺陷。第一,这些方法假定相关噪声只是白色(不相干)噪声或者扩散噪声,因此这些方法不能解决点干扰。例如,在有多个人在说话而其中一个人是期望声源的环境中,点干扰是来自其他说话者的不需要的噪声。第二,这些现有方法采用的是每一次使用两个麦克风来估计后滤波系数然后再取所有麦克风对的平均的启发式技术,这会产生次佳结果。发明内容[0003]本发明内容以简化的形式介绍了对概念的选择,以便提供对本公开的某些方面的基本理解。本发明内容不是本公开的广泛概述,并不旨在识别本公开的关键或者决定性元素或者勾画本公开的范围。本发明内容仅呈现了本公开的概念中的一些作为下面提供的具体实施方式的前序。[0004]大体上,本说明中描述的主题的一方面可以体现在方法、设备和计算机可读介质中。一种示例性设备包括:一个或者多个处理装置和存储指令的一个或者多个存储装置,所述指令在由所述一个或者多个处理装置执行时使所述一个或者多个处理装置实施一种示例性方法。一种示例性计算机可读介质包括用于实施一种示例性方法的指令的集合。本公开的一个实施例涉及一种用于估计系数值以减少后滤波器的噪声的方法,所述方法包括:经由麦克风阵列从环境中的声源接收音频信号;基于所接收到的音频信号,假设声场场景;基于所接收到的音频信号,计算固定的波束形成器系数;基于所假设的声场场景,确定协方差矩阵模型;基于所接收到的音频信号,计算协方差矩阵;估计所述声源的功率以找到使所确定的协方差矩阵模型与所计算得到的协方差矩阵之间的差最小化的方案;基于所估计的功率,计算并且应用后滤波系数;以及基于所接收到的音频信号和所述后滤波系数,生成输出音频信号。[0005]在一个或者多个实施例中,本文中描述的方法可以可选地包括以下附加特征中的一项或者多项:假设多个声场场景以生成多个输出信号,其中,将所述多个所生成的多个输出信号进行比较,并且从所述多个所述生成的输出信号中选择具有最高信噪比的输出信号;对所述功率的所述估计是基于弗罗宾尼斯Frobenius范数,其中,所述弗罗宾尼斯范数是使用所述协方差矩阵的埃尔米特Hermitian对称来计算的;使用声源位置方法来确定所述声源中的至少一个声源的位置以假设所述声场场景、确定所述协方差矩阵模型、并且计算所述协方差矩阵;所述协方差矩阵模型是基于多个假设的声场场景生成的,其中,选择协方差矩阵模型以使减少噪声的目标函数最大化,以及其中,目标函数是所述最终输出音频信号的样本方差。[0006]本公开的适用性的更大范围将在下面给出的具体实施方式中变得更显而易见。然而,应该理解的是,虽然描述了优选实施例,但是只是通过举例的方式来给出具体实施方式;对本领域的技术人员来说,在本公开的精神和范围内的各种变化和修改都会在具体实施方式中变得显而易见。附图说明[0007]对本领域的技术人员来说,结合所附权利要求书和附图,本公开的这些和其它目的、特征和特性将从下文的具体实施方式的学习中变得显而易见,这些附图构成了本说明书的一部分。在附图中:[0008]图1是图示根据本文中描述的一个或者多个实施例的一种用于基于假设的声场场景生成经过后滤波的输出信号的示例性系统的功能框图。[0009]图2是图示在示例性系统中由噪声环境生成的经波束形成的单道输出的功能框图。[0010]图3是图示在示例性系统中基于假设的声场场景确定协方差矩阵模型的功能框图。[0011]图4是图示频率仓frequencybin的后滤波估计的功能框图。[0012]图5是图示根据本公开的实施例的计算频率仓的后滤波系数的示例性步骤的流程图。[0013]图6图示麦克风阵列和与实验结果相关的声源的空间布置。[00M]图7是图示示例性计算装置的框图。[0015]本文中提供的小标题仅为了方便起见,并不一定影响权利要求书的范围或者含义。具体实施方式[0016]本公开大体上涉及用于音频信号处理的系统与方法。更具体地,本公开的方面涉及用于麦克风阵列语音增强的后滤波技术。[0017]下面的描述为彻底理解和实现对本公开的描述提供了具体细节。然而,相关领域的技术人员应该明白的是,在没有许多这些细节的情况下,也可以实践本文中描述的实施例。同样,相关领域的技术人员还应该明白的是,本文中描述的示例性实施例可以包括本文未详细描述的许多其它明显特征。此外,在下文中可能未详细示出或者描述一些公知的结构或者功能,以避免不必要地使相关描述变得模糊。[0018]1.引言[0019]本公开的某些实施例和特征涉及用于后滤波音频信号的方法与系统,这些方法与系统利用信号模型,该信号模型不仅考虑了扩散与白噪声,而且还考虑了点干扰源。如下面将更详细描述的,这些方法与系统设计为实现麦克风阵列中的麦克风的全局优化最小二乘LS方案。在某些实施方式中,使用真实记录的对期望干扰源的脉冲响应,包括合成的扩散和白噪声,来估计所公开的方法的性能。该脉冲响应是动态系统针对称为脉冲的简单输入信号的输出或者反应。[0020]图1图示了一种用于基于假设的声场场景(111生成经过后滤波的输出信号(175的示例性系统。假设的声场场景(111是在噪声环境(105中对噪声分量(106-108的组成的确定。在该示例性实施例中,将一个假设的声场场景(111输入至各种频率仓Fl至Fn165a-c以生成输出期望信号(175。对于假设的声场场景(111,将信号转化成频域。从一个频率到另一个频率独立地进行波束成形和后滤波。[0021]在该示例性实施例中,假设的声场场景包括一个干扰源。在其它示例性实施例中,假设的声场场景可能更复杂,包括许多干扰场景。[0022]同样,在其它示例性实施例中,可以确定多个假设的声场场景以生成多个输出信号。相关领域中的技术人员应该明白,多个声场场景可以是基于各种因素来假设的,诸如,可以是已知的或者确定的关于环境的信息。本领域的技术人员还应该明白,可以使用各种因素来确定输出信号的质量,诸如,测量信噪比(例如,如在下文中论述的实验中测量的)。在其它示例性实施例中,本领域的技术人员可以应用其它方法来假设声场场景和确定输出信号的质量。[0023]图1图不了可以包括一个或者多个噪声分量(106-108的噪声环境(105。在环境105中的噪声分量(106-108可以包括,例如,扩散噪声、白噪声、和或点干扰噪声源。可以将环境(105中的噪声分量(106-108或者噪声源定位在不同位置处以按照各种功率强度水平将噪声投射在各个方向上。每个噪声分量(106-108生成音频信号,可以通过麦克风阵列(130中的多个麦克风Ml—Μη115、120、125来接收音频信号。为了清楚起见,在示例性图示中,将由环境(105中的噪声分量(106-108生成并且由麦克风阵列(130中的麦克风115、120、125中的每一个接收的音频信号描述为单箭头109。[0024]麦克风阵列(103包括多个单独的全向性麦克风(115、120、125。本实施例假设全向性麦克风。其它示例性实施例可以实施其它类型的麦克风,这些其它类型的麦克风可以改变协方差矩阵模型。由麦克风Ml至Mn115、120、125其中,“η”为任意整数)中的每一个麦克风接收到的音频信号(109可以经由变换方法转换成频域,诸如,例如,离散时间傅里叶变换DTFT116、121、126。其它示例性转换方法可以包括,但不限于:FFT快速傅里叶变换或者STFT短时傅里叶变换)。为了简单起见,经由与一个频率对应的DTFT116、121、126中的每一个生成的输出信号用单箭头来表示。例如,在第一频率仓Fl165a处由麦克风Ml115接收到的音频产生的DTFT音频信号表示为单箭头117a。[0025]图1还图示了多个频率仓(165a_c,该多个频率仓(165a_c包含各种分量,并且每个频率仓的后滤波分量生成后滤波输出信号。例如,频率仓Fl165a的后滤波分量(160a生成第一频率仓(161a的后滤波输出信号。将每个频率仓(165a_c的输出信号输入至逆DTFT分量(170以生成具有减少的不需要的噪声的最终时域输出期望信号(175。下面将对该示例性系统(100中的频率仓165a-c的各种分量的细节与步骤进行更详细的说明。[0026]2.信号模型[0027]图2图示了由噪声环境(105生成的经波束形成的单道输出(136a。为了简单起见,已经从图2中省略了在此处未论述的整个系统100如图1所示)的分量。噪声环境(105包含生成如声音的输出的各种噪声分量(106-108。在本不例性实施例中,噪声分量106输出期望声音,而噪声分量107和108输出不期望的声音,这些不期望的声音可以是白噪声、扩散噪声或者点干扰噪声的形式。各个噪声分量(106-108均生成声音。然而,为了简单起见,将噪声分量(106-108的合并输出用单箭头109来描述。基于麦克风的物理位置和环境噪声109内的传入音频信号的方向与强度,在阵列(130中的麦克风(115、120、125以各种时间间隔接收环境噪声(109。对在麦克风(115、120、125中的每个麦克风处接收到的音频信号进行转换(116、121、126和波束形成(135a以生成针对一个单频率的单道输出(137a。将固定波束形成器(135a的单道输出(137a传送至后滤波器(160a。传送用于生成波束形成滤波器(136a的与下列等式6相关联的表示为hjω的波束形成系数(138a,以计算出后滤波系数155a。[0028]此处将对捕获环境噪声(109并且生成经波束形成的单道输出信号(137a和波束形成滤波器(136a进行更详细的说明。假设M个元件(115、120、125的麦克风阵列(130用于捕获来自噪声声学环境(105中的期望点声源(106的信号st,其中,M为任何整数值并且是阵列(130中麦克风的数量。在时域中第m个麦克风的输出表不为:[0030]其中,gs,m表示期望分量(106对第m个麦克风(例如,125的脉冲响应,*表示线性卷积,并且⑴是不需要的加性噪声(即,由噪声分量107和108生成的声音)。[0031]所公开的方法能够处理多个点干扰源;然而,为了清楚起见,在本文提出的示例中描述一个点干扰。加性噪声通常由三种不同类型的声音分量组成:1来自点干扰源的相干噪声,Vt;2扩散噪声,Um⑴;以及,3白噪声,t。同样:[0033]其中,81»是点噪声源对第m个麦克风的脉冲响应。在本示例性实施例中,将期望信号和这些噪声分量(106-108假设为短时平稳的并且互不相关的。在其它示例性实施例中,可以包括不同的噪声分量。例如,包含四处移动的多个期望声源和目标期望声源的噪声环境可以在一段时间内交替。换言之,在拥挤的房间中,两个人边走边说。[0034]在频域中,将等式1中的该普遍麦克风阵列信号模型转换为:[0038]其中,I矣ω为角频率,并且父“」〇、6^」〇、3」〇、6^」〇、¥」ω、Ujω、Wjω分别为Xm⑴、gs,m、s⑴、gv,m、v⑴、u⑴和w⑴的离散时间傅里叶变换DTFT。虽然在该示例性实施例中采用了DFTF,但是不应该理解为限制本发明的范围。其它示例性实施例可以采用其它方法,诸如,STFT短时傅里叶变换)或者FFT快速傅里叶变换)。向量矩阵形式的等式⑶如下:[0043]·,表示向量或者矩阵的转置矩阵。然后,将麦克风阵列空间协方差矩阵确定为:[0045]其中,假设互相不相关的信号,[0049]而且,E{·}、(·)H和(·广分别表示数学期望值、向量或者矩阵的埃尔米特Hermitian转置矩阵以及复变量的共辄。[0050]波束成形器(135a通过有限脉冲响应FIR滤波器Hmjcom=l,2,···,M对每个麦克风信号进行滤波,并且对结果求和来产生单道输出(137a[0052]和波束成形滤波器136a,其中[0054]在等式6中,还对期望声源的协方差矩阵进行建模。由于期望源与干扰源均为点源,所以其模型与干扰源的模型相似。它们的不同之处在于它们相对于麦克风阵列的方向。[0055]3.对噪声协方差矩阵进行建模[0056]图3图示了基于假设的声场场景(111确定协方差模型的步骤。为了简单起见,已经从图3中省略了在此处未论述的整个系统100如图1所述的分量。基于噪声环境105确定假设的声场场景(111,并且将假设的声场场景(111分别输入至每个频率仓165a_c的协方差模型(140a_c。[0057]在实际环境中,可能不知道噪声分量的组成,S卩,点干扰源的数量与位置、以及白噪声源或者扩散噪声源的存在。因此,对声场场景进行假设。上述的等式2表示具有一个点干扰源、扩散噪声、和白噪声的场景,从而产生四个未知数。如果该场景假设或者假定没有点干扰源而只有白噪声和扩散噪声,则可以简化上述的等式(5,从而只产生三个未知数。[0058]在等式⑶中,对三个与干扰噪声相关的分量106-108进行如下建模:[0059]1点干扰:由于点干扰源V⑴产生的协方差矩阵Pgvjω具有第一排名。通常,当存在混响或者该源在麦克风阵列的近场中时,脉冲响应向量gv的复杂元素可以具有不同的量级。但是,如果只考虑了直接路径或者如果该点源在远场中,则:[0061]这只包含了相对于到达公共参考点,干扰到达多个麦克风Tv,mm=l,2,···,M的时间差。[0062]2扩散噪声:由于扩散噪声场具有同时在多个方向上传播相等功率的不相关噪声信号的特征,所以将扩散噪声场视为球面各向同性的或者柱面各向同性的。其协方差矩阵为:[0064]其中,ruuco的第p,q个元素为:[0066]dM为第P个麦克风与第q个麦克风之间的距离,c为声音的速度,并且Jo·为第一类的零阶贝塞尔Bessel函数。[0067]3白噪声:加性白噪声的协方差矩阵只是加权的单位矩阵:[0069]4.多道维纳滤波器MCffF、MVDR波束成形、与后滤波[0070]当使用麦克风阵列来捕获期望的宽带声音信号例如,语音和或音乐时,目的在于最小化在等式6中的Yjω与ω的Sjω之间的距离。在MMSF意义上最佳的MCWF可以分解为MVDR波束成形器和其后的单道维纳滤波器SMffF:[0075]分别为在MVDR波束形成器的输出处的期望信号和噪声的功率。这种分解会产生用于麦克风阵列语音采集的下列结构:将SCWF视为在MVDR波束形成器之后的后滤波器。[0076]5.后滤波估计[0077]图4图示了频率仓中的后滤波估计步骤。为了实施在等式(11中给出的前端MVDR波束成形器和作为后处理器的SCWF,估计由麦克风信号计算出的协方差矩阵产生的信号与噪声协方差矩阵。首先以帧为单位将多道麦克风信号进行窗口化例如,通过加权的重叠相加的分析窗口),然后通过FFT进行转换以确定xjco,i,其中,i为帧索引。通过如下等式,动态地或者使用存储器部件对麦克风信号的协方差矩阵(145a的估计进行递归更新:[0079]其中,0〈λ〈1为遗忘因子。[0080]再者,与等式⑵相似,可以忽略混响,从而产生:[0082]其中,ts,m为期望信号相对于到达公共参考点而言到达第m个麦克风的时间差。[0083]在另一个示例中,假定\»和\„二者均为已知的并且不会随着时间而变化。因此,根据等式(5,通过使用等式(8和等式(10,在第i个时间帧处,可以将协方差矩阵模型140a确定为如下:[0085]该等式允许基于等式(14的左边与右边之间的差的Frobenius范数来定义判据。通过最小化这样的判据,可以推导出.丨的LS估计量。要注意的是,等式(14中的矩阵是埃尔米特Hermitian矩阵。为了清楚起见,已经省略了该公式中的冗余信息。[0086]对于MXM埃尔米特矩阵A=[aPq],可以定义两个向量。其中一个向量为对角线元素,而另一个向量为三角形下部分的非对角线半向量化odhv:[0089]可以将相同大小的多个N埃尔米特矩阵定义为:[0092]通过使用这些符号,将等式(14进行重组以得到:[0094]其中,为了清楚起见,省略了参数jω,并且[0099]此处,结果为MΜ+12等式和4个未知数。如果M彡3,则这会是超定问题。换言之,存在比未知数更多的等式。[0100]上述误差判据可以表示为:[0102]在估计声源150a的功率时使该判据最小化会产生:[0104]其中,纖f|表示复数向量的实数部分。可以假设的是,中的估计误差为IID独立同分布)随机变量。从而,在计算后滤波系数(155a过程中实施时,等式21中给出的LS最小二乘解在MMSE意义上是最佳的。如本公开所述的,将该估计值代入等式(II会产生LS后滤波器LSPF160a。[0105]在上述示例性实施例中,推导出的LS解假设M多3。这是因为使用了由四种类型的声音信号组成的更普遍化的声场模型。在其它示例性实施例中,关于声场的附加信息是可用的,这样可以忽略某些类型的干扰信号(例如,无点干扰并且或者仅有白噪声),然后可以移除等式(19中与这些可忽略声源对应的列,并且仍然可以利用M=2来开发本公开所描述的LSPF。[0106]图5是图示根据本公开的实施例的计算频率仓(165a的后滤波系数的示例性步骤。下面在图5中的图示反映了上面公开的细节与上述数学概念的示例性实施方式。所公开的步骤仅通过图示的方式给出。对本领域的技术人员来说明显的是,在具体实施方式的精神和范围之内可以并行地或者以交替的序列来进行某些步骤。[0107]参照图5,示例性步骤开始于步骤501。在步骤502中,经由麦克风阵列(130从环境105中的声源(106-108生成的噪声(109接收音频信号。在步骤503中,假设声场场景111。在步骤504中,针对频率仓(165a,基于接收到的音频信号(117a、122a、127a,计算固定的波束形成器系数(138a。在步骤505中,基于假设的声场场景(111,确定协方差矩阵模型(HOa。在步骤506中,基于接收到的音频信号(117a、122a、127a,计算协方差矩阵145a。在步骤507中,基于确定的协方差矩阵模型(140a和计算得到的协方差矩阵145a,估计声源(150a的功率。在步骤508中,基于估计的声源(150a的功率和计算得到的固定波束形成器系数(138a,计算后滤波系数(155a。这些示例性步骤可以继续进入结束步骤509。可以对每个频率仓(165a-c实施上述步骤以分别生成经过后滤波的输出信号161a-c。然后,可以对经过后滤波的信号(161a-c进行转换(170以生成最终输出期望信号(175。[0108]如上所述,与本文所述的方法与系统相比,传统的后滤波方法不是最佳的并且具有缺陷。下面将对现有方法相对于本公开的局限性和缺陷进行说明。[0109]aZelinski后滤波ZPF假设:1无点干扰,SP无扩散噪声,即i只有加性不相干白噪声。从而,将等式19简化为:[0111]ZPF只使用等式22的底部odhv部分而非使用等式21计算的最佳LS解,从而得到:[0113]要注意的是,从等式13中得出从而,等式23变为:[0115]如果将LSPF的相同声场模型用于ZPF例如,只有白干扰),则可以看出,当M=2时,ZPF和LSPF是等效的。然而,当M彡3时,它们在本质上是不同的。[0116]aMcCowan后滤波MPF假设:1无点干扰,即无加性白噪声,即识有扩散噪声。在这些假设下,等式19变成:[0118]要注意的是,从等式9中得出diag{ruu}=1mxi。[0119]等式25为超定体系。再者,MPF应用从等式25得出的与第p个麦克风和第q个麦克风对相对应的三个等式来形成像下面的子体系,而不是通过下面等式21来找到全局LS解:[0123]针对#MPF方法对等式26求解:[0125]由于存在MM-I2个不同的麦克风对,所以最终的MPF估计值只是子体系的结果的平均值,如下:[0127]在实践中,扩散噪声模型比白噪声模型更常见。当Γ_=ΙΜΧΜ时,可以将后者视为前者的特殊情况。但是,对等式25求解的MPF方法是启发式的,并且也不是最佳的。再者,如果LSPF使用了仅有扩散噪声模型,则当M=2时,LSPF等效于MPF;而当M彡3时,它们在本质上是不同的。[0128]cLeukimmiatis后滤波采用MPF中提出的算法来估ϋLeukimmiatis等人仅仅解决了Zelinski后滤波和McCowan后滤波中的缺陷,(11中的后滤波的分母应该为[0129]6.实验结果[0130]下面提供了已经进行的示例性语音增强实验的结果以验证本公开的LSPF方法与系统。图6图示了实验的麦克风阵列610和声源620、630的空间布置。在附图内的元素的位置并不旨在表达确切尺寸或者距离,这将在下面描述中提出。提供了考虑麦克风阵列610的前四个麦克风Ml-M4601-604的一组实验,其中,各麦克风之间的间距为3〇11。6018混响时间为360ms。期望声源620位于阵列的舷侧0°,而干扰源630位于45°方向上。两者均距离阵列2m。将纯的、连续的16kHz16比特语音信号用于这些点声源。期望声源620为女性说话者,而干扰源630为男性说话者。两种信号的发声部分均具有多个重叠部分。因此,对16kHz的脉冲响应进行重新采样,将这些冲击响应截断为4096个样本,并且生成球面各向同性的扩散噪声。在这些实验模拟中,使用了分布在较大球面上的72X36=2592个点源。将这些信号截断为20s。[0131]在上述实验中,定义三个全频段测量值来表征声场(下标SF。即,信号干扰比SIR、信噪比(SNR、和扩散白噪声比DWR,如下:[0136]对于性能评估,可以对两个目标矩阵进行分析:信号干扰噪声比(SINR和感知评估语音质量PESQ。分别计算每个麦克风处的SINR和PESQ,并且取SINR和PESQ的平均数作为输入的SINR和PESQ。近似地估计出输出SINR和PESQ分别用SINRo和PESQo表示)。分析在输入测量值与输出测量值之间的差(即,delta值)。为了更好评估在输出处的噪声减少与语音失真的量,还要计算出干扰与噪声减少(INR和仅期望语音的PESQdPESQ。对于dPESQ,将经过处理的期望语音和纯语音传送至PESQ估计器。输出TOSQ指示增强信号的质量,而dPESQ值量化了引进的语音失真的量。在本研究中,使用了HuLoizou提出的用于PESQ的MatIab代码。[0137]为了避免MVDR最小方差无失真响应波束形成器中由于室内混响而引起的公知信号相消问题,将延迟与求和DS波束形成器实施用于前端处理,并且与下列四种不同的后滤波算法进行比较:无后滤波、ZPE、MPE和LSPF。将只有DS的实施方式用作基准。对于ZPE和MPE,已经采用了Leukimmiatis的校正。在下列三种不同的设置下进行测试:1只有白噪声:SIRSF=30dB,SNRSF=5dB,DWRSF=-30dB;2只有扩散噪声:SIRSF=30dB,SNRSF=IOdB,DWRSF=30dB;3混合噪声、干扰:SIRSF=OdB,SNRSF=IOdB,DWRSF=OdB。结果如下:[0138]表1:麦克风阵列语音增强结果[0139]Tablel:Microphonearrayspeechenhancementresults.[0141]在这些测试中,将平方根汉明窗和512点FFT用于STFT分析。两个邻近的窗口具有50%的重叠样本。使用加权的重叠相加方法来重构经过处理的信号。[0142]在表1中概括了实验结果。首先,对只有白噪声的声场的结果进行分析。由于这是通过ZPF方法解决的声场的类型,所以SPF在抑制噪声和增强语音质量上起到了非常好的作用。然而,虽然所提出的LSPF以稍低的dPESQ引进了更大的语音失真,但却实现了更大的噪声减少并且提供了更高的输出PESQ。由于MPF的SINR增益低于ZPF和LSPF的SINR增益,所以MPF产生了虚高的INR。这意味着,MPF不仅大大地抑制了噪声,而且还抑制了语音信号。MPF的PESQ和dPESQ均低于LSPF的PESQ和dPESQ。[0143]在第二种声场中,正如预期的,DS波束形成器在处理扩散噪声上不太有效,并且ZPF的性能也降低了。在这种情况下,MPF的性能尚可,仍然是LSPF显然取得了最好的结果。[0144]由于存在随时间变化的干扰语音源,第三种声场显然是最具有挑战性的情况。然而,LSPF在所有矩阵中均胜过了其它传统方法。[0145]最后,值得注意的是,这些纯粹客观的性能评估结果与我们的少数同行实施的非正式监听测试中的四种技术的主观认知一致。[0146]本公开描述了用于麦克风阵列应用的LS后滤波方法的方法与系统。与传统的后滤波技术不同,所描述的方法不仅考虑了扩散噪声和白噪声,而且还考虑了点干扰。而且,这是比传统方法更有效的开发由麦克风阵列采集到的信息的全局最优方案。此外,已经通过各种声学场景中的模拟验证并且量化了所公开的技术胜过现有方法的优点。[0147]图7是示出计算装置(700上的应用的高级框图。在基本配置(701中,计算装置700通常包括一个或者多个处理器710、系统存储器720、和存储器总线730。该存储器总线用于在处理器与系统存储器之间进行通信。该配置还可以包括实施上述方法的独立后滤波部件726,或者可以集成到应用722、723中。[0148]根据不同的配置,处理器710可以是微处理器μΡ、微控制器μ〇、数字信号处理器DSP、或者其任何组合。处理器710可以包括一个或者多个级别的缓存诸如,Ll缓存711和L2缓存712、处理器核心713、和寄存器714。处理器核心713可以包括算术逻辑单元ALU、浮点单元FPU、数字信号处理核心DSPCore、或者其任何组合。存储控制器716可以是处理器710的独立部分或者内部部分。[0149]根据期望的配置,系统存储器720可以是任何类型的,包括但不限于:易失性存储器诸如,RAM、非易失性存储器诸如,R0M、闪速存储器等或者其任何组合。系统存储器720通常包括操作系统721、一个或者多个应用(722、和程序数据724。应用(722可以包括后滤波部件(726或者用于语音增强的全局优化最小二乘后滤波(723的系统与方法。程序数据724包括存储指令,这些指令在由一个或者多个处理装置执行时实施针对上述方法和部件723的系统与方法。或者,可以经由后滤波部件726来执行该方法的指令与实施。在某些实施例中,应用722可以设置为在操作系统上721利用程序数据724来运行。[0150]计算装置700可以具有附加特征或者功能、和附加接口以促进基本配置701与任何需要的装置和接口之间的通信。[0151]系统存储器(720是计算机存储介质的示例。计算机存储介质包括,但不限于:RAM、R0M、EEPR0M、闪速存储器、或者其它存储器技术、⑶-ROM、数字通用光盘DVD或者其它光存储装置、磁带盒、磁带、磁盘存储装置或者其它磁存储装置、或者可以用于存储需要的信息并且可以由计算装置700存取的任何其它介质。任何这种计算机存储介质可以是装置700的一部分。[0152]计算装置700可以实施为小形状因子便携式或者移动)电子装置的一部分,诸如,手机、智能电话、个人数字助理PDA、个人媒体播放器、平板计算机平板)、无线网页浏览装置、个人耳机装置、专用于应用的装置、或者包括上述功能中的任何一种功能的混合装置。计算装置700还可以实施为个人计算机,包括膝上型计算机配置和非膝上型计算机配置二者。[0153]上述的具体实施方式已经通过使用框图、流程图和或示例陈述了装置和或过程的各个实施例。这些框图、流程图和或示例包含一种或者多种功能和或操作,本领域技术人员应该理解的是,可以通过各种各样的硬件、软件、固件或者其任何虚拟组合来单独地和或联合地实施这些框图、流程图和或示例中的各个功能和或操作。在一个实施例中,可以经由专用集成电路ASIC、现场可编程门阵列FPGA、数字信号处理器DSP或者其它集成格式来实施本文所描述的主题的若干部分。然而,本领域技术人员将认识到,本文中描述的实施例的某些方面可以在集成电路中全部或者部分地等效实施为在一个或者多个计算机上运行的一个或者多个计算机程序、在一个或者多个处理器上运行的一个或者多个程序、固件、或者其任何虚拟组合;而且,根据本公开设计电路和或写入用于软件和固件的代码应该在本领域技术人员的技术范围之内。此外,本领域技术人员应该明白的是,本文中描述的主题的机制能够被描述为各种形式的程序产品;而且,不管实际实施分配的非暂时性信号承载介质的具体类型,本文中描述的主体的图示实施例均可以适用。非暂时性信号承载介质的示例包括,但不限于:可记录型介质,诸如,软盘、硬盘驱动器、光碟CD、数字视频光盘DVD、数字磁带、计算机存储器等;以及,传输型介质,诸如,数字和或模拟通信介质例如,纤维光缆、波导、有线通信链路、无线通信链路等)。[0154]相对于本文中的任何复数和或单数术语的使用,本领域的技术人员可以根据上下文和或应用从复数转化为单数和或从单数转化为复数。为了清楚起见,可以在本文中清楚地陈述各种单数复数置换。[0155]因此,已经对主题的特定实施例进行了描述。其它实施例在以下权利要求书的范围内。在一些情况下,在权利要求书中叙述的动作可以按照不同的顺序来进行并且仍然可以实现期望的结果。此外,在附图中描述的过程并不一定需要按照图示的特定顺序或者先后顺序来实现期望的结果。在某些实施方式中,多任务处理和并行处理可能是有利的。

权利要求:1.一种计算机实施的方法,包括:经由麦克风阵列从环境中的声源接收首频ί目号;基于所接收到的音频信号来假设声场场景,包括假设点干扰、扩散噪声和白噪声;基于所接收到的音频信号来计算固定的波束形成器系数;基于所假设的声场场景来确定协方差矩阵模型;基于所接收到的音频信号来计算协方差矩阵;估计所述声源的功率以找到使所确定的协方差矩阵模型与所计算的协方差矩阵之间的差最小化的方案;基于所估计的功率来计算并且应用后滤波系数;以及基于所接收到的音频信号和所述后滤波系数来生成输出音频信号。2.根据权利要求1所述的方法,进一步包括:假设多个声场场景以生成多个输出信号。3.根据权利要求2所述的方法,其中,将多个所生成的输出信号进行比较,并且从多个所生成的输出信号中选择具有最高信噪比的输出信号作为最终输出信号。4.根据权利要求1所述的方法,其中,对所述功率的所述估计是基于弗罗宾尼斯范数。5.根据权利要求4所述的方法,其中,所述弗罗宾尼斯范数是使用所述协方差矩阵的埃尔米特对称来计算的。6.根据权利要求1所述的方法,进一步包括:使用声源位置方法来确定所述声源中的至少一个声源的位置以假设所述声场场景、确定所述协方差矩阵模型、并且计算所述协方差矩阵。7.根据权利要求1所述的方法,其中,所述协方差矩阵模型是基于多个假设的声场场景生成的。8.根据权利要求7所述的方法,其中,选择协方差矩阵模型以使减少噪声的目标函数最大化。9.根据权利要求8所述的方法,其中,目标函数是所述最终输出音频信号的样本方差。10.—种设备,包括:一个或者多个处理装置和存储指令的一个或者多个存储装置,所述指令在由所述一个或者多个处理装置执行时使得所述一个或者多个处理装置:经由麦克风阵列从环境中的声源接收首频ί目号;基于所接收到的音频信号来假设声场场景,包括假设点干扰、扩散噪声和白噪声;基于所接收到的音频信号来计算固定的波束形成器系数;基于所假设的声场场景来确定协方差矩阵模型;基于所接收到的音频信号来计算协方差矩阵;估计所述声源的功率以找到使所确定的协方差矩阵模型与所计算的协方差矩阵之间的差最小化的方案;基于所估计的功率来计算并且应用后滤波系数;以及基于所接收到的音频信号和所述后滤波系数来生成输出音频信号。11.根据权利要求10所述的设备,进一步包括假设多个声场场景以生成多个输出信号。12.根据权利要求11所述的设备,其中,将多个所生成的输出信号进行比较,并且从多个所生成的输出信号中选择具有最高信噪比的输出信号。13.根据权利要求10所述的设备,其中,对所述功率的所述估计是基于弗罗宾尼斯范数。14.根据权利要求13所述的设备,其中,所述弗罗宾尼斯范数是使用所述协方差矩阵的埃尔米特对称来计算的。15.根据权利要求10所述的设备,进一步包括:使用声源位置方法来确定所述声源中的至少一个声源的位置以假设所述声场场景、确定所述协方差矩阵模型、并且计算所述协方差矩阵。16.—种非暂时性计算机可读介质,包括用于以下的指令的集合:经由麦克风阵列从环境中的声源接收首频ί目号;基于所接收到的音频信号来假设声场场景,包括假设点干扰、扩散噪声和白噪声;基于所接收到的音频信号来计算固定的波束形成器系数;基于所假设的声场场景来确定协方差矩阵模型;基于所接收到的音频信号来计算协方差矩阵;估计所述声源的功率以找到使所确定的协方差矩阵模型与所计算的协方差矩阵之间的差最小化的方案;基于所估计的功率来计算并且应用后滤波系数;以及基于所接收到的音频信号和所述后滤波系数来生成输出音频信号。17.根据权利要求16所述的非暂时性计算机可读介质,其中,多个假设的声场场景用于生成多个输出信号。18.根据权利要求17所述的非暂时性计算机可读介质,其中,将多个所生成的输出信号进行比较,并且从多个所生成的输出信号中选择具有最高信噪比的输出信号。19.根据权利要求16所述的非暂时性计算机可读介质,其中,对所述功率的所述估计是基于弗罗宾尼斯范数。20.根据权利要求19所述的非暂时性计算机可读介质,其中,所述弗罗宾尼斯范数是使用所述协方差矩阵的埃尔米特对称来计算的。

百度查询: 谷歌有限责任公司 用于语音增强的全局优化最小二乘后滤波

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。