基于因子分析的說話人分離技術(shù)研究.pdf

1、高速發(fā)展的計(jì)算機(jī)水平和音頻處理技術(shù)，使得人們對(duì)于從海量數(shù)據(jù)中獲取到感興趣的人聲，越來越有需求。另一方面，如何對(duì)獲取到的各類音頻進(jìn)行合理有效的管理，也是目前存在的一大挑戰(zhàn)。在此背景下，為了滿足上述需要，說話人分離這一關(guān)鍵技術(shù)應(yīng)運(yùn)而生，其主要涉及兩個(gè)過程:說話人分割和說話人聚類。
　　說話人分離系統(tǒng)幾乎無任何可供參考的先驗(yàn)信息使用，容易受環(huán)境或者建模方法的影響，使得分割和聚類時(shí)說話人片段的類純度得不到保證。另外，基于距離準(zhǔn)則的層次聚類

2、方式一旦出現(xiàn)聚類誤差，會(huì)一直的向上傳遞。因此本文主要在說話人分割和聚類的建模方法以及類別提純上展開了探索和研究，主要工作和創(chuàng)新點(diǎn)如下:
　　第一，說話人分離前端語音端點(diǎn)檢測（VAD）和類別提純方面的研究。針對(duì)基線系統(tǒng)中存在的低能量語音難以召回以及噪聲難以去除的情形，引入了深度學(xué)習(xí)的方法，在分離前端進(jìn)行改進(jìn)。針對(duì)層次聚類時(shí)出現(xiàn)聚類誤差向上傳遞的情況，提出了基于貝葉斯信息準(zhǔn)則(BIC)的短時(shí)類別提純方法，削弱由層次聚類帶來的誤差向上傳

3、遞的影響。實(shí)驗(yàn)結(jié)果表明，基于深度學(xué)習(xí)的語音端點(diǎn)檢測，能有效的降低說話人分離時(shí)的虛警和漏警，并且降低說話人分離錯(cuò)誤率，且基于短時(shí)BIC類別提純的方法，能更新部分聚類錯(cuò)誤的說話人片段，提高后續(xù)說話人聚類的類純度。
　　第二，說話人轉(zhuǎn)折點(diǎn)檢測建模方法的研究。探索了基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的建模方法在說話人轉(zhuǎn)折點(diǎn)檢測中的應(yīng)用，利用其強(qiáng)大的模型表達(dá)能力，提高說話人分割的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，這種基于深度學(xué)習(xí)的轉(zhuǎn)折點(diǎn)檢測建模方法相比于傳統(tǒng)的

4、BIC建模方法，無論是在轉(zhuǎn)折點(diǎn)檢測的準(zhǔn)確率和召回率，還是對(duì)整個(gè)系統(tǒng)的分離錯(cuò)誤率(DER)來說，都獲得了一定的效果提升。
　　第三，說話人聚類時(shí)的因子分析建模方法研究。傳統(tǒng)的以貝葉斯信息準(zhǔn)則作為相似性度量的說話人分離技術(shù)，在短時(shí)對(duì)話的分離任務(wù)中能取得較好的效果，但是隨著對(duì)話時(shí)長的增加，BIC的單高斯模型不足以描述不同說話人數(shù)據(jù)的分布，且層次聚類時(shí)區(qū)分相同說話人和不同說話人的門限值難以劃定。針對(duì)此問題，本文嘗試基于短時(shí)BIC和長時(shí)概率

5、線性判別分析(PLDA)融合的方法，充分利用BIC在短時(shí)聚類的可靠性和PLDA在長時(shí)段上的優(yōu)異區(qū)分性，來實(shí)現(xiàn)說話人聚類過程。實(shí)驗(yàn)表明，因子分析框架下的說話人信息建模方法能有效的降低說話人分離錯(cuò)誤率，使得性能相對(duì)提升34.2％。
　　第四，說話人聚類過程中的變分貝葉斯（VB）調(diào)優(yōu)方法研究。通過與因子分析框架下的全差異空間相結(jié)合，將傳統(tǒng)的層次聚類方式轉(zhuǎn)化為在保證最優(yōu)化目標(biāo)函數(shù)的前提下，對(duì)某個(gè)片段屬于某個(gè)說話人的最大后驗(yàn)概率估計(jì)的一種軟