Nureva的Microphone Mist™技術(shù)通過(guò)數(shù)以千計(jì)的虛擬麥克風(fēng)均勻填充滿整個(gè)空間，保證出色的拾音和聽(tīng)音效果。這項(xiàng)技術(shù)是保證Nureva音頻系統(tǒng)非凡性能的關(guān)鍵。那么究竟什么是虛擬麥克風(fēng)？它們又會(huì)對(duì)日常遠(yuǎn)程會(huì)議產(chǎn)生何種影響？

數(shù)以千計(jì)的虛擬麥克風(fēng)不僅僅在房間內(nèi)增加了額外的拾音點(diǎn)，還是對(duì)現(xiàn)有的實(shí)體麥克風(fēng)和beamformer系統(tǒng)的概念性顛覆。它們改變了我們對(duì)會(huì)議空間中聲音拾取的基本理解。

使用專(zhuān)注于離散三維位置而不依賴(lài)廣泛覆蓋區(qū)域的方法，我們可以提供優(yōu)化的分析和解決方案，從而使音頻會(huì)議系統(tǒng)拾音更加精確、功能更加強(qiáng)大。換句話說(shuō)，如果我們不再對(duì)所需聲源方向進(jìn)行廣泛覆蓋，而是分析房間內(nèi)數(shù)以千計(jì)個(gè)空間點(diǎn)（點(diǎn)位）的聲音，就會(huì)有不一樣的效果。虛擬麥克風(fēng)組成了這些三維空間點(diǎn)，使陣列可以專(zhuān)注于這些點(diǎn)位的拾音。

通過(guò)從三維角度分析房間聲學(xué)的新方法，可以確定房間內(nèi)數(shù)千個(gè)點(diǎn)位中每個(gè)點(diǎn)位的音頻特性。然后，這些豐富的聲音信息可以被獨(dú)立地評(píng)估可用性和質(zhì)量，并相應(yīng)地對(duì)系統(tǒng)進(jìn)行自動(dòng)調(diào)整。

音頻會(huì)議系統(tǒng)現(xiàn)狀

目前有兩種常見(jiàn)的音頻會(huì)議麥克風(fēng)拾音方法。

第一種方法是配置一支或多支獨(dú)立麥克風(fēng)（如圖1）。采用這種方法構(gòu)建的系統(tǒng)可能很簡(jiǎn)單，如在房間內(nèi)的講話者身上佩戴領(lǐng)夾式麥克風(fēng)；也可能很復(fù)雜，如在桌子上配置一系列分布式鵝頸麥克風(fēng)或在天花板上安裝懸吊式麥克風(fēng)。

這種方法能夠在小型目標(biāo)區(qū)域內(nèi)實(shí)現(xiàn)特定覆蓋，或在由麥克風(fēng)指向性模式定義的大型區(qū)域內(nèi)實(shí)現(xiàn)廣泛覆蓋。雖然當(dāng)講話者靠近麥克風(fēng)時(shí)音頻拾取性能可以很好，但當(dāng)講話者遠(yuǎn)離麥克風(fēng)或改變講話方向時(shí)，拾音性能會(huì)顯著降低。移動(dòng)講話者的聲音尤其難以被拾取，因?yàn)楫?dāng)他們邊走邊說(shuō)時(shí)，很可能會(huì)離開(kāi)桌面麥克風(fēng)的覆蓋區(qū)域，講話者就被限制在麥克風(fēng)系統(tǒng)有限的覆蓋范圍內(nèi)。因此，這種麥克風(fēng)拾音方法不適合需要講話者變換位置（如使用演示設(shè)備闡述觀點(diǎn)）的動(dòng)態(tài)型會(huì)議場(chǎng)景。

如果多個(gè)聲源集中在某一麥克風(fēng)的覆蓋區(qū)域內(nèi)，系統(tǒng)就無(wú)法進(jìn)行區(qū)分。如果所有這些聲源都是有用的，就不是問(wèn)題，但如果其中一個(gè)或多個(gè)聲源是不需要的噪聲（如供熱通風(fēng)與空氣調(diào)節(jié)系統(tǒng)噪聲、鍵盤(pán)敲擊聲或紙張移動(dòng)聲），那么就會(huì)比較麻煩——麥克風(fēng)會(huì)拾取該覆蓋內(nèi)所有的聲音，需要額外進(jìn)行后處理來(lái)消除不需要的噪聲。

圖1 桌面麥克風(fēng)覆蓋示例

另一種常見(jiàn)的音頻會(huì)議麥克風(fēng)拾音方法是采用beamforming陣列。這些由實(shí)體麥克風(fēng)組成的beamforming陣列基于預(yù)期房間用途被預(yù)先配置了覆蓋區(qū)域（如圖2）。這種陣列旨在增大目標(biāo)區(qū)域內(nèi)的聲音，使其增益高于獨(dú)立麥克風(fēng)系統(tǒng)的標(biāo)準(zhǔn)增益，并衰減目標(biāo)區(qū)域外的聲音，從而顯著降低混響和不需要的噪聲。這種拾音系統(tǒng)被稱(chēng)為beamformer，因?yàn)槊總�(gè)區(qū)域都是從麥克風(fēng)陣列的位置開(kāi)始并向外延伸，通常會(huì)延伸到房間邊界處。

一個(gè)beamforming陣列可能只覆蓋一個(gè)區(qū)域（如波束追蹤陣列），也可能根據(jù)使用情況覆蓋多個(gè)區(qū)域（如多區(qū)陣列）。由于波束可以縮窄，因此系統(tǒng)可以通過(guò)聚焦特定覆蓋區(qū)域來(lái)減少不需要的噪聲。然而，即使窄波束也無(wú)法提供足夠的空間粒度來(lái)提供高空間分辨率。也就是說(shuō)，波束是根據(jù)方向而不是位置來(lái)處理聲音。如果波束內(nèi)有不需要的噪聲源，beamforming系統(tǒng)就會(huì)產(chǎn)生與獨(dú)立麥克風(fēng)系統(tǒng)相同的限制。不需要的噪聲仍然需要通過(guò)專(zhuān)門(mén)的噪聲濾波器和算法進(jìn)行后處理。如果講話者位于波束之外，例如在顯示設(shè)備邊或在整個(gè)房間內(nèi)移動(dòng)，就無(wú)法確定自己是否在beamformer區(qū)域內(nèi)。在獨(dú)立麥克風(fēng)系統(tǒng)中，講話者可以看到實(shí)體麥克風(fēng)的位置，而在beamforming陣列中，講話者無(wú)法確定beamformer的指向或配置指向，因此可能會(huì)無(wú)意中偏離預(yù)置的覆蓋區(qū)域。

圖2 Beamforming陣列覆蓋示例

這兩種常見(jiàn)方法都是在預(yù)配置的覆蓋區(qū)域內(nèi)拾取最響亮的聲源（可能來(lái)自講話者，也可能不是），并嘗試優(yōu)化音頻性能。但在每種方法中，整個(gè)房間的聲學(xué)覆蓋可能都不夠充分，因?yàn)槁晫W(xué)空間分辨率和密度較低，對(duì)整個(gè)房間進(jìn)行連續(xù)聲學(xué)監(jiān)測(cè)通常是不可行的。此外，這兩種方法都基于房間的預(yù)期用途。如果房間的實(shí)際用途偏離了預(yù)期用途，則系統(tǒng)通常必須進(jìn)行重新配置。廣泛覆蓋的拾音方法很難獲得有關(guān)房間內(nèi)所有聲源的聲學(xué)特性和精確點(diǎn)位的詳細(xì)信息。

針對(duì)以上情況，Nureva開(kāi)發(fā)了一種獨(dú)特的創(chuàng)新方法，通過(guò)以高空間分辨率全面分析三維空間來(lái)覆蓋整個(gè)拾音區(qū)域。這使得麥克風(fēng)系統(tǒng)能夠在數(shù)以千計(jì)的獨(dú)立點(diǎn)位獲得精確的聲學(xué)信息。這種方法測(cè)量空間粒度非常高，可以同時(shí)識(shí)別和管理所有點(diǎn)位的聲學(xué)聲源。因此，該系統(tǒng)可以提供全房間的聲學(xué)視角，將音頻拾取性能優(yōu)化到在較低空間分辨率系統(tǒng)中根本不可達(dá)到的水平。

實(shí)現(xiàn)聲學(xué)空間

高分辨率拾音的新方法

Nureva意識(shí)到，如要改善會(huì)議空間的音頻體驗(yàn)，需要一種新的方法。我們的目標(biāo)是通過(guò)測(cè)量整個(gè)聲學(xué)空間中多個(gè)離散點(diǎn)位的聲音特性來(lái)獲得更高質(zhì)量、更精確的聲學(xué)信息，而不是簡(jiǎn)單地優(yōu)化來(lái)自一個(gè)或多個(gè)方向的有源聲源。我們需要一種全新的創(chuàng)新方法，從而比其他音頻會(huì)議系統(tǒng)在聲學(xué)上可以更精確地解析空間。

為了實(shí)現(xiàn)這一目標(biāo)，我們需將房間視為三維聲學(xué)空間（如圖3）。Nureva開(kāi)發(fā)了專(zhuān)利的麥克風(fēng)陣列技術(shù)，即Microphone Mist技術(shù)，可以通過(guò)數(shù)以千計(jì)均勻分布的虛擬麥克風(fēng)在三個(gè)維度上解析聲學(xué)空間，從而實(shí)現(xiàn)全覆蓋網(wǎng)格，以比傳統(tǒng)的拾音方法更高的分辨率和覆蓋密度提供精確的聲學(xué)信息。

圖3 Microphone Mist技術(shù)

高空間分辨率的概念有助于理解為什么Nureva的聲學(xué)空間拾音方法如此獨(dú)特。雖然這是一種新的音頻會(huì)議拾音方法，但它與其他領(lǐng)域的高分辨率技術(shù)相似。

為什么需要高分辨率？

當(dāng)您購(gòu)買(mǎi)電視機(jī)或攝像機(jī)時(shí)，圖像分辨率是需要重點(diǎn)關(guān)注的性能規(guī)格之一。4k圖片質(zhì)量比1080p的圖片更好——更高的分辨率能夠帶來(lái)更好的體驗(yàn)。其他格式和技術(shù)，如色彩、音樂(lè)、圖像甚至望遠(yuǎn)鏡也是如此。更高的分辨率意味著更多更高質(zhì)量的信息和處理，可以帶來(lái)更好的體驗(yàn)。

例如，圖4記錄了調(diào)色板上位深變化產(chǎn)生的影響。當(dāng)圖像的位深度為2時(shí)，會(huì)得到4種色彩選項(xiàng)。當(dāng)分辨率增加到14bit時(shí)，就會(huì)得到16,384種色彩項(xiàng)。隨著位深度的增加，圖像中調(diào)色板的分辨率也在增加，這意味著可以更精確的解析色彩細(xì)節(jié)。顯然，更高位深度的色彩描述更適合顯示和分析圖像。

圖4 色彩位深

在圖5中，與高分辨率的300dpi圖像相比，低分辨率4dpi的吉他圖像是塊狀的。提高分辨率意味著可以顯示更精確和詳細(xì)的圖像。在低分辨率圖像中模糊不清的細(xì)節(jié)在高分辨率圖像中變得非常明顯，從而可以對(duì)圖像數(shù)據(jù)進(jìn)行更好的處理和分析。

圖5 圖像分辨率

同樣音樂(lè)中也是如此。圖6的表格顯示，4bit的錄音比24bit的錄音的分辨率要低。隨著位深度的增加，會(huì)得到更高的信噪比、更高的動(dòng)態(tài)范圍和更少的量化誤差。

圖6 音樂(lè)分辨率

更高的位深度和由此帶來(lái)的數(shù)據(jù)分辨率提高的優(yōu)勢(shì)在數(shù)字平臺(tái)上得到了很好的理解和共享。這些優(yōu)勢(shì)也同樣適用于將聲學(xué)空間細(xì)分為越來(lái)越精細(xì)的粒度細(xì)節(jié)的音頻麥克風(fēng)系統(tǒng)。如果我們將空間分解為更小的聲學(xué)區(qū)域，就可以更好地描述和理解聲源和空間，從而根據(jù)聲源自身的聲學(xué)特性進(jìn)行優(yōu)化處理。

聲學(xué)空間的分辨率

將空間劃分為聲學(xué)區(qū)域來(lái)形成充足的覆蓋范圍對(duì)音頻會(huì)議大有裨益。房間可以被劃分為實(shí)體麥克風(fēng)或虛擬麥克風(fēng)覆蓋區(qū)域。在配置獨(dú)立麥克風(fēng)和beamformer后，每個(gè)區(qū)域以麥克風(fēng)系統(tǒng)的孔徑中心開(kāi)始，由每個(gè)配置區(qū)域的極坐標(biāo)圖形狀來(lái)定義。通過(guò)Microphone Mist技術(shù)，每個(gè)區(qū)域都以三維空間中每個(gè)虛擬麥克風(fēng)的位置為中心。每個(gè)位置都可以被分配一個(gè)單獨(dú)的空間分辨率值�？偟姆直媛手当硎钧溈孙L(fēng)系統(tǒng)在三維空間中能夠分辨多少個(gè)空間粒度點(diǎn)。

圖7a和7b顯示了空間中配置一支獨(dú)立麥克風(fēng)和多支分布式獨(dú)立麥克風(fēng)的覆蓋情況。如果我們?yōu)槊總�(gè)覆蓋區(qū)分配一個(gè)空間區(qū)域值，在配置一支獨(dú)立麥克風(fēng)的情況下，這個(gè)值從實(shí)體麥克風(fēng)的中心開(kāi)始，我們可以看到一支麥克風(fēng)有1個(gè)單獨(dú)的空間區(qū)域，空間中總共有1個(gè)空間區(qū)域（如圖7a）。在配置多支分布式獨(dú)立麥克風(fēng)的情況下，顯示了3個(gè)空間區(qū)域，總空間分辨率值為3（如圖7b）。盡管覆蓋區(qū)域很大，但麥克風(fēng)系統(tǒng)無(wú)法分辨單個(gè)區(qū)域內(nèi)的各個(gè)聲源，這導(dǎo)致總空間分辨率值較低。就像色彩和圖像一樣，我們將聲學(xué)空間劃分的越精細(xì)，在測(cè)量和描述聲學(xué)空間時(shí)的空間分辨率就越高。

圖7a 單支獨(dú)立麥克風(fēng)空間分辨率示例

圖7b 多支獨(dú)立麥克風(fēng)空間分辨率示例

圖8a和8b顯示了通用的beamformer覆蓋模式。通過(guò)為每個(gè)區(qū)域分配一個(gè)單獨(dú)的空間區(qū)域值，可以應(yīng)用相同類(lèi)型的量化。圖8a顯示一個(gè)三區(qū)系統(tǒng)的空間分辨率值為3。即使在復(fù)雜的實(shí)際應(yīng)用中，覆蓋區(qū)域通常也限制在幾十個(gè)以下，在本示例中有6個(gè)區(qū)（如圖8b），空間分辨率為6。顯然，beamformer可以通過(guò)較小的總空間分辨率值來(lái)描述整個(gè)空間。

圖8a Beamformer空間分辨率示例

圖8b Beamformer空間分辨率

這兩個(gè)系統(tǒng)都能夠在每個(gè)覆蓋區(qū)域拾取聲源，就像4dpi分辨率的圖像可以將寬泛的顏色顯示為模糊的斑點(diǎn)一樣。但在任何一個(gè)區(qū)域內(nèi)區(qū)分聲源很難。如果某一聲源在覆蓋區(qū)之外，就會(huì)被完全忽略。上述兩種常見(jiàn)的音頻會(huì)議麥克風(fēng)拾音方法都無(wú)法將空間劃分為高密度的聲學(xué)網(wǎng)格，這限制了麥克風(fēng)系統(tǒng)識(shí)別聲源及其特性的方式。

綜上所述，我們是要選擇空間分辨率較低的模糊聲像還是蘊(yùn)含高分辨率信息和數(shù)據(jù)的聲學(xué)空間呢？

為什么數(shù)以千計(jì)的

虛擬麥克風(fēng)如此有用？

將空間劃分為更小的區(qū)域可以實(shí)現(xiàn)更精確的聚焦，這是真正實(shí)現(xiàn)全空間精準(zhǔn)覆蓋的唯一方法。Microphone Mist技術(shù)實(shí)現(xiàn)了在空間內(nèi)創(chuàng)建數(shù)以千計(jì)均勻分布的點(diǎn)位的理想拾音方式。

圖9是一個(gè)擁有數(shù)以千計(jì)獨(dú)立虛擬麥克風(fēng)點(diǎn)位的系統(tǒng)示例，通過(guò)Microphone Mist技術(shù)，總空間分辨率達(dá)到8,192。這是因?yàn)�，與其他方法一樣，每個(gè)點(diǎn)位都被分配了一個(gè)空間分辨率值。Microphone Mist技術(shù)創(chuàng)建了數(shù)以千計(jì)同時(shí)存在的虛擬麥克風(fēng)區(qū)域。與色彩和圖像的高分辨率優(yōu)勢(shì)一樣，很明顯，更高的分辨率對(duì)于高精度和詳細(xì)的聲音信息收集是至關(guān)重要的。在聲學(xué)領(lǐng)域，Microphone Mist技術(shù)可以將一個(gè)房間劃分為間隔非常精細(xì)的聲學(xué)點(diǎn)位。

圖9 通過(guò)數(shù)以千計(jì)的虛擬麥克風(fēng)實(shí)現(xiàn)空間高分辨率覆蓋

通過(guò)將聲學(xué)空間劃分為分辨率更高的空間三維網(wǎng)格，Nureva系統(tǒng)可以根據(jù)每個(gè)點(diǎn)位的自身特點(diǎn)進(jìn)行監(jiān)測(cè)和分析。這意味著在每個(gè)虛擬麥克風(fēng)點(diǎn)位，系統(tǒng)都會(huì)進(jìn)行測(cè)量、分析、定位、處理和報(bào)告，從而形成整個(gè)空間的綜合聲像呈現(xiàn)。

由于系統(tǒng)不斷收集每個(gè)點(diǎn)位的聲學(xué)信息，因此可以在整個(gè)覆蓋區(qū)域內(nèi)的相對(duì)三維空間中處理單個(gè)聲源，不會(huì)產(chǎn)生因優(yōu)化某一聲源而忽略房間其他位置的情況。當(dāng)一個(gè)人在邊說(shuō)話邊打字時(shí)，Microphone Mist技術(shù)的空間分辨率可以專(zhuān)注于他嘴巴的位置，而弱化鍵盤(pán)的位置。這樣，系統(tǒng)就可以區(qū)分出需要和不需要的聲音點(diǎn)位。在房間邊界區(qū)域的講話者（如站在顯示設(shè)備前），不必?fù)?dān)心他們是否還在麥克風(fēng)覆蓋區(qū)。講話者可以邊說(shuō)邊走，不必考慮麥克風(fēng)系統(tǒng)的配置情況。在講話者走動(dòng)時(shí)，會(huì)通過(guò)微小的無(wú)縫過(guò)渡實(shí)時(shí)過(guò)渡到每個(gè)獨(dú)立的虛擬麥克風(fēng)，因?yàn)榉块g內(nèi)布滿了均勻分布的虛擬麥克風(fēng)。無(wú)論講話者走到房間的哪個(gè)位置，都能保證一致的高質(zhì)量拾音效果。講話者可以在房間內(nèi)自然地坐下、彎腰、移動(dòng)，自然的發(fā)言，隨意做手勢(shì)或動(dòng)作，而不必?fù)?dān)心影響拾音效果。

對(duì)于如供熱通風(fēng)與空氣調(diào)節(jié)系統(tǒng)噪聲等不需要的噪聲源，系統(tǒng)可以通過(guò)智能聲音定位技術(shù)對(duì)其進(jìn)行獨(dú)特處理。這項(xiàng)技術(shù)針對(duì)并聚焦于房間內(nèi)聲源的具體位置，即使是在具有多個(gè)聲源的復(fù)雜聲學(xué)環(huán)境中也是如此。每個(gè)有源聲源都與三維空間中的一個(gè)點(diǎn)位相關(guān)，專(zhuān)有的基于邏輯的處理可以決定如何以及何時(shí)將系統(tǒng)集中到新聲源上。

Nureva系統(tǒng)具有更高的空間分辨率，因此可以獲得更精確的聲音信息，從而更好地優(yōu)化麥克風(fēng)拾音效果、更精確的進(jìn)行后數(shù)據(jù)處理分析。

放眼未來(lái)

綜上所述，數(shù)以千計(jì)的虛擬麥克風(fēng)確實(shí)很有效果——它們改變了我們對(duì)聲學(xué)空間的理解。在不斷變幻的時(shí)代，時(shí)空距離和疫情等原因所產(chǎn)生的大量不確定性的對(duì)音頻會(huì)議系統(tǒng)提出了更高的要求，因此，高性能的音頻會(huì)議系統(tǒng)變得愈發(fā)重要。

*文章轉(zhuǎn)自Nureva官方網(wǎng)站
中英文版本有差異之處，以英文版本為準(zhǔn)