魏增來在2021國(guó)際音視頻智慧集成展（深圳）
“音視頻技術(shù)在文體旅游中的創(chuàng)新應(yīng)用”上的演講

1 音視頻技術(shù)與文旅演藝的關(guān)系

文旅演藝的本質(zhì)是體驗(yàn)，體驗(yàn)的主要感知手段是視覺和聽覺，與之相對(duì)應(yīng)的學(xué)科即為現(xiàn)代電子技術(shù)中的音視頻技術(shù)。因此，音視頻技術(shù)在文旅演藝領(lǐng)域得到越來越多的應(yīng)用，發(fā)揮著越來越大的作用。

良好的文旅演藝體驗(yàn)在于真實(shí)重現(xiàn)和讓人感到“真實(shí)”的虛擬創(chuàng)造，或者是兩者的適度結(jié)合。兩者的區(qū)別在于，一個(gè)確實(shí)存在于現(xiàn)實(shí)世界中，人類的既往感知有過類似的經(jīng)驗(yàn)，可以在情緒中產(chǎn)生映射，只是感知的時(shí)空發(fā)生了轉(zhuǎn)換而已；另外一個(gè)則不存在于現(xiàn)實(shí)世界，以寫意手法仿效或創(chuàng)造視覺聽覺的象征，讓人類通過聯(lián)覺或通感體驗(yàn)到從未感知過的情景，這種情景可以具象，如太空外星人、恐龍世界，也可以抽象，如玉淵潭文旅項(xiàng)目“萬物共生”里的五彩花徑（如圖1所示）等。但這兩者在文旅應(yīng)用中的相同點(diǎn)都是營(yíng)造所謂“真實(shí)”，通過“包圍感”、“沉浸感”和觀演之間的有效“互動(dòng)”，讓觀眾產(chǎn)生“代入感”，從而“身臨其境”、“心獲其感”，由“共境”引發(fā)“共情”，使體驗(yàn)感升華。

圖1 玉淵潭“萬物共生”中的五彩花徑

除此之外，文旅演藝項(xiàng)目大都長(zhǎng)期展演，在具體操作層面也有很多痛點(diǎn)難點(diǎn)。最顯著的問題是技術(shù)手段越來越多，使用也越來越復(fù)雜，亂花漸欲迷人眼。如何化繁為簡(jiǎn)，讓各類呈現(xiàn)手段“智慧”起來，避免犯錯(cuò)誤、出問題，不影響正常展演，同時(shí)節(jié)省人力物力投入，才能實(shí)現(xiàn)更好的投入產(chǎn)出比。

為滿足上述這兩大類需求，音視頻技術(shù)需要與時(shí)俱進(jìn)，創(chuàng)新發(fā)展，與具體文旅演藝場(chǎng)景下的應(yīng)用需求形成相互支撐、相互促進(jìn)、相互融合的局面，這也是任何事物進(jìn)步的必然規(guī)律。實(shí)際的演化也是如此，音視頻技術(shù)發(fā)展進(jìn)一步推高了文旅演藝呈現(xiàn)能力和需求標(biāo)準(zhǔn)，而需求標(biāo)準(zhǔn)的提升又反過來促進(jìn)了音視頻技術(shù)的發(fā)展，兩者形成了良好的正向互動(dòng)循環(huán)。

2 相關(guān)音視頻技術(shù)新進(jìn)展

隨著信息處理技術(shù)及網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，各類信息的實(shí)時(shí)處理能力得到前所未有的提升，音視頻信息的處理能力也同樣如此。之前具有一定理論基礎(chǔ)，但受制于運(yùn)算能力而無法得到實(shí)現(xiàn)和驗(yàn)證的技術(shù)當(dāng)前很多都得以實(shí)現(xiàn)，雖然這些技術(shù)距離理想狀態(tài)還有一定的差距或者瑕疵，但并不妨礙業(yè)界據(jù)此進(jìn)行大量的嘗試和探索。此類探索除了滿足當(dāng)前文旅領(lǐng)域的常規(guī)需要外，還逐步順應(yīng)上述文旅演藝呈現(xiàn)的需求，在“代入感”以及“智慧”兩個(gè)方面，形成了一定的發(fā)展趨勢(shì)，因此為相關(guān)呈現(xiàn)提供了更好的、也更易于使用的手段，讓藝術(shù)家們可以在更高的層面上以更高的效率展開創(chuàng)意和應(yīng)用。

嚴(yán)格來說，這種“代入”以及“智慧”是多方面結(jié)合的產(chǎn)物，也可以認(rèn)為是多維度融合的共同成果。為了便于闡述，筆者依然分為音頻、視頻以及控制三大類別。

2.1 音頻技術(shù)

音頻技術(shù)方面，為了實(shí)現(xiàn)所謂“代入感”以及“智慧”，以下幾種新技術(shù)尤為受關(guān)注，并有越來越多的應(yīng)用。

2.1.1 沉浸式擴(kuò)聲技術(shù)

沉浸式擴(kuò)聲技術(shù)主要目的是為了重構(gòu)聲音元素，基于具體聲源營(yíng)造“真實(shí)”，以假亂真。文旅項(xiàng)目中通常以揚(yáng)聲器重放為主，小型項(xiàng)目也可能采用耳機(jī)進(jìn)行重放。

揚(yáng)聲器重放方面，基于“對(duì)象（Object）”展開的沉浸聲制作，現(xiàn)在基本上已成為業(yè)界共識(shí)，其底層理論基本可以歸結(jié)如下。

VBAP/DBAP/KNN等，以能量和距離等參量在不同揚(yáng)聲器之間的配比設(shè)定對(duì)象的空間數(shù)據(jù)。

HOA，基于球諧函數(shù)分解在不同揚(yáng)聲器之間設(shè)定對(duì)象的空間數(shù)據(jù)。

WFS，基于波場(chǎng)合成理論在不同揚(yáng)聲器之間設(shè)定對(duì)象的空間數(shù)據(jù)。

受制于揚(yáng)聲器空間布局、數(shù)量以及其本身電聲學(xué)特性等多種因素，通常來說，單一的底層基礎(chǔ)理論并不能較好地實(shí)現(xiàn)揚(yáng)聲器重放時(shí)的沉浸聲效果。因此，目前商用的沉浸式系統(tǒng)大都采用多重底層理論相結(jié)合的方式來設(shè)定自身的算法，以在呈現(xiàn)效果、系統(tǒng)造價(jià)以及安裝施工便捷度等方面取得較好的平衡。

因?yàn)槌两綌U(kuò)聲具有更好的體驗(yàn)感，所以目前的商用市場(chǎng)，很多廠商已經(jīng)推出了相應(yīng)的產(chǎn)品并在國(guó)內(nèi)外進(jìn)行了諸多實(shí)際探索。例如，采用d&b Soundscape系統(tǒng)的音樂劇《新華報(bào)童》（見圖2）、采用WFS為主的Sonic Emotion系統(tǒng)的《遠(yuǎn)去的恐龍》、采用L-Acoustic L-ISA系統(tǒng)的法國(guó)南特狂人國(guó)環(huán)形秀場(chǎng)（見圖3）等；更值得一提的是，國(guó)內(nèi)已有專業(yè)公司展開了這一方面的研發(fā)生產(chǎn)，并已提供了可以商用的產(chǎn)品， 如深圳易科公司的ezAcoustic X-Core系統(tǒng)（見圖4）。此前筆者曾多次撰文提出，鑒于基礎(chǔ)理論的共同性以及DSP技術(shù)的共享性特征，國(guó)內(nèi)通過音頻算法的研發(fā)來追趕音頻領(lǐng)域的世界先進(jìn)水平可能是一條相對(duì)快捷的途徑。雖然目前上述探索仍然存在著很多不足，但任何事務(wù)的發(fā)展規(guī)律均是如此，因此這些創(chuàng)新實(shí)踐依然非常值得鼓勵(lì)和肯定。

圖2 音樂劇《新華報(bào)童》的沉浸式擴(kuò)聲系統(tǒng)

圖3 采用L-ISA系統(tǒng)的法國(guó)南特狂人國(guó)環(huán)形秀場(chǎng)

圖4 前期預(yù)混過程中的易科ezAcoustic X-Core系統(tǒng)

在耳機(jī)重放方面，其底層理論均基于雙耳效應(yīng)（Binaural），應(yīng)用上更多地體現(xiàn)在頭相關(guān)傳遞函數(shù)（HRTF）及其變化上，如個(gè)性化的頭相關(guān)傳遞函數(shù)（PRTF）以及包含空間環(huán)境條件的頭相關(guān)傳遞函數(shù)等。國(guó)內(nèi)外公司在這方面均進(jìn)行了很多探索嘗試，包括英國(guó)DIGICO集團(tuán)的Klang系統(tǒng)、中國(guó)上海費(fèi)迪曼遜四維與外方合作的SVS系統(tǒng)等。

2.1.2 電子聲學(xué)環(huán)境可變技術(shù)

電子聲學(xué)環(huán)境可變技術(shù)主要目的是為了虛擬特定的聲學(xué)環(huán)境，在空間感上營(yíng)造“真實(shí)”。該技術(shù)是由原電子可變混響系統(tǒng)而來，受制于目前的技術(shù)發(fā)展，只能虛擬相對(duì)更為“活躍”的聲學(xué)空間，最終將與上述沉浸式擴(kuò)聲技術(shù)融合，完成對(duì)聲音情景主要要素的虛擬重構(gòu)。其主要分為三大類。

再生式系統(tǒng)：再生式系統(tǒng)，如MCR、CARMEN等，該類系統(tǒng)充分利用廳堂的固有擴(kuò)散聲能并予以反饋放大，最終效果能夠充分保留廳堂固有的聲學(xué)特征，但其回授前增益不好控制，因此，更適用于廳堂固有聲學(xué)環(huán)境較為豐富的場(chǎng)所，且不建議設(shè)置過大的可變范圍。

回路嵌入式系統(tǒng)：回路嵌入式系統(tǒng)，以ACS、E-Coustic（LARES）以及VIVACE第一代等為主要代表，它們以聲源的直達(dá)聲為基礎(chǔ)，通過優(yōu)良的混響算法和強(qiáng)大的DSP處理能力，可以人為“合成”出一個(gè)聲學(xué)空間，因此具有非常寬泛的調(diào)整范圍和靈活多變的調(diào)整能力，能夠獲得較高的回授前增益，但它們引入了人工成分，與廳堂本身的相關(guān)性較差，因此，適用于相對(duì)不活躍（相對(duì)較“干”）且希望應(yīng)用功能跨度很大的空間。圖5即為采用E-Coustic系統(tǒng)的美國(guó)芝加哥千禧年公園戶外音樂廳，通過可變聲學(xué)環(huán)境系統(tǒng)將一個(gè)室外公園在一定程度上營(yíng)造出了室內(nèi)音樂廳的聽感。

圖5 采用E-Coustic系統(tǒng)的美國(guó)芝加哥千禧年公園戶外音樂廳

混合再生式系統(tǒng)：混合再生式系統(tǒng)是再生式系統(tǒng)和回路嵌入式系兩種系統(tǒng)的混合體，主要代表為AFC、Constellation（VRAS）以及VIVACE Ⅱ，它們所適用的廳堂范圍更廣，但需要更有針對(duì)性地設(shè)計(jì)及調(diào)試。

2.1.3 揚(yáng)聲器指向電子控制技術(shù)

在不改變揚(yáng)聲器物理角度的情況下，通過電子相控技術(shù)及波束形成技術(shù)，實(shí)現(xiàn)揚(yáng)聲器覆蓋區(qū)域的調(diào)整，非常適用于文旅場(chǎng)景下觀演區(qū)的靈活變化。

2.1.4 聲場(chǎng)智能調(diào)試及優(yōu)化技術(shù)

利用大數(shù)據(jù)以及信號(hào)檢測(cè)技術(shù)進(jìn)行聲場(chǎng)的智能調(diào)試或自適應(yīng)調(diào)試，優(yōu)化聲場(chǎng)效果，提高現(xiàn)場(chǎng)調(diào)試效率，提升系統(tǒng)的穩(wěn)定性。

關(guān)于后續(xù)兩類技術(shù)，筆者已多次在其他文章中予以介紹，不再贅述。

2.2 視頻技術(shù)

對(duì)于視頻方面，同樣通過“沉浸”、“互動(dòng)”以實(shí)現(xiàn)“代入感”，同時(shí)通過“智慧”以提高可操作性，目前主要有如下幾種技術(shù)。

2.2.1 三維映射（3D Mapping）

三維映射通過對(duì)被投射物體的3D建模，以將顯示內(nèi)容準(zhǔn)確映射其上，實(shí)現(xiàn)視覺效果與周圍基礎(chǔ)環(huán)境的有效融合，形成虛實(shí)結(jié)合的效果。圖6為基于法國(guó)沙特爾市圣母大教堂而進(jìn)行的外墻立體顯示光影秀。

圖6 法國(guó)沙特爾圣母大教堂三維映射光影秀

2.2.2 沉浸式空間

通過巨幅或多維度視覺呈現(xiàn)，在視覺上形成包圍感；進(jìn)一步融合觀、演關(guān)系，加強(qiáng)“真實(shí)”體驗(yàn)下的代入感。圖7為法國(guó)巴黎光之博物館的沉浸式空間顯示的實(shí)景照片。

圖7 法國(guó)巴黎光之博物館沉浸式空間顯示展廳

2.2.3 特殊顯示（水幕、紗幕、透明屏、網(wǎng)屏等）

利用虛擬呈現(xiàn)與現(xiàn)實(shí)場(chǎng)景的結(jié)合，增強(qiáng)視覺的縱深體驗(yàn)，實(shí)現(xiàn)與周圍基礎(chǔ)環(huán)境的融合，讓虛擬內(nèi)容更具“真實(shí)”感，并豐富呈現(xiàn)的變化。圖8為唐山南湖公園云鳳島紗幕虛實(shí)結(jié)合的顯示效果。

圖8 唐山南湖公園云鳳島紗幕顯示

2.2.4 裸眼3D

在平面顯示媒介上，利用制作端相關(guān)技術(shù)，使顯示內(nèi)容呈現(xiàn)立體視覺的“真實(shí)”感。圖9為曾被微信刷屏的成都太古里裸眼3D大屏顯示效果。

圖9 成都太古里裸眼3D大屏顯示（本圖片來自于網(wǎng)絡(luò)）

2.3 控制技術(shù)

對(duì)于文旅演藝應(yīng)用的音視頻控制技術(shù)方面，其發(fā)展演化以更好地實(shí)現(xiàn)“互動(dòng)”“智慧”為主，一方面提升觀與演的關(guān)系，增加代入感，另一方面降低技術(shù)使用的操作難度，提高效率。目前具有代表性的主要技術(shù)如下。

2.3.1 追蹤捕捉技術(shù)

追蹤捕捉技術(shù)是通過GPS或射頻定位等技術(shù)與音視頻技術(shù)的結(jié)合，實(shí)時(shí)進(jìn)行音視頻信息的動(dòng)態(tài)跟隨，實(shí)現(xiàn)互動(dòng)性，展現(xiàn)真實(shí)感。目前常見的商用產(chǎn)品如加拿大的BlackTrax系統(tǒng)、挪威TTA公司的Stagetracker Ⅱ系統(tǒng)等。

2.3.2 聲光電融合一體化的Show Control總控技術(shù)

Show Control總控技術(shù)將演藝呈現(xiàn)的主要載體聲光電系統(tǒng)進(jìn)行有效整合，并按一定基準(zhǔn)實(shí)現(xiàn)總體自動(dòng)化控制，從而確保演藝呈現(xiàn)順利進(jìn)行，降低技術(shù)操作難度。圖10和圖11分別為法國(guó)Modulo π PLAYER和瑞士MERGING Ovation的一體化Show Control控制界面。

圖10 法國(guó)Modulo π PLAYER一體化Show Control控制界面示意圖

圖11 MERGING Ovation一體化Show Control控制界面示意圖

3 文旅演藝與音視頻新技術(shù)的融合應(yīng)用實(shí)踐

視聽是不可分割的，為了在體驗(yàn)中構(gòu)建所謂“真實(shí)”，視聽必須融合，共同完成對(duì)人類感知的映射。因此，在以體驗(yàn)為主的文旅演藝領(lǐng)域，“融合”成為關(guān)鍵詞。

對(duì)文旅演藝呈現(xiàn)而言，融合應(yīng)該是多維度的，既是藝術(shù)與技術(shù)的融合，也是技術(shù)與應(yīng)用的融合。融合應(yīng)用的核心目標(biāo)是實(shí)現(xiàn)“沉浸”“互動(dòng)”所體現(xiàn)出來的真實(shí)感和應(yīng)用中的“智慧”度。那么，在這種融合之下，具體實(shí)現(xiàn)至少包括：呈現(xiàn)手段與現(xiàn)實(shí)環(huán)境的融合、呈現(xiàn)手段間的相互融合，以及演與觀的融合。翻譯成技術(shù)語言，前兩者可以概括為“沉浸”，即通過與所處環(huán)境（或刻意營(yíng)造的虛擬環(huán)境）相匹配的視覺聽覺的統(tǒng)一，產(chǎn)生代入感，而后者可以概括為“互動(dòng)”，通過互動(dòng)，也會(huì)產(chǎn)生情景交融的代入感，實(shí)現(xiàn)“共情”。所以，這種“沉浸”和“互動(dòng)”都是為了前文所謂的“身臨其境”和“心獲所感”。

《遠(yuǎn)去的恐龍》（圖12）中，通過巨幅LED屏顯示與舞美制作實(shí)景的虛實(shí)結(jié)合等方法，首先在視覺上形成較好的“沉浸”感；同時(shí)，通過原WFS沉浸式擴(kuò)聲系統(tǒng)，使觀眾在聽覺上也形成較好的“沉浸”感，視聲結(jié)合即可對(duì)觀眾形成較好的代入感；再通過機(jī)械恐龍與前排觀眾的互動(dòng)，進(jìn)一步加強(qiáng)這種代入感，從而讓觀眾“真實(shí)地”感受到了虛擬的恐龍世界，以多種維度提升體驗(yàn)感。同時(shí)，通過Ovation一體化控制技術(shù)，統(tǒng)一協(xié)調(diào)聲光電系統(tǒng)的演出進(jìn)程，將原本復(fù)雜的操作進(jìn)行簡(jiǎn)化，最大限度地避免失誤。

圖12 《遠(yuǎn)去的恐龍》劇照

同理，法國(guó)ECA2公司在中國(guó)蘭州創(chuàng)作演出的 《盤古傳奇》（見圖13）中，特別強(qiáng)調(diào)了所謂沉浸（Immersive）概念，通過法國(guó)Modulo π視頻綜合服務(wù)器，在建筑結(jié)構(gòu)上進(jìn)行巨幅三維映射以及水幕顯示，同時(shí)通過Modulo π聲光電一體化控制技術(shù)，有機(jī)結(jié)合了機(jī)械、燈光、水特效、火特效等多種呈現(xiàn)手段，多維度的技術(shù)融合給現(xiàn)場(chǎng)1 500名觀眾帶來了極具震撼力的感官體驗(yàn)和沖擊感。

圖13 《盤古傳奇》現(xiàn)場(chǎng)演出圖片

4 目前面對(duì)的問題

技術(shù)的發(fā)展永遠(yuǎn)沒有盡頭。當(dāng)前，雖然音視頻新技術(shù)在文旅演藝呈現(xiàn)中起到了很大幫助作用，但仍有大量問題有待業(yè)界思考并解決，主要問題如下。

在呈現(xiàn)端，無論音頻、視頻，仍未真正解決“真實(shí)”的問題，即所還原的元素還是不太像。

在呈現(xiàn)端，觀演“交互”的程度依然很淺，觀眾參與度以及由此引發(fā)的代入感仍需提升。

在控制端，人機(jī)交互界面仍然不夠人性化，即還不是那么“智慧”，操作使用的便利度依然存在提升空間。
音頻、視頻設(shè)備相對(duì)獨(dú)立性過強(qiáng)，依然欠缺互相融合方面的深入思考。

在實(shí)現(xiàn)端，鑒于文旅演藝應(yīng)用場(chǎng)景通常具有廣大的觀演空間，因此分布式處理需求強(qiáng)烈，同時(shí)線纜衰減、敷設(shè)工作量等問題較為突出，如何更為快捷高效，如“全無線”方式等解決方案需不斷思考改進(jìn)。

文旅演藝呈現(xiàn)高頻次、長(zhǎng)周期的應(yīng)用特征對(duì)音視頻系統(tǒng)的安全可靠性提出了嚴(yán)峻考驗(yàn)，所有設(shè)備都應(yīng)在滿足功能的情況下適應(yīng)各種環(huán)境的需要。

無論怎樣，科學(xué)和社會(huì)終將不斷進(jìn)步。音視頻技術(shù)讓文旅演藝的體驗(yàn)更加美好，讓生活更加美好！