魏增來在2021國際音視頻智慧集成展(深圳)
“音視頻技術(shù)在文體旅游中的創(chuàng)新應(yīng)用”上的演講
1 音視頻技術(shù)與文旅演藝的關(guān)系
文旅演藝的本質(zhì)是體驗,體驗的主要感知手段是視覺和聽覺,與之相對應(yīng)的學(xué)科即為現(xiàn)代電子技術(shù)中的音視頻技術(shù)。因此,音視頻技術(shù)在文旅演藝領(lǐng)域得到越來越多的應(yīng)用,發(fā)揮著越來越大的作用。
良好的文旅演藝體驗在于真實重現(xiàn)和讓人感到“真實”的虛擬創(chuàng)造,或者是兩者的適度結(jié)合。兩者的區(qū)別在于,一個確實存在于現(xiàn)實世界中,人類的既往感知有過類似的經(jīng)驗,可以在情緒中產(chǎn)生映射,只是感知的時空發(fā)生了轉(zhuǎn)換而已;另外一個則不存在于現(xiàn)實世界,以寫意手法仿效或創(chuàng)造視覺聽覺的象征,讓人類通過聯(lián)覺或通感體驗到從未感知過的情景,這種情景可以具象,如太空外星人、恐龍世界,也可以抽象,如玉淵潭文旅項目“萬物共生”里的五彩花徑(如圖1所示)等。但這兩者在文旅應(yīng)用中的相同點都是營造所謂“真實”,通過“包圍感”、“沉浸感”和觀演之間的有效“互動”,讓觀眾產(chǎn)生“代入感”,從而“身臨其境”、“心獲其感”,由“共境”引發(fā)“共情”,使體驗感升華。
圖1 玉淵潭“萬物共生”中的五彩花徑
除此之外,文旅演藝項目大都長期展演,在具體操作層面也有很多痛點難點。最顯著的問題是技術(shù)手段越來越多,使用也越來越復(fù)雜,亂花漸欲迷人眼。如何化繁為簡,讓各類呈現(xiàn)手段“智慧”起來,避免犯錯誤、出問題,不影響正常展演,同時節(jié)省人力物力投入,才能實現(xiàn)更好的投入產(chǎn)出比。
為滿足上述這兩大類需求,音視頻技術(shù)需要與時俱進(jìn),創(chuàng)新發(fā)展,與具體文旅演藝場景下的應(yīng)用需求形成相互支撐、相互促進(jìn)、相互融合的局面,這也是任何事物進(jìn)步的必然規(guī)律。實際的演化也是如此,音視頻技術(shù)發(fā)展進(jìn)一步推高了文旅演藝呈現(xiàn)能力和需求標(biāo)準(zhǔn),而需求標(biāo)準(zhǔn)的提升又反過來促進(jìn)了音視頻技術(shù)的發(fā)展,兩者形成了良好的正向互動循環(huán)。
2 相關(guān)音視頻技術(shù)新進(jìn)展
隨著信息處理技術(shù)及網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,各類信息的實時處理能力得到前所未有的提升,音視頻信息的處理能力也同樣如此。之前具有一定理論基礎(chǔ),但受制于運算能力而無法得到實現(xiàn)和驗證的技術(shù)當(dāng)前很多都得以實現(xiàn),雖然這些技術(shù)距離理想狀態(tài)還有一定的差距或者瑕疵,但并不妨礙業(yè)界據(jù)此進(jìn)行大量的嘗試和探索。此類探索除了滿足當(dāng)前文旅領(lǐng)域的常規(guī)需要外,還逐步順應(yīng)上述文旅演藝呈現(xiàn)的需求,在“代入感”以及“智慧”兩個方面,形成了一定的發(fā)展趨勢,因此為相關(guān)呈現(xiàn)提供了更好的、也更易于使用的手段,讓藝術(shù)家們可以在更高的層面上以更高的效率展開創(chuàng)意和應(yīng)用。
嚴(yán)格來說,這種“代入”以及“智慧”是多方面結(jié)合的產(chǎn)物,也可以認(rèn)為是多維度融合的共同成果。為了便于闡述,筆者依然分為音頻、視頻以及控制三大類別。
2.1 音頻技術(shù)
音頻技術(shù)方面,為了實現(xiàn)所謂“代入感”以及“智慧”,以下幾種新技術(shù)尤為受關(guān)注,并有越來越多的應(yīng)用。
2.1.1 沉浸式擴(kuò)聲技術(shù)
沉浸式擴(kuò)聲技術(shù)主要目的是為了重構(gòu)聲音元素,基于具體聲源營造“真實”,以假亂真。文旅項目中通常以揚聲器重放為主,小型項目也可能采用耳機(jī)進(jìn)行重放。
揚聲器重放方面,基于“對象(Object)”展開的沉浸聲制作,現(xiàn)在基本上已成為業(yè)界共識,其底層理論基本可以歸結(jié)如下。
VBAP/DBAP/KNN等,以能量和距離等參量在不同揚聲器之間的配比設(shè)定對象的空間數(shù)據(jù)。
HOA,基于球諧函數(shù)分解在不同揚聲器之間設(shè)定對象的空間數(shù)據(jù)。
WFS,基于波場合成理論在不同揚聲器之間設(shè)定對象的空間數(shù)據(jù)。
受制于揚聲器空間布局、數(shù)量以及其本身電聲學(xué)特性等多種因素,通常來說,單一的底層基礎(chǔ)理論并不能較好地實現(xiàn)揚聲器重放時的沉浸聲效果。因此,目前商用的沉浸式系統(tǒng)大都采用多重底層理論相結(jié)合的方式來設(shè)定自身的算法,以在呈現(xiàn)效果、系統(tǒng)造價以及安裝施工便捷度等方面取得較好的平衡。
因為沉浸式擴(kuò)聲具有更好的體驗感,所以目前的商用市場,很多廠商已經(jīng)推出了相應(yīng)的產(chǎn)品并在國內(nèi)外進(jìn)行了諸多實際探索。例如,采用d&b Soundscape系統(tǒng)的音樂劇《新華報童》(見圖2)、采用WFS為主的Sonic Emotion系統(tǒng)的《遠(yuǎn)去的恐龍》、采用L-Acoustic L-ISA系統(tǒng)的法國南特狂人國環(huán)形秀場(見圖3)等;更值得一提的是,國內(nèi)已有專業(yè)公司展開了這一方面的研發(fā)生產(chǎn),并已提供了可以商用的產(chǎn)品, 如深圳易科公司的ezAcoustic X-Core系統(tǒng)(見圖4)。此前筆者曾多次撰文提出,鑒于基礎(chǔ)理論的共同性以及DSP技術(shù)的共享性特征,國內(nèi)通過音頻算法的研發(fā)來追趕音頻領(lǐng)域的世界先進(jìn)水平可能是一條相對快捷的途徑。雖然目前上述探索仍然存在著很多不足,但任何事務(wù)的發(fā)展規(guī)律均是如此,因此這些創(chuàng)新實踐依然非常值得鼓勵和肯定。
圖2 音樂劇《新華報童》的沉浸式擴(kuò)聲系統(tǒng)
圖3 采用L-ISA系統(tǒng)的法國南特狂人國環(huán)形秀場
圖4 前期預(yù)混過程中的易科ezAcoustic X-Core系統(tǒng)
在耳機(jī)重放方面,其底層理論均基于雙耳效應(yīng)(Binaural),應(yīng)用上更多地體現(xiàn)在頭相關(guān)傳遞函數(shù)(HRTF)及其變化上,如個性化的頭相關(guān)傳遞函數(shù)(PRTF)以及包含空間環(huán)境條件的頭相關(guān)傳遞函數(shù)等。國內(nèi)外公司在這方面均進(jìn)行了很多探索嘗試,包括英國DIGICO集團(tuán)的Klang系統(tǒng)、中國上海費迪曼遜四維與外方合作的SVS系統(tǒng)等。
2.1.2 電子聲學(xué)環(huán)境可變技術(shù)
電子聲學(xué)環(huán)境可變技術(shù)主要目的是為了虛擬特定的聲學(xué)環(huán)境,在空間感上營造“真實”。該技術(shù)是由原電子可變混響系統(tǒng)而來,受制于目前的技術(shù)發(fā)展,只能虛擬相對更為“活躍”的聲學(xué)空間,最終將與上述沉浸式擴(kuò)聲技術(shù)融合,完成對聲音情景主要要素的虛擬重構(gòu)。其主要分為三大類。
再生式系統(tǒng):再生式系統(tǒng),如MCR、CARMEN等,該類系統(tǒng)充分利用廳堂的固有擴(kuò)散聲能并予以反饋放大,最終效果能夠充分保留廳堂固有的聲學(xué)特征,但其回授前增益不好控制,因此,更適用于廳堂固有聲學(xué)環(huán)境較為豐富的場所,且不建議設(shè)置過大的可變范圍。
回路嵌入式系統(tǒng):回路嵌入式系統(tǒng),以ACS、E-Coustic(LARES)以及VIVACE第一代等為主要代表,它們以聲源的直達(dá)聲為基礎(chǔ),通過優(yōu)良的混響算法和強大的DSP處理能力,可以人為“合成”出一個聲學(xué)空間,因此具有非常寬泛的調(diào)整范圍和靈活多變的調(diào)整能力,能夠獲得較高的回授前增益,但它們引入了人工成分,與廳堂本身的相關(guān)性較差,因此,適用于相對不活躍(相對較“干”)且希望應(yīng)用功能跨度很大的空間。圖5即為采用E-Coustic系統(tǒng)的美國芝加哥千禧年公園戶外音樂廳,通過可變聲學(xué)環(huán)境系統(tǒng)將一個室外公園在一定程度上營造出了室內(nèi)音樂廳的聽感。
圖5 采用E-Coustic系統(tǒng)的美國芝加哥千禧年公園戶外音樂廳
混合再生式系統(tǒng):混合再生式系統(tǒng)是再生式系統(tǒng)和回路嵌入式系兩種系統(tǒng)的混合體,主要代表為AFC、Constellation(VRAS)以及VIVACE Ⅱ,它們所適用的廳堂范圍更廣,但需要更有針對性地設(shè)計及調(diào)試。
2.1.3 揚聲器指向電子控制技術(shù)
在不改變揚聲器物理角度的情況下,通過電子相控技術(shù)及波束形成技術(shù),實現(xiàn)揚聲器覆蓋區(qū)域的調(diào)整,非常適用于文旅場景下觀演區(qū)的靈活變化。
2.1.4 聲場智能調(diào)試及優(yōu)化技術(shù)
利用大數(shù)據(jù)以及信號檢測技術(shù)進(jìn)行聲場的智能調(diào)試或自適應(yīng)調(diào)試,優(yōu)化聲場效果,提高現(xiàn)場調(diào)試效率,提升系統(tǒng)的穩(wěn)定性。
關(guān)于后續(xù)兩類技術(shù),筆者已多次在其他文章中予以介紹,不再贅述。
2.2 視頻技術(shù)
對于視頻方面,同樣通過“沉浸”、“互動”以實現(xiàn)“代入感”,同時通過“智慧”以提高可操作性,目前主要有如下幾種技術(shù)。
2.2.1 三維映射(3D Mapping)
三維映射通過對被投射物體的3D建模,以將顯示內(nèi)容準(zhǔn)確映射其上,實現(xiàn)視覺效果與周圍基礎(chǔ)環(huán)境的有效融合,形成虛實結(jié)合的效果。圖6為基于法國沙特爾市圣母大教堂而進(jìn)行的外墻立體顯示光影秀。
圖6 法國沙特爾圣母大教堂三維映射光影秀
2.2.2 沉浸式空間
通過巨幅或多維度視覺呈現(xiàn),在視覺上形成包圍感;進(jìn)一步融合觀、演關(guān)系,加強“真實”體驗下的代入感。圖7為法國巴黎光之博物館的沉浸式空間顯示的實景照片。
圖7 法國巴黎光之博物館沉浸式空間顯示展廳
2.2.3 特殊顯示(水幕、紗幕、透明屏、網(wǎng)屏等)
利用虛擬呈現(xiàn)與現(xiàn)實場景的結(jié)合,增強視覺的縱深體驗,實現(xiàn)與周圍基礎(chǔ)環(huán)境的融合,讓虛擬內(nèi)容更具“真實”感,并豐富呈現(xiàn)的變化。圖8為唐山南湖公園云鳳島紗幕虛實結(jié)合的顯示效果。
圖8 唐山南湖公園云鳳島紗幕顯示
2.2.4 裸眼3D
在平面顯示媒介上,利用制作端相關(guān)技術(shù),使顯示內(nèi)容呈現(xiàn)立體視覺的“真實”感。圖9為曾被微信刷屏的成都太古里裸眼3D大屏顯示效果。
圖9 成都太古里裸眼3D大屏顯示(本圖片來自于網(wǎng)絡(luò))
2.3 控制技術(shù)
對于文旅演藝應(yīng)用的音視頻控制技術(shù)方面,其發(fā)展演化以更好地實現(xiàn)“互動”“智慧”為主,一方面提升觀與演的關(guān)系,增加代入感,另一方面降低技術(shù)使用的操作難度,提高效率。目前具有代表性的主要技術(shù)如下。
2.3.1 追蹤捕捉技術(shù)
追蹤捕捉技術(shù)是通過GPS或射頻定位等技術(shù)與音視頻技術(shù)的結(jié)合,實時進(jìn)行音視頻信息的動態(tài)跟隨,實現(xiàn)互動性,展現(xiàn)真實感。目前常見的商用產(chǎn)品如加拿大的BlackTrax系統(tǒng)、挪威TTA公司的Stagetracker Ⅱ系統(tǒng)等。
2.3.2 聲光電融合一體化的Show Control總控技術(shù)
Show Control總控技術(shù)將演藝呈現(xiàn)的主要載體聲光電系統(tǒng)進(jìn)行有效整合,并按一定基準(zhǔn)實現(xiàn)總體自動化控制,從而確保演藝呈現(xiàn)順利進(jìn)行,降低技術(shù)操作難度。圖10和圖11分別為法國Modulo π PLAYER和瑞士MERGING Ovation的一體化Show Control控制界面。
圖10 法國Modulo π PLAYER一體化Show Control控制界面示意圖
圖11 MERGING Ovation一體化Show Control控制界面示意圖
3 文旅演藝與音視頻新技術(shù)的融合應(yīng)用實踐
視聽是不可分割的,為了在體驗中構(gòu)建所謂“真實”,視聽必須融合,共同完成對人類感知的映射。因此,在以體驗為主的文旅演藝領(lǐng)域,“融合”成為關(guān)鍵詞。
對文旅演藝呈現(xiàn)而言,融合應(yīng)該是多維度的,既是藝術(shù)與技術(shù)的融合,也是技術(shù)與應(yīng)用的融合。融合應(yīng)用的核心目標(biāo)是實現(xiàn)“沉浸”“互動”所體現(xiàn)出來的真實感和應(yīng)用中的“智慧”度。那么,在這種融合之下,具體實現(xiàn)至少包括:呈現(xiàn)手段與現(xiàn)實環(huán)境的融合、呈現(xiàn)手段間的相互融合,以及演與觀的融合。翻譯成技術(shù)語言,前兩者可以概括為“沉浸”,即通過與所處環(huán)境(或刻意營造的虛擬環(huán)境)相匹配的視覺聽覺的統(tǒng)一,產(chǎn)生代入感,而后者可以概括為“互動”,通過互動,也會產(chǎn)生情景交融的代入感,實現(xiàn)“共情”。所以,這種“沉浸”和“互動”都是為了前文所謂的“身臨其境”和“心獲所感”。
《遠(yuǎn)去的恐龍》(圖12)中,通過巨幅LED屏顯示與舞美制作實景的虛實結(jié)合等方法,首先在視覺上形成較好的“沉浸”感;同時,通過原WFS沉浸式擴(kuò)聲系統(tǒng),使觀眾在聽覺上也形成較好的“沉浸”感,視聲結(jié)合即可對觀眾形成較好的代入感;再通過機(jī)械恐龍與前排觀眾的互動,進(jìn)一步加強這種代入感,從而讓觀眾“真實地”感受到了虛擬的恐龍世界,以多種維度提升體驗感。同時,通過Ovation一體化控制技術(shù),統(tǒng)一協(xié)調(diào)聲光電系統(tǒng)的演出進(jìn)程,將原本復(fù)雜的操作進(jìn)行簡化,最大限度地避免失誤。
圖12 《遠(yuǎn)去的恐龍》劇照
同理,法國ECA2公司在中國蘭州創(chuàng)作演出的 《盤古傳奇》(見圖13)中,特別強調(diào)了所謂沉浸(Immersive)概念,通過法國Modulo π視頻綜合服務(wù)器,在建筑結(jié)構(gòu)上進(jìn)行巨幅三維映射以及水幕顯示,同時通過Modulo π聲光電一體化控制技術(shù),有機(jī)結(jié)合了機(jī)械、燈光、水特效、火特效等多種呈現(xiàn)手段,多維度的技術(shù)融合給現(xiàn)場1 500名觀眾帶來了極具震撼力的感官體驗和沖擊感。
圖13 《盤古傳奇》現(xiàn)場演出圖片
4 目前面對的問題
技術(shù)的發(fā)展永遠(yuǎn)沒有盡頭。當(dāng)前,雖然音視頻新技術(shù)在文旅演藝呈現(xiàn)中起到了很大幫助作用,但仍有大量問題有待業(yè)界思考并解決,主要問題如下。
在呈現(xiàn)端,無論音頻、視頻,仍未真正解決“真實”的問題,即所還原的元素還是不太像。
在呈現(xiàn)端,觀演“交互”的程度依然很淺,觀眾參與度以及由此引發(fā)的代入感仍需提升。
在控制端,人機(jī)交互界面仍然不夠人性化,即還不是那么“智慧”,操作使用的便利度依然存在提升空間。
音頻、視頻設(shè)備相對獨立性過強,依然欠缺互相融合方面的深入思考。
在實現(xiàn)端,鑒于文旅演藝應(yīng)用場景通常具有廣大的觀演空間,因此分布式處理需求強烈,同時線纜衰減、敷設(shè)工作量等問題較為突出,如何更為快捷高效,如“全無線”方式等解決方案需不斷思考改進(jìn)。
文旅演藝呈現(xiàn)高頻次、長周期的應(yīng)用特征對音視頻系統(tǒng)的安全可靠性提出了嚴(yán)峻考驗,所有設(shè)備都應(yīng)在滿足功能的情況下適應(yīng)各種環(huán)境的需要。
無論怎樣,科學(xué)和社會終將不斷進(jìn)步。音視頻技術(shù)讓文旅演藝的體驗更加美好,讓生活更加美好!