放眼未來的技術(shù)“盛宴”

2022年度虛幻引擎技術(shù)開放日（Unreal Open Day）于11月17日-18日首次以線上線下同步的形式舉行。游戲開發(fā)、影視制作的從業(yè)者對虛幻引擎（Unreal Engine）都不陌生，它是由知名游戲公司Epic Games打造的強大游戲開發(fā)平臺，并在今年上半年發(fā)布了UE5正式版。

隨著平臺完善和技術(shù)進步，虛幻引擎的應(yīng)用場景已經(jīng)不再局限于游戲制作，強大的Nanite與Lumen技術(shù)，不但為傳統(tǒng)游戲制作中實時渲染和全局動態(tài)光照帶來便利，也讓虛幻引擎拓展應(yīng)用于更多領(lǐng)域。因此，兩天的開放日除了直播間主會場外，還帶來了媒體娛樂、汽車、建筑及仿真四個分會場。

虛幻引擎開放日也是行業(yè)難得的盛會，持續(xù)兩天的活動奉上了二十余場精彩技術(shù)演講，既有Epic Games官方的技術(shù)解讀，也有主流制作公司帶來的精彩案例分享，涵蓋了從UGC、元宇宙、電商購物，到汽車數(shù)字應(yīng)用及當(dāng)下熱門的虛擬影視制作，可謂是一場放眼未來、引領(lǐng)科技發(fā)展的技術(shù)“盛宴”。

揭開虛擬影棚神秘面紗

會上，索尼（中國）有限公司消費電子與專業(yè)系統(tǒng)本部市場總部總監(jiān)茂利憲一、創(chuàng)新解決方案市場部高級經(jīng)理尹旭暉，以及愚見觀池科技有限公司UE虛擬制片技術(shù)總監(jiān)韓冰在演講中分享了大量技術(shù)干貨，從設(shè)備選擇、影棚搭建、技術(shù)調(diào)試到實際拍攝案例分享，多維度解讀了黑彩晶虛擬制片影棚和UE5結(jié)合的相關(guān)經(jīng)驗，并揭開了索尼和觀池聯(lián)合打造的國內(nèi)首個黑彩晶虛擬制作影棚的神秘面紗。

虛幻引擎在游戲領(lǐng)域很早就得以廣泛應(yīng)用，因此二十余場演講中過半都著眼于游戲制作開發(fā)，在這樣的情況下，索尼和觀池奉上的黑彩晶虛擬制片影棚和UE5結(jié)合的實戰(zhàn)案例，成為這屆開放日上唯一一個針對虛擬影視制作的分享，應(yīng)該也是虛幻引擎開放日舉辦以來，首次引入虛擬制作分享，有很重要的意義。

秉承“用創(chuàng)意和科技的力量感動世界”的企業(yè)宗旨，索尼多年來在視聽領(lǐng)域持續(xù)深耕，得益于深厚的技術(shù)積淀及產(chǎn)品研發(fā)經(jīng)驗，索尼成為虛擬影視制作的先行者，并積極在虛擬制作領(lǐng)域布局，聯(lián)合觀池一起打造了國內(nèi)首個黑彩晶虛擬制作影棚。

影棚位于上海城市中心愚園路靠近江蘇路，索尼提供了虛擬制作中三個核心產(chǎn)品，分別為拍攝端的索尼CineAltaV 2電影攝影機、監(jiān)看端的索尼HDR監(jiān)視器，以及顯示端索尼專門為虛擬拍攝開發(fā)的黑彩晶B系列LED屏。這三個核心產(chǎn)品從研發(fā)、生產(chǎn)到最終的質(zhì)量控制，都著力于不同設(shè)備間的色彩調(diào)校，應(yīng)用于虛擬制作系統(tǒng)中，在現(xiàn)場經(jīng)過簡單設(shè)置就能完成一整套設(shè)備間的色彩匹配。

LED屏高度5.5米，弧長15米，總面積達到83平米，弧度約在135度，水平分辨率達到9.6K，可以滿足多種拍攝需求，影棚除了搭載先進的UE5系統(tǒng)外，還選用了OptiTrack光學(xué)動作捕捉跟蹤系統(tǒng)，通過24個高速攝像頭準確捕捉跟蹤攝影機運動，并同步給UE5，通過低延遲將渲染畫面實時顯示在LED屏上。

而且，索尼工程師全程參與影棚的設(shè)計，并提供了全流程服務(wù)。除了立屏和頂屏，這間影棚還精心設(shè)計了一塊移動LED屏幕，便于攝影師完成雙機拍攝，降低渲染壓力，補充不同機位的拍攝效果，而且還可以完成高質(zhì)量的色彩補光、實時定位等工作。

聯(lián)合Epic Games發(fā)布技術(shù)白皮書

成功不是一蹴而就。索尼進入虛擬制作領(lǐng)域得益于多年的技術(shù)積累和產(chǎn)品研發(fā)經(jīng)驗；虛幻引擎在這個領(lǐng)域的成功運用，同樣經(jīng)過了大量測試和實踐應(yīng)用，Epic Games的合作測試伙伴則首選了索尼。

演講中尹旭暉公開了這個重要信息，索尼和Epic Games針對虛擬應(yīng)用進行了聯(lián)合測試，并發(fā)布技術(shù)白皮書。測試中涵蓋了決定虛擬制作品質(zhì)的三個關(guān)鍵點，索尼設(shè)備都有很好表現(xiàn)。

首先是拍攝LED屏幕時，極易給攝影師帶來困擾的摩爾紋。摩爾紋是物理現(xiàn)象，理論上只能盡量減弱，無法完全消除，由于黑彩晶1.58mm小間距和Micro LED芯片的優(yōu)異表現(xiàn)，在索尼CineAltaV電影攝影機的配合下，測試中在較窄范圍內(nèi)摩爾紋才會出現(xiàn)，因此攝影師可以把焦點更加貼近LED屏幕拍攝，拓展了拍攝創(chuàng)作的空間。

其次是暗部畫面表現(xiàn)。暗部畫面非�？简濴ED屏的實力水準，測試中對比來看，2.8mm LED的部分暗部細節(jié)會丟失，1.5mm LED光照很低的部分則會顏色失真，而黑彩晶LED屏在整個暗場畫面中都忠實表現(xiàn)出了原始素材的細節(jié)和質(zhì)感。

第三點是可視角度。拍攝過程中攝影機不可能一直正對著LED屏幕進行拍攝，會根據(jù)場景需要調(diào)整機位和攝影機與LED屏的角度。側(cè)拍時LED屏幕產(chǎn)生的偏色會對拍攝工作帶來影響，讓畫面失真，因此虛擬拍攝對LED屏幕的側(cè)視角性能有很高要求。

為了應(yīng)對這一點，索尼在研發(fā)上下了功夫，索尼開發(fā)了寬配光技術(shù)，并使用自身研發(fā)的表面涂層技術(shù)，使得LED在側(cè)視角時都有出色和一致的色彩表現(xiàn)。這項性能也體現(xiàn)在Epic Games的測試中，大角度拍攝時也不容易發(fā)生色彩偏移，可視角的水平垂直達到170度，為虛擬拍攝提供很大便利。

目前虛擬拍攝還處在起步階段，硬件良莠不齊、軟件亟待成熟，在這樣的現(xiàn)狀下，索尼和Epic Games完成這次測試，其意義已超越了測試本身，發(fā)布的技術(shù)白皮書有望成為行業(yè)標桿。

案例分享全是干貨

愚見觀池科技有限公司，是目前中國頭部的商業(yè)視頻制作公司之一，涵蓋了包括視頻內(nèi)容制作及數(shù)字體驗多個領(lǐng)域，服務(wù)過眾多國際品牌。黑彩晶虛擬制作影棚試運營階段，就在索尼和UE虛擬制片團隊的協(xié)助下，共同進行了虛擬場景搭建優(yōu)化以及測試，并隨之完成了TVC的正式拍攝。

觀池UE虛擬制片技術(shù)總監(jiān)韓冰介紹了項目背景，并分享了制作經(jīng)驗。演講過程中播放了某品牌礦泉水的廣告成片，畫面呈現(xiàn)出了不輸于電影級別的質(zhì)感，以及明媚日光、窗外就是沙灘的優(yōu)美風(fēng)景，得益于索尼黑彩晶LED屏的出色表現(xiàn)，讓人感覺不到是在虛擬影棚中拍攝。

這個精彩案例有力證明了虛擬制作能為廣告拍攝賦能。韓冰介紹說，商業(yè)TVC往往時間緊迫，通常，導(dǎo)演團隊及美術(shù)部門完成風(fēng)格定調(diào)后，第一時間開始了預(yù)演的制作以及場景內(nèi)容制作，同時在相應(yīng)場景布局完成后確定了鏡頭以及場景道具的具體布置。

準備就緒后，2周后就可以試拍，得益于虛擬拍攝的高效和靈活性，拍攝團隊在次日僅用一天的時間，即可以完成約40個鏡頭的拍攝。由此可見，虛擬拍攝不但可以減輕外聯(lián)選景、道具部門置景的成本和壓力，同時將后期工作前置，有效縮短拍攝流程，未來在影視制作領(lǐng)域也大有作為。

同時韓冰也分享了兩點很有價值的制作經(jīng)驗。

首先是拍攝前要做好充足的準備和各部門的充分溝通，應(yīng)該讓制片團隊盡早了解導(dǎo)演的想法以及預(yù)期，甚至參與部分創(chuàng)意內(nèi)容。盡早完成預(yù)演及技術(shù)驗證，將內(nèi)容和技術(shù)風(fēng)險解決在預(yù)打燈前，而充分溝通和交流則可以讓任何調(diào)整及問題，在第一時間得到相應(yīng)解決。

其次是拍攝過程中的色彩一致性。虛擬拍攝的色彩一致性往往會給拍攝團隊帶來困擾，從拍攝端到顯示端，往往制作過程中的每一個環(huán)節(jié)色彩顯示都不相同，甚至?xí)笙鄰酵ァ＿@個問題不僅來自于不同顯示設(shè)備廠商色彩空間的一致性上的差異，還包括無法解決的物理燈珠或液晶發(fā)色的問題。

觀池在拍攝部分沒有采用BT.2020色域，而是使用了索尼CineAltaV 2電影攝影機支持的更寬的色彩空間S.Gamut3，亮度曲線使用了索尼常用的slog3。監(jiān)視器部分則與攝影機的輸出保持一致，得益于索尼CineAltaV2電影攝影機、HDR監(jiān)視器和索尼黑彩晶LED屏具備統(tǒng)一的色彩科學(xué)，這次拍攝色彩表現(xiàn)實現(xiàn)了一致性。

韓冰還介紹，業(yè)界也有可以解決色彩一致性的方案，但使用該方案要支付高達百萬美金的費用，以及差不多2個月的校色時間，且僅能對應(yīng)一系列設(shè)備，目前很難投入到實際應(yīng)用。由此可見，搭載索尼核心設(shè)備的虛擬影棚，不但讓虛擬拍攝更高效，還能有效節(jié)約制作和調(diào)試費用。

除了聯(lián)合觀池在國內(nèi)打造了首個黑彩晶虛擬制作影棚外，索尼秉承“讓科技賦能創(chuàng)作者”的使命和愿景，已經(jīng)在全球范圍內(nèi)開啟了虛擬制作影棚布局。目前日本東京的PCL清澄白河BASE黑彩晶虛擬制作影棚和美國SIS索尼創(chuàng)新工作室的虛擬制作影棚都已投入使用，并為廣告、舞臺表演、現(xiàn)場音樂等內(nèi)容提供服務(wù)，還完成拍攝了電影短片《凱利安的游戲》。

而在此次開放日的分享中，茂利憲一也表示索尼會將創(chuàng)作者的需求不斷反饋到產(chǎn)品開發(fā)設(shè)計部門，力求打造出更出色、能夠滿足創(chuàng)作者需求的黑彩晶虛擬制作系統(tǒng)，并希望索尼和觀池打造的黑彩晶虛擬制作影棚，能作為新時代攝影棚的標桿，助力創(chuàng)作者，為國內(nèi)虛擬制作領(lǐng)域賦能、為行業(yè)做出更大貢獻。