當(dāng)你在直播平臺(tái)上與主播互動(dòng)、在視頻會(huì)議中侃侃而談，亦或是在線K歌與友人對(duì)唱時(shí)，實(shí)時(shí)互動(dòng)（RTE）云服務(wù)就在不知不覺(jué)中入侵了你的生活。

近日，聲網(wǎng)發(fā)布的首個(gè)RTE賽道的全景報(bào)告—《實(shí)時(shí)互動(dòng)場(chǎng)景創(chuàng)新生態(tài)報(bào)告》，報(bào)告顯示：實(shí)時(shí)互動(dòng)作為一種未來(lái)數(shù)字生活的基礎(chǔ)設(shè)施，其賽道潛力不亞于人工智能、大數(shù)據(jù)、區(qū)塊鏈等專業(yè)技術(shù)賽道，預(yù)計(jì)2025年，RTE行業(yè)將是千億規(guī)模市場(chǎng)，5年內(nèi)復(fù)合增長(zhǎng)率將達(dá)40%以上。

實(shí)時(shí)互動(dòng)在為參與者提供便捷的遠(yuǎn)程服務(wù)的同時(shí)，亦為行業(yè)注入了新的發(fā)展機(jī)遇。

根據(jù)聲網(wǎng)對(duì)國(guó)內(nèi)幾大應(yīng)用商店在教育、泛娛樂(lè)、購(gòu)物、金融、醫(yī)療、企業(yè)通訊等行業(yè)的近萬(wàn)個(gè)應(yīng)用進(jìn)行統(tǒng)計(jì)，2021年實(shí)時(shí)音視頻滲透率已突破30%。

技術(shù)驅(qū)動(dòng)實(shí)時(shí)音視頻爆發(fā)

“賣話筒的都開(kāi)始拓展音視頻業(yè)務(wù)了。”一位知乎網(wǎng)友吐槽道。

毋庸置疑，實(shí)時(shí)音視頻市場(chǎng)正處于一個(gè)時(shí)代的風(fēng)口之上。但其實(shí)早在2013年，以聲網(wǎng)為代表的玩家就開(kāi)始探索實(shí)時(shí)音視頻技術(shù)。只是在此之前，由于網(wǎng)絡(luò)技術(shù)、通訊技術(shù)的不成熟，實(shí)時(shí)音視頻技術(shù)還“不盡人意”，以至于不被大眾所接受。

之后，在2015-2018年期間，PaaS、SaaS公司如雨后春筍般涌出，出現(xiàn)一波創(chuàng)業(yè)熱潮。這種商業(yè)模式的出現(xiàn)一定程度上讓創(chuàng)業(yè)者們發(fā)現(xiàn)了一些類似實(shí)時(shí)音視頻這樣的“利基市場(chǎng)”。尤其在2015年左右，行業(yè)投融資金額和數(shù)量達(dá)到局部高點(diǎn)。其中即購(gòu)、網(wǎng)易云信、保利威等近40家企業(yè)在這期間入局實(shí)時(shí)音視頻賽道并先后完成融資。

真正的行業(yè)爆發(fā)得益于市場(chǎng)環(huán)境和技術(shù)發(fā)展的雙重加持。一方面在疫情的影響下，大眾對(duì)云辦公、云教育的需求大幅度上漲，短視頻、網(wǎng)絡(luò)直播更是成為全民娛樂(lè)方式。另一方面5G、AI、音視頻編解碼、IoT等技術(shù)得到了突飛猛進(jìn)的發(fā)展，讓實(shí)時(shí)互動(dòng)在社交、辦公、娛樂(lè)、教育、工業(yè)等各行各業(yè)中快速落地，更多的創(chuàng)新場(chǎng)景被解鎖。

在實(shí)時(shí)互動(dòng)這樣一個(gè)全新的賽道，聲網(wǎng)Agora成為了領(lǐng)域內(nèi)首家且唯一一家上市企業(yè)。根據(jù)第三方國(guó)際分析機(jī)構(gòu) IDC 最新出爐的《中國(guó)視頻云市場(chǎng)跟蹤（2021 上半年）》報(bào)告，詳細(xì)調(diào)查了在中國(guó)音視頻RTC 技術(shù)領(lǐng)域的廠商份額，最終的結(jié)果是：聲網(wǎng) Agora 以 43.4% 的占比蟬聯(lián)市場(chǎng)份額第一，2021 年上半年份額甚至大于 2-8 位廠商的總和！

實(shí)時(shí)互動(dòng)賦能行業(yè)場(chǎng)景創(chuàng)新

2021年9月，聲網(wǎng)推出了在線K歌房場(chǎng)景化解決方案，開(kāi)發(fā)者與企業(yè)可一站式接入海量正版曲庫(kù)與K歌組件、場(chǎng)景功能，快速構(gòu)建在線K歌房。

聲網(wǎng)通過(guò)對(duì)音頻在采集端/播放端以及編解碼等環(huán)節(jié)的延時(shí)優(yōu)化，最終實(shí)現(xiàn)了低至 64ms 端到端延時(shí)的多人實(shí)時(shí)合唱體驗(yàn)。作為對(duì)比，即構(gòu)為多人合唱提供的方案，端到端延遲是76ms。

最有想象力的還是其場(chǎng)景化設(shè)置，聲網(wǎng)通過(guò)提供九大場(chǎng)景化功能豐富了K歌的形式，繼而在當(dāng)前的社交趨勢(shì)下延伸出對(duì)桌游、語(yǔ)音直播嵌入歌房甚至相親等形式的良好支持，探索了社交的新可能，打破商業(yè)模式單一的尷尬。

但如果你以為實(shí)時(shí)互動(dòng)的運(yùn)用場(chǎng)景只限于此，那就大錯(cuò)特錯(cuò)了，實(shí)時(shí)互動(dòng)的大手早已伸向各個(gè)行業(yè)。

在2021年的RTE大會(huì)上，聲網(wǎng)總結(jié)和梳理了 20多個(gè)行業(yè)賽道以及超過(guò) 200 個(gè)行業(yè)場(chǎng)景，并重磅推出“RTE 萬(wàn)象圖譜”。其中在社交、直播、教育、會(huì)議等領(lǐng)域已初步形成成熟場(chǎng)景，并且未來(lái)將長(zhǎng)期存在。此外，也有大量遠(yuǎn)超成熟場(chǎng)景的新萌芽場(chǎng)景，例如線上展會(huì)、云演唱會(huì)、在線自習(xí)室、視頻辦醫(yī)保、互動(dòng)播客等等。從圖譜中可以觀察到，泛娛樂(lè)行業(yè)50+場(chǎng)景、教育行業(yè)30+場(chǎng)景、IoT行業(yè)20+場(chǎng)景，分別成為圖譜中場(chǎng)景數(shù)量最多的前三大行業(yè)。

作為RTE萬(wàn)象圖譜中場(chǎng)景數(shù)量占比最高的泛娛樂(lè)行業(yè)，“社交+”場(chǎng)景正不斷拓展，依靠RTE連接原本單一的場(chǎng)景，消費(fèi)者在虛擬與現(xiàn)實(shí)兩大層面都能獲得真切的體驗(yàn)。比如在游戲中舉辦虛擬演唱會(huì)，連接音樂(lè)受眾；虛擬KTV，社交、音樂(lè)、XR融的跨界融合；線上演藝的發(fā)展等等等等，在生活當(dāng)中仍有諸多實(shí)時(shí)互動(dòng)創(chuàng)新場(chǎng)景可以挖掘。

實(shí)時(shí)音視頻亟待解決的痛點(diǎn)

在產(chǎn)品與應(yīng)用之下，實(shí)時(shí)音視頻的底層技術(shù)主要涉及音頻、視頻與網(wǎng)絡(luò)傳輸?shù)�。想要提供�?yōu)異的實(shí)時(shí)音視頻互動(dòng)能力，技術(shù)廠商就必須要在這些底層技術(shù)上做出改進(jìn)和創(chuàng)新，站在音視頻技術(shù)發(fā)展的前沿，甚至引領(lǐng)音視頻技術(shù)的發(fā)展。

但對(duì)于正處于高速發(fā)展的音視頻賽道而言，發(fā)展過(guò)程中也面臨諸多困境。

首先是低延遲，如果要實(shí)現(xiàn)比較流暢的實(shí)時(shí)互動(dòng)，那么單向的端到端的遲延大概要在400毫秒以下才能保證流暢溝通。但事實(shí)上多個(gè)階段的數(shù)據(jù)處理、傳輸?shù)倪^(guò)程中都會(huì)產(chǎn)生延遲，這個(gè)數(shù)值很難達(dá)到。

在實(shí)際環(huán)境中，還要考慮邊緣節(jié)點(diǎn)的部署、主干網(wǎng)絡(luò)擁塞、弱網(wǎng)環(huán)境、設(shè)備性能、系統(tǒng)性能等問(wèn)題，所以實(shí)際的延時(shí)會(huì)更大。所以在網(wǎng)絡(luò)條件限制下，“低延時(shí)”以目前的技術(shù)很難達(dá)到最大化。

另外是回聲消除的問(wèn)題，回聲的產(chǎn)生是揚(yáng)聲器播放的聲音經(jīng)過(guò)環(huán)境反射被麥克風(fēng)重新采集并傳輸給對(duì)方，這樣對(duì)方就會(huì)一直聽(tīng)到自己的回聲，整個(gè)互動(dòng)體驗(yàn)會(huì)很差。

設(shè)備也會(huì)極大的影響回聲消除，比如國(guó)內(nèi)某手機(jī)廠商，從麥克風(fēng)采集音頻數(shù)據(jù)到提交中間有將近一百毫秒的延遲，這時(shí)回聲消除算法如何適應(yīng)這么長(zhǎng)回聲延遲的手機(jī)就很關(guān)鍵。再比如很多用戶在直播中都會(huì)用外置聲卡，甚至是模擬器，這無(wú)形中也會(huì)帶來(lái)回聲的延遲。

除了設(shè)備，場(chǎng)地同樣存在很大的相關(guān)性，對(duì)于普通會(huì)議室，設(shè)置 40米的回聲延遲可能已經(jīng)足夠了，但一些大會(huì)場(chǎng)這種回聲延遲能達(dá)到將近上百米，這也是一種挑戰(zhàn)。

除此之外，音視頻賽道目前在流暢性、海量并發(fā)等諸多方面仍存在技術(shù)痛點(diǎn)，亟待解決。