• 視聽號

  • 我在現(xiàn)場

  • 微視頻

  • 視聽E刊

  • 積分商城

  • 登陸/注冊
  • 首頁
  • 資訊
  • 產(chǎn)品
  • 企業(yè)
  • 訪談
  • 會議
  • 展會
  • 招標
  • 案例
  • 人才
  • 技術(shù)
  • 商情
  • 專題
  • 論壇
  • 視聽●時尚
  • 耳機
  •  
  • 直播
  •  
  • 智能音響
  • VR眼鏡
  •  
  •  
  • 投影機器人
  • 藍牙音箱
  •  
  • 微投
  •  
  • 播放器
  • 視聽●發(fā)燒
    視聽●家庭
    視聽●商用
    視聽●工程
    視聽●集成
    中國視聽網(wǎng)(kingdomlifegroup.com) > 行業(yè)資訊 > 視聽信息(視頻監(jiān)控) > 索尼黑科技專欄——AI聲音分離技術(shù)
    索尼黑科技專欄——AI聲音分離技術(shù)
    更新:2021-8-6 9:26:48 稿件:索尼(中國)有限公司 調(diào)整大小:【

    建立在堅實技術(shù)基礎(chǔ)上的創(chuàng)意娛樂公司

    索尼,始終以“人”為本,在前沿技術(shù)領(lǐng)域不斷探索進取。后疫情時代,索尼黑科技正式確立了3R戰(zhàn)略(真實(Reality)、實時(Real-time)和遠程(Remote),致力于為內(nèi)容創(chuàng)作賦能,共同開創(chuàng)前所未有的娛樂表達方式。

    “索尼黑科技”專欄將定期為您介紹最具代表性的索尼技術(shù)創(chuàng)新成果,探索如何“用創(chuàng)意和科技的力量感動世界”。本期將為您帶來的是——AI聲音分離技術(shù)。

    從混合音源中分離出單個聲音

    聲音分離技術(shù)憑借AI實現(xiàn)巨大飛躍

    聲音分離是一種技術(shù),它可以從混合的音源中提取出單個的聲音。這原本被認為是一件非常困難的事,但在2013年,我們引入了索尼的AI技術(shù),在這一領(lǐng)域更進一步。例如,在復(fù)原經(jīng)典電影、消除智能手機的噪音、實現(xiàn)音樂流媒體服務(wù)的實時卡拉OK功能等方面已經(jīng)取得了成果,我們期待未來它能應(yīng)用到更多領(lǐng)域。

    受訪人資料

    機器對人類能力的再現(xiàn)

    Q AI聲音分離是一種什么樣的技術(shù)?

    光藤祐基:AI聲音分離是一種技術(shù),它可以從音頻數(shù)據(jù)中去除不必要的噪音,只提取人聲或其他特定樂器的聲音。當人類在聆聽一場多種聲音混合在一起的表演時,可以分辨出各個樂器,或者在進行對話時,即使被一大群人包圍,我們也能自然而然地專注于一個聲音。這些都是人類獨有的能力,而直到近來,計算機要做到這一點都還是極其困難的。有人將這項任務(wù)描述為混合兩種果汁,之后提取其中一種。但是在過去的幾年里,由于AI新方法的引入,這項技術(shù)有了極大的提升。

    尤里奇:以前,人們試圖在分離中加入大量的專業(yè)知識,例如關(guān)于混合過程的知識。此外,人們更喜歡簡單的模型,因為它們可以從理論上研究它們,F(xiàn)在這種情況已經(jīng)改變了,因為使用AI從數(shù)據(jù)中學習分離體系要好得多。聲音分離應(yīng)用于《阿拉伯的勞倫斯》的三個例子,展示了我們?nèi)绾翁崛υ捯约案鞣N模擬聲音的方法。

    Q 在這個技術(shù)上,AI如何被使用?

    光藤祐基:我們的聲音分離是由AI來進行的,可以由人來教計算機完成這個任務(wù)。例如,一把吉他有一個特定的聲音或頻率,這一點可被神經(jīng)網(wǎng)絡(luò)學習到。無論混合了多少種聲音,我們的AI系統(tǒng)都能夠識別這些特征。這就像我們可以發(fā)現(xiàn)一個蘋果,因為我們之前見過很多蘋果。AI在聲音分離的應(yīng)用方式而言,無論是機械上還是概念上都大同小異。

    尤里奇:神經(jīng)網(wǎng)絡(luò)在所謂的訓練中學習識別音頻特征。在這個訓練中,神經(jīng)網(wǎng)絡(luò)會看到很多音樂--比我們一生中聽到的音樂還要多--以及我們應(yīng)該提取的目標聲音。這些信息足以讓神經(jīng)網(wǎng)絡(luò)學習聲音分離。

    讓時間倒流并重新混音錄制

    Q AI聲音分離技術(shù)有什么特別之處?
    光藤祐基:我們認為這是為數(shù)不多的可以讓時間倒流的技術(shù)。例如,你可以把過去必須要將各部分錄在一起的一段錄音,拿來專門提取人聲來重新混音,或者把所有的樂器的聲音分開來重新組合成一個新的格式。

    Q 我們聽說這項技術(shù)也同樣應(yīng)用在電影中。

    尤里奇:為了給看電影的人提供一個身臨其境的聲場,需要從多個不同的角度傳遞聲音,重現(xiàn)一個3D音頻空間。然而,經(jīng)典電影的對白和音效都在同一個音軌上,所以我們能提取的聲音和聲場的沉浸感都是有限的。于是我們開始思考是否可以將這項技術(shù)延伸到電影中,在學習了音效(擬聲)庫之后,我們的AI系統(tǒng)能夠成功地從母版中提取出單個音效。在上面的視頻中也可以看到,在美國上映的《阿拉伯的勞倫斯》和《甘地》的4K超高清版本中,索尼影視娛樂公司的調(diào)音師用這項技術(shù)提取出聲音,用杜比全景聲進行重制,創(chuàng)造了一個沉浸式的聲場。

    上圖說明了擬聲聲音分離過程及其在電影混音中的應(yīng)用

    4K超高清版的《阿拉伯的勞倫斯》和《甘地》錄制在哥倫比亞經(jīng)典系列第一卷中

    將聲音分離的價值帶給更多的人

    Q 這項技術(shù)似乎也可以用在其他各種領(lǐng)域。
    光藤祐基:這項技術(shù)也有望應(yīng)用于電影以外的場景,比如清理通過麥克風記錄的人類聲音。例如,索尼的自主型娛樂機器人 "小狗 "aibo可以對人類的聲音做出回應(yīng)并進行交流,但如果aibo只是簡單地收集周圍的聲音,其自身的機械聲或風噪等噪音也會被接收到。通過使用AI聲音分離技術(shù),可以只提取人類的聲音,去除其他所有的背景音,以提高其語音識別能力。同樣,通過在Xperia智能手機上打電話時僅清理人聲,我們就不用再擔心聊天時的風噪。最近的另一個例子是,它被用于一款音樂流媒體應(yīng)用程序的 "卡拉OK模式"。通過使用聲音分離技術(shù),可以將原唱的聲音從流媒體音樂中實時移除(成為伴奏),并將用戶的演唱與音源混合,從而實現(xiàn)類似卡拉OK的體驗。

    Q 該技術(shù)未來的可能性和前景如何?
    光藤祐基:我們希望我們的技術(shù)能夠像一臺時光機一樣,讓過去和現(xiàn)在的藝術(shù)家能夠跨時空合作。索尼PCL和索尼音樂解決方案剛剛開始使用我們的技術(shù)對外提供服務(wù),所以肯定會有更多的應(yīng)用。我非常期待未來的前景。

    尤里奇:從技術(shù)角度來看,我們將看到向廣泛音源分離的過渡,在這種情況下,不僅音源的數(shù)量是未知的,而且音源的類型也是不明確的。人們認識到這是一個具有挑戰(zhàn)性但有趣的情景,它將促成更多的商業(yè)應(yīng)用案例。


    關(guān)于 索尼(中國)有限公司

           在索尼,我們的使命就是成為一家激發(fā)和滿足您好奇心的公司。我們在產(chǎn)品、內(nèi)容和服務(wù)方面

    的無限激情,和對創(chuàng)新的不懈追求,讓我們創(chuàng)造出只有索尼才能提供前所未有的、新的興奮和娛

    樂。開創(chuàng)獨特的新鮮文化與體驗。一切所為,均為與您情感相系。


    聯(lián)系 索尼(中國)有限公司
    電話 86-10-84586000
     網(wǎng)友評論
     編輯推薦
    • 2019年視聽行業(yè)大型活動之走進企業(yè)(西安)
    • 2019年視聽行業(yè)大型活動之走進企業(yè)(河南)
    • 2019視聽行業(yè)萬里行系列活動——走進河南
    • 2019視聽行業(yè)全國巡展中國·鄭州
    • 2021視聽行業(yè)高峰論壇暨萬里行全國巡展武漢站順利召開
    • 全國首場!2021京東方晶芯科技有限公司合作伙伴大會亮相魔都
    • 麥克賽爾投影機新品巡展北京站舉行!光影盛宴,萬里挑一
    • 超清視界,智贏未來 | 雷曼光電2021國內(nèi)合作伙伴大會成功舉辦