算力就是生產(chǎn)力,得算力者得天下。
某種意義上,智能化時代,算力如同農(nóng)業(yè)時代的水利、工業(yè)時代的電力,不僅是經(jīng)濟社會發(fā)展的“基石”,還是技術(shù)創(chuàng)新的“高地”。
隨著5G、AIoT、智能汽車、云計算、大數(shù)據(jù)等新興行業(yè)以及新一代人工智能技術(shù)的快速發(fā)展和突破,數(shù)據(jù)量正以難以計量的速度爆發(fā),不斷衍生新的計算需求。
據(jù)IDC公布的《數(shù)據(jù)時代2025》顯示,從2016年到2025年全球總數(shù)據(jù)量將會增長10倍,達到163ZB。面對如此龐大的數(shù)據(jù)量,模型計算將變得更加復(fù)雜,對算力的需求也在不斷提高。
與此同時,ChatGPT、文心一言等應(yīng)用的出圈走紅,為AIGC打開了全新的市場增量,催生了新一輪對AI算力的狂熱需求。
據(jù)OpenAI相關(guān)論文透露,ChatGPT的總算力消耗約為3640PFdays(即假設(shè)每秒計算一千萬億次,需要計算3640天),需要7-8個投資規(guī)模30億、算力500P的數(shù)據(jù)中心支撐運行。
目前AI算力已進入大模型時代,大模型的實現(xiàn)更需要強大的算力來支撐訓(xùn)練和推理過程。OpenAI測算,自2012年以來,全球頭部AI模型訓(xùn)練算力需求3-4個月翻一番,每年頭部訓(xùn)練模型所需算力增長幅度高達10倍。
事實上,近年來AI技術(shù)正逐漸滲透于生活的方方面面,從人臉識別、智能語音,到自動駕駛、工業(yè)數(shù)字孿生,看得見的智慧應(yīng)用背后,是看不見的智能算力在支撐。智能算力正不斷為人工智能夯實“算力底座”,推動各類融合應(yīng)用競相涌現(xiàn)。
未來,AI技術(shù)將加速滲透到云、邊、端和應(yīng)用的各個層面,進而打開市場對AI算力的需求和想象空間。
新一輪的算力革命,正在加速啟動。
算力革命下,NPU迎來發(fā)展新契機
在算力機遇之下,AI芯片正乘風(fēng)起航。
所有落地AI應(yīng)用中,都需要硬件的算力支持。據(jù)IDC數(shù)據(jù)顯示,全球?qū)τ贏I芯片的需求逐步提升,預(yù)計2025年可達726億美元,2020-2025年年復(fù)合增長率高達48.4%。
從廣義上來講,在人工智能應(yīng)用中能實現(xiàn)AI加速的芯片都可以被稱為AI芯片,而其中用來提高AI算法運行效率的模塊被稱為NPU(Neural-network Processing Unit,神經(jīng)網(wǎng)絡(luò)處理器),是一類基于DSA架構(gòu)技術(shù)的專用于人工智能硬件加速的微處理器。
相較于CPU擅長處理任務(wù)和發(fā)號施令,GPU擅長進行圖像處理、并行計算,NPU更擅長處理人工智能任務(wù),特別是人工神經(jīng)網(wǎng)絡(luò)、機器視覺、機器學(xué)習(xí)等領(lǐng)域。NPU通過突觸權(quán)重實現(xiàn)存儲和計算一體化,從而提高運行效率。
AI算力的提升,離不開NPU的支持。
因此,可以在很多支持AI應(yīng)用的處理器或SoC中發(fā)現(xiàn)NPU的身影,比如蘋果的A15、特斯拉的FSD芯片、地平線的征程系列芯片、OPPO的馬里亞納X芯片等等。除了這些規(guī)模較大,性能較高的SoC芯片,其實現(xiàn)在有些MCU產(chǎn)品也開始集成NPU模塊,以滿足一些邊緣智能應(yīng)用的需求。
實際上,很多支持AI的SoC芯片都是通過集成神經(jīng)網(wǎng)絡(luò)IP來實現(xiàn)的,一般來說,神經(jīng)網(wǎng)絡(luò)IP會與神經(jīng)網(wǎng)絡(luò)算法同步發(fā)展,能夠進一步擴展,以應(yīng)對神經(jīng)網(wǎng)絡(luò)性能日益增長的需求。
自研之路穩(wěn)步推進,安謀科技賦能NPU產(chǎn)業(yè)再升級
萬物智聯(lián)時代,NPU成為AI算力需求“剛需”,NPU市場群雄逐鹿。寒武紀(jì)、華為昇騰、百度昆侖、高通、地平線等公司紛紛入場,NPU在各行各業(yè)的應(yīng)用越來越廣泛。
契機之下,挑戰(zhàn)尚存。很多廠商都在追逐NPU的算力來解決上述一系列復(fù)雜問題,但隨著算力要求的提高,智能計算的多元化場景對NPU的算法效能、易部署性、算力擴展等方面提出了新的要求,芯片廠商正在通過不斷研發(fā)和升級新的芯片產(chǎn)品來應(yīng)對挑戰(zhàn)。
與之對應(yīng)的是,作為IP解決方案的提供者,站在產(chǎn)業(yè)鏈最上游的安謀科技,近年來其自研產(chǎn)品技術(shù)的進展受到了越來越多的行業(yè)關(guān)注度。
安謀科技正在通過實際行動積極擁抱行業(yè)變革,自成立以來,安謀科技一直致力于研發(fā)符合“全球標(biāo)準(zhǔn)、本土創(chuàng)新”的核心計算力IP產(chǎn)品和解決方案,并取得了有目共睹的成績,其自研異構(gòu)計算產(chǎn)品矩陣正日趨完善。
3月28日,安謀科技舉辦自研新品發(fā)布會,強調(diào)繼續(xù)堅持自研IP和Arm IP業(yè)務(wù)并重的路線,并介紹了其自研IP方面的最新成果——新一代人工智能處理器“周易”X2 NPU。據(jù)安謀科技產(chǎn)品總監(jiān)楊磊介紹,“周易”X2 NPU基于第三代“周易”架構(gòu),提供更高的算力,可以多個集群(Cluster)并聯(lián)堆疊,最高支持320TOPS算力子系統(tǒng)。同時,它還具備實時的硬件任務(wù)管理,可實現(xiàn)最高千萬次/秒的任務(wù)調(diào)度,能夠充分發(fā)揮硬件計算效率。
算力大幅提升的同時,“周易”X2 NPU還支持更高的精度和靈活性。精度方面支持int4/int8/int12/int16/int32,fp16/bf16/fp32等多種數(shù)據(jù)精度融合計算;靈活性方面,“周易”NPU可以支持客戶的自定義算子,滿足各種模型部署的需求,支持定制差異化的AI解決方案,能夠滿足智能駕駛、手機影像AI處理、人機交互等場景的差異化需求。
“周易”X2 NPU主要功能升級
應(yīng)用場景方面,“周易”X2 NPU針對ADAS、智能座艙、平板電腦、臺式機和手機等應(yīng)用場景做了大量性能優(yōu)化,進一步提升這些場景下的計算效率,滿足包括4K高分辨率在內(nèi)的多種分辨率和多路圖像融合計算的需求。
為使開發(fā)者可以方便、快速地進行算法移植和調(diào)試,從第一代“周易”NPU推出開始,“周易”NPU就提供了一套完整的人工智能軟件方案,通過豐富的AI軟件權(quán)限和兼容性能夠支持各種智能終端,可以更好地滿足開發(fā)者對性能調(diào)優(yōu)、系統(tǒng)部署的需求。據(jù)安謀科技NPU研發(fā)高級總監(jiān)孫錦鴻介紹,公司的研發(fā)團隊在軟件方面下了很多功夫,如軟件的易用性、部署難度、可遷移性等,針對編程性問題,多核調(diào)度、硬件加速調(diào)度器(TSM)等方面都做了很多研究和不同設(shè)計。
“周易”Compass軟件平臺
基于“周易”X2 NPU的上述優(yōu)勢,安謀科技能夠幫助合作伙伴方便快捷地在各種應(yīng)用上部署AI,賦能產(chǎn)業(yè)發(fā)展與升級。
安謀科技透露稱目前“周易”X2 NPU已經(jīng)交付給客戶,預(yù)計今年便會有多款搭載“周易”X2 NPU的芯片產(chǎn)品面世。
隨著“周易”X2 NPU的推出以及其自研異構(gòu)產(chǎn)品矩陣的不斷完善,安謀科技獨立運營的基礎(chǔ)也進一步得到夯實。
汽車賽道變革前夜,安謀科技落子研發(fā)率先布局
所有落地AI應(yīng)用中,都需要硬件的算力支持,其中,汽車市場是當(dāng)前最炙手可熱的競逐賽道之一。
隨著汽車“新四化”浪潮不斷加速,推動汽車行業(yè)轉(zhuǎn)型升級,智能汽車的設(shè)計架構(gòu)正在從傳統(tǒng)分布式ECU架構(gòu)向域控制器的集中式架構(gòu)演進。
安謀科技執(zhí)行副總裁、產(chǎn)品研發(fā)負責(zé)人劉澍對此也指出,隨著中國汽車的巨大市場和強勁增勢,以及汽車在演進過程中對于高算力、高精度、實時性和安全性要求的不斷提高,智能汽車的創(chuàng)新開始圍繞著安全、可靠、場景等方面展開,芯片算力成為變革的關(guān)鍵因素之一。
汽車市場高算力需求明顯
在此趨勢下,產(chǎn)業(yè)鏈廠商相繼入局,汽車芯片賽道競爭加劇。而IP作為芯片設(shè)計的“原材料”,對汽車電子的產(chǎn)業(yè)升級起著至關(guān)重要的底層支撐作用。
據(jù)半導(dǎo)體行業(yè)觀察了解,安謀科技早已開始布局汽車市場,并于2022年7月推出了車規(guī)級嵌入式處理器“星辰”STAR-MC2,以及通過打造面向智能汽車的高性能融合計算芯片IP平臺,加速推動國產(chǎn)智能汽車芯片產(chǎn)品的快速落地,以及產(chǎn)業(yè)上下游生態(tài)的協(xié)同構(gòu)建。
安謀科技此次最新發(fā)布的“周易”X2 NPU定位為高性能NPU產(chǎn)品線,主要面向大算力需求,瞄準(zhǔn)的也主要是蓬勃興起的智能汽車市場,具有大算力、高精度,能夠節(jié)省帶寬和提高計算效能等多方面優(yōu)勢。
以汽車圖像處理為例,隨著圖像分辨率從720P向4K演進,從單路圖像到多路圖像融合分析,對AI算力的需求成倍提升。為此,“周易”X2 NPU針對ADAS、智能座艙等應(yīng)用場景做了大量性能優(yōu)化,包括大幅提升汽車高分辨率圖像處理能力,以及針對在汽車領(lǐng)域大量采用的Transformer AI模型架構(gòu),進行了專門的性能優(yōu)化,Transformer結(jié)構(gòu)優(yōu)化后,在算力相同的情況下,可比上一代的產(chǎn)品性能提升10倍。同時,為了讓智能駕駛更加高效,安謀科技借助i-Tiling技術(shù)讓“周易”X2 NPU大幅減少帶寬需求,從而令計算游刃有余。
i-Tiling技術(shù)方案
產(chǎn)品性能提升和技術(shù)突破背后,是研發(fā)團隊自研實力和持續(xù)努力的直接體現(xiàn)。安謀科技NPU研發(fā)高級總監(jiān)孫錦鴻對半導(dǎo)體行業(yè)觀察表示,安謀科技NPU團隊大概在5年前開始立項做本土研發(fā),從零開始去貼近中國客戶和市場,打造真正符合客戶需求的開發(fā)設(shè)計。目前公司已經(jīng)在北京、上海、深圳吸引和培養(yǎng)了很多工程師,整個團隊擁有超過130位工程師從事包含硬件和軟件的NPU全棧研發(fā)。
依托強大的研發(fā)團隊,安謀科技的自研實力也在穩(wěn)步推進,五年來其自研業(yè)務(wù)從0走到大規(guī)模量產(chǎn),已經(jīng)形成了一定的積累和成果。據(jù)孫錦鴻介紹,目前公司已經(jīng)推出多款NPU產(chǎn)品,并且已經(jīng)做到了第三代架構(gòu),覆蓋車載、AIoT、智能終端等場景,同時安謀科技始終專注于IP和SDK開發(fā),以及為國內(nèi)客戶提供服務(wù)和支持。
對于“周易”NPU IP的差異化優(yōu)勢,孫錦鴻指出,國內(nèi)其它很多NPU廠商更多是解決自身在AI應(yīng)用上的需求。而我們的架構(gòu)從一開始就走了一條比較難的路,我們希望做通用的NPU架構(gòu),并且把AI在CPU的運算工作量最大化地轉(zhuǎn)移到NPU。同時在設(shè)計思路上打造差異化優(yōu)勢,希望盡量在最少占用CPU資源的前提下,支持更多、更靈活的算子。
據(jù)介紹,在這個過程中,安謀科技投入了很大的工程師資源去做深入的軟件;蛲ㄓ密浖䲢5拈_發(fā),并且與客戶密切配合,支持客戶模型或自定義算子的開發(fā)。這是安謀科技與其他廠商不同的地方,也是核心差異化優(yōu)勢的關(guān)鍵所在。
安謀科技自研IP產(chǎn)品矩陣及相關(guān)服務(wù)
多維度生態(tài)合作,助推智能計算“芯”繁榮
自2018年獨立運營以來,安謀科技一直在自研業(yè)務(wù)上積極布局、大力投入,相繼推出了“周易”NPU、“星辰”CPU、“山海”SPU以及“玲瓏”ISP、“玲瓏”VPU等多個處理器產(chǎn)品線,并全部實現(xiàn)了客戶相關(guān)產(chǎn)品的流片和量產(chǎn)。
公開數(shù)據(jù)顯示,安謀科技的自研產(chǎn)品矩陣已向超過160個本土客戶進行授權(quán),客戶基于安謀科技自研IP的芯片出貨量突破2億顆,覆蓋智能汽車、物聯(lián)網(wǎng)、數(shù)據(jù)中心基礎(chǔ)設(shè)施、移動設(shè)備等眾多領(lǐng)域。
值得一提的是,3月28日,搭載了安謀科技“周易”NPU的芯擎科技“龍鷹一號”智能座艙芯片實現(xiàn)了量產(chǎn)發(fā)布,在高性能算力、AI性能方面具有諸多創(chuàng)新。目前,針對該款芯片的定點車型開發(fā)正在穩(wěn)步推進,并有望搭載于吉利、一汽旗下品牌車型中。安謀科技和芯擎科技均表示,將在高端車規(guī)級芯片領(lǐng)域繼續(xù)深化技術(shù)和生態(tài)合作,共同助推汽車電子的高速發(fā)展。
可以看到,憑借敏銳的市場洞察和服務(wù)能力,安謀科技的自研產(chǎn)品正行駛在加速落地和生態(tài)擴展的快車道。
為了進一步助力中國AI產(chǎn)業(yè)生態(tài)構(gòu)建,安謀科技在本次發(fā)布會上還正式發(fā)布了“周易”NPU軟件開源計劃,通過開放源碼,來滿足客戶更自主、更靈活的算法移植需求。同時解決以AI推理側(cè)碎片化嚴(yán)重問題為代表的行業(yè)難題和挑戰(zhàn),減小客戶在應(yīng)用開發(fā)或技術(shù)創(chuàng)新上的代價和周期。
安謀科技“周易”NPU軟件開源計劃
“站在擴大生態(tài)的角度來講,開源的好處還在于能擁有一個統(tǒng)一的軟件方案,即使合作伙伴使用不同的NPU,都能通過參與開源項目來共建一個軟件生態(tài)!睏罾谡f道。
簡單理解,安謀科技希望通過軟件開源的手段來繁榮NPU生態(tài),同時也希望能借此加強合作伙伴在AI領(lǐng)域的創(chuàng)新。目前,“周易”NPU軟件開源計劃已吸引第一批合作伙伴入駐, 其中不乏來自AIoT、智能汽車、智能操作系統(tǒng)等領(lǐng)域的明星企業(yè)。
同時,作為賦能合作伙伴的另一重要舉措,安謀科技于2022年7月發(fā)起了生態(tài)合作伙伴計劃。楊磊表示:“自生態(tài)合作伙伴計劃啟動以來,已經(jīng)有業(yè)內(nèi)超過40家合作伙伴加入,涵蓋智能汽車、物聯(lián)網(wǎng)、基礎(chǔ)設(shè)施等各個領(lǐng)域的頭部企業(yè)。安謀科技正在積極推進與各個合作伙伴的戰(zhàn)略合作、項目落地及demo的聯(lián)合開發(fā),今年會陸續(xù)有合作成果的落地及聯(lián)合宣傳!
“全球標(biāo)準(zhǔn),本土創(chuàng)新”之下,安謀科技正依托自研IP產(chǎn)品矩陣及高性能Arm IP,結(jié)合NPU軟件開源和生態(tài)伙伴計劃,不斷加強與合作伙伴在技術(shù)與生態(tài)上的“同頻共振”,在技術(shù)飛速迭代的當(dāng)下,積極為產(chǎn)業(yè)上下游提供切實有效的IP產(chǎn)品技術(shù)和解決方案,持續(xù)賦能中國智能計算生態(tài)的創(chuàng)新和繁榮。