首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片|報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 芯片 >> 正文

智能無處不在:安謀科技“周易”NPU開啟端側(cè)AI新時代

2024年11月7日 14:42  CCTIME飛象網(wǎng)  

在科技之光的照耀下,大模型從云端的殿堂飄然而至終端的舞臺。這一歷史性的跨越,不僅賦予了數(shù)據(jù)處理以迅捷之翼,更將智能體驗推向了前所未有的高度。終端上的大模型以靈動的姿態(tài),即時捕捉并回應(yīng)著每一個細(xì)微的需求,將AI的觸角延伸至世界的每一個角落。

近日,在EEVIA主辦的第12屆中國硬科技產(chǎn)業(yè)鏈創(chuàng)新趨勢峰會暨百家媒體論壇上,安謀科技產(chǎn)品總監(jiān)鮑敏祺發(fā)表了精彩的主題演講《端側(cè)AI應(yīng)用芯機(jī)遇,NPU加速終端算力升級》。他深入剖析了端側(cè)AI發(fā)展的廣闊前景,并詳細(xì)介紹了安謀科技自研NPU的最新進(jìn)展。

端側(cè)AI正在崛起

AIGC大模型帶來的算力提升是端側(cè)AI迎來的最大機(jī)遇。鮑敏祺表示,從近期頭部大廠的發(fā)布中都可以看出,端側(cè)AI的應(yīng)用已經(jīng)得到了業(yè)界的一致認(rèn)可。

當(dāng)前,國際和國內(nèi)實際部署的主流端側(cè)大模型體量主要集中在100億參數(shù)以下。這一限制主要是由于端側(cè)設(shè)備的內(nèi)存帶寬范圍通常在50-100GB/s之間。為了滿足用戶對應(yīng)用實時性的需求,10-30億參數(shù)的大模型最適合部署在現(xiàn)有的帶寬條件下。這些模型能夠在保持高效性能的同時,提供快速響應(yīng)和高質(zhì)量的服務(wù)。

頭部終端廠商如OPPO、vivo、小米、榮耀和華為等,都在積極推動端側(cè)AI的發(fā)展。他們不僅自研了適合端側(cè)部署的大模型,還將其與具體業(yè)務(wù)場景緊密結(jié)合。芯片廠商也達(dá)成了共識,認(rèn)為AI NPU(神經(jīng)網(wǎng)絡(luò)處理單元)將是未來消費類電子產(chǎn)品發(fā)展的重點。NPU通過專門優(yōu)化的硬件架構(gòu),能夠大幅提升端側(cè)設(shè)備的AI計算能力,同時降低功耗。

盡管端側(cè)AI的發(fā)展勢頭強(qiáng)勁,但鮑敏祺強(qiáng)調(diào),這并不意味著要徹底放棄云端AI。相反,他認(rèn)為兩者應(yīng)該實現(xiàn)互補,才能產(chǎn)生最大的收益。端側(cè)AI的優(yōu)勢在于其時效性和數(shù)據(jù)本地化帶來的安全性。由于數(shù)據(jù)處理發(fā)生在設(shè)備本地,用戶的隱私得到更好的保護(hù),同時也能實現(xiàn)實時響應(yīng)。而云端AI則具備更強(qiáng)的推理能力和大規(guī)模數(shù)據(jù)處理能力,可以進(jìn)行更復(fù)雜的任務(wù)。因此,結(jié)合端側(cè)和云端的優(yōu)勢,將為用戶提供更加全面和高效的AI體驗。

從人機(jī)交互界面的發(fā)展歷史來看,從最初的物理按鍵到觸摸屏和語音交互,再到當(dāng)前的Agent智能體,每一次變革都極大地提升了用戶體驗。未來的趨勢將是多模態(tài)場景,即結(jié)合圖像、音頻、視頻等多種輸入方式,使設(shè)備能夠更全面地理解用戶的需求。通過觀察和學(xué)習(xí),未來的AI系統(tǒng)將能夠更好地預(yù)測和滿足用戶的期望,從而實現(xiàn)真正的智能化。

以三重升級應(yīng)對三重挑戰(zhàn)

端側(cè)AI的快速發(fā)展給硬件設(shè)備帶來了三重挑戰(zhàn):成本、功耗和生態(tài)系統(tǒng)。

成本的挑戰(zhàn)主要來自于設(shè)備的存儲容量、帶寬和芯片計算資源。功耗則源自對數(shù)據(jù)的大量搬運,而且大模型無法像CNN一樣實現(xiàn)高度復(fù)用,也會大幅提升功耗。最后,開發(fā)工具的不斷優(yōu)化和支持也是挑戰(zhàn)所在。

針對這些挑戰(zhàn),安謀科技自研的“周易”NPU圍繞微架構(gòu)、能效和并行處理等方面進(jìn)行了升級。

l微架構(gòu):鑒于CNN與Transformer的差異性,“周易”NPU在保留CNN能力的基礎(chǔ)上,又針對Transformer進(jìn)行了優(yōu)化,克服了實際計算中的瓶頸。

l效率:進(jìn)行混合精度的量化,比如int4和fp16,在算法和工具鏈層面上實現(xiàn)低精度量化。同時,對數(shù)據(jù)進(jìn)行無損壓縮和改變稀疏度,從而增加有效帶寬。另外,采用In-NPU interconnection技術(shù),實現(xiàn)了對總線帶寬的擴(kuò)展。

l并行處理:采用數(shù)據(jù)并行或模型并行,使用負(fù)載均衡和Tiling,減少了數(shù)據(jù)的搬運。

鮑敏祺還詳細(xì)介紹了下一代的周易“NPU”架構(gòu),不僅包含了能夠適應(yīng)多任務(wù)場景的Task Schedule Manager,而且整個架構(gòu)具備可擴(kuò)展能力,并增加DRAM以實現(xiàn)高帶寬的匹配,還增加了OCM(Optional on Chip SRAM),以支持有特殊要求的算法。

鮑敏祺在演講中特別強(qiáng)調(diào)了“周易”NPU對異構(gòu)計算的支持,并指出無論是從能效還是整個SoC(系統(tǒng)級芯片)的面積角度來看,異構(gòu)計算都是端側(cè)AI芯片的最佳選擇。他解釋道,面對不同的應(yīng)用場景,異構(gòu)計算能夠?qū)崿F(xiàn)算力的靈活裁剪,并將不必要的功耗降到最低。

跨領(lǐng)域的應(yīng)用專家

周易“NPU”已經(jīng)在多個關(guān)鍵領(lǐng)域展示了其強(qiáng)大的性能和靈活性,特別是在汽車應(yīng)用、AI加速卡以及AIoT場景中。

在汽車應(yīng)用中,不同的場景會對應(yīng)不同的算力需求。如果是車載信息娛樂系統(tǒng),對算力的要求不會太高,但是在ADAS應(yīng)用中,很多情況下要執(zhí)行多任務(wù),對算力的要求就會大幅提升。而“周易”NPU的算力范圍是20~320TOPS,可以根據(jù)需求裁剪出所需的算力。鮑敏祺表示,搭載了“周易”NPU的芯擎科技“龍鷹一號”已累計出貨超過40萬片,并成功定點應(yīng)用于吉利旗下的領(lǐng)克、銀河系列以及一汽紅旗等20余款主力車型中。

在AI加速卡的應(yīng)用中,周易“NPU”能夠與智能汽車、PC、機(jī)器人等不同類型的主機(jī)處理器(HostAP)進(jìn)行高效交互,處理音頻、圖像、視頻等多種數(shù)據(jù)形式。這種多模態(tài)模型的支持能力使得周易“NPU”能夠在復(fù)雜的數(shù)據(jù)環(huán)境中保持高性能和靈活性。在AIoT場景中,設(shè)備通常受到面積和功耗的嚴(yán)格限制。盡管如此,周易“NPU”仍能提供高效的算力支持,同時保證高度的安全性。這使得它成為多個應(yīng)用場景的理想選擇。

鮑敏祺最后表示,下一代周易“NPU”將會繼承并顯著增強(qiáng)前代產(chǎn)品的強(qiáng)算力、易部署以及可編程等特點和優(yōu)勢,并圍繞精度、帶寬、調(diào)度管理、算子支持等多個方面進(jìn)行持續(xù)優(yōu)化。同時,NPU不僅要考慮適配現(xiàn)在的存儲介質(zhì),還要考慮到對未來各種存儲介質(zhì)的適配,使得NPU能夠更好地滿足當(dāng)前及未來市場需求。

編 輯:魏德齡
飛象網(wǎng)版權(quán)及免責(zé)聲明:
1.本網(wǎng)刊載內(nèi)容,凡注明來源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權(quán)所有,未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對于經(jīng)過授權(quán)可以轉(zhuǎn)載,請必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標(biāo)注作者信息和飛象網(wǎng)來源。
2.凡注明“來源:XXXX”的作品,均轉(zhuǎn)載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點和對其真實性負(fù)責(zé)。
3.如因作品內(nèi)容、版權(quán)和其它問題,請在相關(guān)作品刊發(fā)之日起30日內(nèi)與本網(wǎng)聯(lián)系,我們將第一時間予以處理。
本站聯(lián)系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
愛立信中國區(qū)總裁方迎:新質(zhì)網(wǎng)絡(luò)創(chuàng)造新質(zhì)價值
精彩專題
2024中國算力大會
2024年國際信息通信展
中國信科亮相2024年國際信息通信展
第25屆中國國際光電博覽會
CCTIME推薦
關(guān)于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像