飛象網(wǎng)訊 2023年7月14日，華為發(fā)布大模型時(shí)代AI存儲新品，為基礎(chǔ)模型訓(xùn)練、行業(yè)模型訓(xùn)練、細(xì)分場景模型訓(xùn)練推理提供存儲解決方案，助力釋放AI新動能。
數(shù)據(jù)決定智能的高度，數(shù)據(jù)存儲當(dāng)作先鋒
從互聯(lián)網(wǎng)到移動化，從云計(jì)算到智能化，每一輪技術(shù)變革都為千行百業(yè)帶來深遠(yuǎn)影響。而從通用大模型到行業(yè)大模型，AI大模型的持續(xù)迭代也將助推新一輪的科技革命。在從0到1構(gòu)建AI大模型創(chuàng)新應(yīng)用的同時(shí)，企業(yè)應(yīng)該找到適配自身發(fā)展需求的數(shù)據(jù)底座，將數(shù)據(jù)存儲建設(shè)作為AI建設(shè)的下一個(gè)加速點(diǎn)。
當(dāng)前，企業(yè)在開發(fā)及實(shí)施大模型應(yīng)用過程中，面臨四大挑戰(zhàn)：
第一，數(shù)據(jù)準(zhǔn)備時(shí)間長，數(shù)據(jù)來源分散，歸集慢，預(yù)處理百TB數(shù)據(jù)需10天左右；第二，多模態(tài)大模型以海量文本、圖片為訓(xùn)練集，當(dāng)前海量小文件的加載速度不足100MB/s，訓(xùn)練集加載效率低；第三，大模型參數(shù)頻繁調(diào)優(yōu)，訓(xùn)練平臺不穩(wěn)定，平均約2天將出現(xiàn)一次訓(xùn)練中斷，需要Checkpoint機(jī)制恢復(fù)訓(xùn)練，故障恢復(fù)耗時(shí)超過一天；第四，大模型實(shí)施門檻高，系統(tǒng)搭建繁雜，資源調(diào)度難，GPU資源利用率通常不到40%。
構(gòu)建數(shù)據(jù)新范式，釋放AI新動能
作為數(shù)據(jù)的載體，數(shù)據(jù)存儲成為AI大模型的關(guān)鍵基礎(chǔ)設(shè)施。順應(yīng)AI發(fā)展趨勢，針對不同行業(yè)、不同場景大模型應(yīng)用，華為推出OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲與FusionCube A3000訓(xùn)/推超融合一體機(jī)，幫助解決企業(yè)開發(fā)及實(shí)施大模型應(yīng)用難題。
OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲，面向基礎(chǔ)/行業(yè)大模型數(shù)據(jù)湖場景，實(shí)現(xiàn)從數(shù)據(jù)歸集、預(yù)處理到模型訓(xùn)練、推理應(yīng)用的AI全流程海量數(shù)據(jù)管理。OceanStor A310單框5U支持400GB/s帶寬以及1200萬IOPS的性能，可線性擴(kuò)展至4096節(jié)點(diǎn)，實(shí)現(xiàn)多協(xié)議無損互通。全局文件系統(tǒng)GFS實(shí)現(xiàn)跨地域智能數(shù)據(jù)編織，簡化數(shù)據(jù)歸集流程；通過近存計(jì)算實(shí)現(xiàn)近數(shù)據(jù)預(yù)處理，減少數(shù)據(jù)搬移，預(yù)處理效率可提升30 %。
FusionCube A3000訓(xùn)/推超融合一體機(jī)，面向行業(yè)大模型訓(xùn)練/推理場景，針對百億級模型應(yīng)用，集成OceanStor A300高性能存儲節(jié)點(diǎn)、訓(xùn)/推節(jié)點(diǎn)、交換設(shè)備、AI平臺軟件與管理運(yùn)維軟件，為大模型伙伴提供拎包入住式的部署體驗(yàn)，實(shí)現(xiàn)一站式交付。開箱即用，2小時(shí)內(nèi)即可完成部署。訓(xùn)/推節(jié)點(diǎn)與存儲節(jié)點(diǎn)均可獨(dú)立水平擴(kuò)展，以匹配不同規(guī)模的模型需求。同時(shí)，F(xiàn)usionCube A3000通過高性能容器實(shí)現(xiàn)多個(gè)模型訓(xùn)練推理任務(wù)共享GPU，將資源利用率從40%提升到70%以上。FusionCube A3000支持兩種靈活的商業(yè)模式，包括華為昇騰一站式方案以及開放計(jì)算、網(wǎng)絡(luò)、AI平臺軟件的第三方伙伴一站式方案。
合作開放，推動“產(chǎn)學(xué)研”同頻共振
本次發(fā)布會上，華為數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰博士對話華為蘇黎世研究所存儲首席科學(xué)家張霽，就數(shù)據(jù)安全流轉(zhuǎn)、企業(yè)數(shù)據(jù)接入大模型等話題展開探討。張霽在2020年通過“華為天才少年項(xiàng)目”加入華為后，扎根AI存儲架構(gòu)研究，發(fā)表多篇頂級論文與專利，并已在華為數(shù)據(jù)存儲產(chǎn)品中全面落地。
目前，張霽與其團(tuán)隊(duì)正在瑞士蘇黎世研究所與蘇黎世聯(lián)邦理工大學(xué)Onur Mutlu教授等頂尖科學(xué)家們開展研究與合作。張霽是華為眾多新生代技術(shù)青年的代表，還有更多的華為員工在遍布全球的研究所開展前沿研究，一起挑戰(zhàn)難題、創(chuàng)造價(jià)值、推動科技發(fā)展。
截至目前，華為數(shù)據(jù)存儲在全球擁有12個(gè)研發(fā)中心、4000多名研發(fā)人員、3000多項(xiàng)專利授權(quán)，并且與超過25所中國高校、30所海外高校建立合作關(guān)系，并成立8個(gè)聯(lián)合實(shí)驗(yàn)室。華為自2019年起設(shè)置奧林帕斯獎，以激勵全球科研工作者，突破存儲領(lǐng)域關(guān)鍵技術(shù)難題。到2023年，已有來自于清華大學(xué)舒繼武教授、華中科技大學(xué)馮丹教授、蘇黎世聯(lián)邦理工大學(xué)Onur Mutlu教授等來自全球頂尖高校與科研機(jī)構(gòu)的專家獲獎，他們在存儲創(chuàng)新架構(gòu)、創(chuàng)新算法等課題上取得了技術(shù)性突破，加速了科研成果產(chǎn)業(yè)化，實(shí)現(xiàn)產(chǎn)學(xué)研合作共贏。
在本次發(fā)布會上，中國科學(xué)院自動化研究所紫東大模型中心、武漢人工智能研究院的專家及科大訊飛、智譜AI等企業(yè)相關(guān)負(fù)責(zé)人分別就AI大模型的應(yīng)用實(shí)踐以及基于華為AI存儲的聯(lián)合創(chuàng)新進(jìn)行探討，并對未來同華為在數(shù)據(jù)存儲領(lǐng)域的合作進(jìn)行展望。
