作者：Arm 戰(zhàn)略與生態(tài)部開發(fā)者平臺副總裁 Geraint North
人工智能 (AI) 是當今最重大的技術變革之一，并正以前所未有的速度推動著各行各業(yè)的發(fā)展。作為應用最為普及的計算架構，Arm 為廣泛的應用市場提供全面且多樣化的計算平臺，并在此基礎上，攜手合作伙伴，共同構筑起堅實的軟硬件生態(tài)系統(tǒng)，使 Arm 成為最高效、最易訪問的計算平臺，持續(xù)賦能開發(fā)者進行 AI 創(chuàng)新。隨著計算變得愈發(fā)復雜，計算效率的重要性更勝以往。高性能和出色能效一直是 Arm 的 DNA，這一優(yōu)勢使得 Arm 技術能夠很好地滿足企業(yè)在 AI 時代的業(yè)務需求。
軟件成為差異化的關鍵
要使硬件發(fā)揮其作用，離不開軟件的支持，軟硬件的協(xié)同發(fā)展方能充分釋放 AI 的性能價值。以 Arm 為計算基礎構建的軟件平臺是世界上最為普適且重要的軟件平臺。Arm 在開發(fā)計算平臺的同時，也大量投入軟件開發(fā)，我們的工程師團隊致力于確保合作伙伴所構建的產(chǎn)品在部署的第一天就能帶來巨大的價值。如今，我們的技術已經(jīng)涵蓋整個軟件棧的各個層面。從底層固件和操作系統(tǒng)的開發(fā)，到與游戲引擎、開源社區(qū)和獨立軟件供應商 (ISV) 的戰(zhàn)略合作，我們確保所有這些在Arm平臺上都能“開機即用”。
在基礎設施領域，Arm 具備成熟且健全的云軟件生態(tài)系統(tǒng)。隨著超大規(guī)模云服務提供商認識到軟件生態(tài)系統(tǒng)的進展，開始將基于Arm架構的計算平臺作為一種高性能且具有成本效益的解決方案提供給第三方開發(fā)者，用于通用工作負載。云原生軟件開發(fā)者正越來越多地采用基于 Arm Neoverse 平臺的云基礎設施來構建和運行他們的應用，以提高性能、效率和可持續(xù)性，并節(jié)省成本。所有主要云服務提供商也均提供基于 Neoverse 的云實例。在基于 Arm 平臺部署的各種云工作負載中，客戶可實現(xiàn)更高的性能和成本效益。
除了對云工作負載的出色支持外，Arm還投入了大量精力與汽車行業(yè)進行合作。隨著軟件成為車載差異化的關鍵因素，汽車行業(yè)面臨著許多挑戰(zhàn)。汽車軟件不僅需要被快速交付，且一旦被部署在汽車上，通常需要在十年或更長時間內持續(xù)修復漏洞并增添新的功能。而這些對于云軟件開發(fā)者來說已了然于心，因為大規(guī)模原型設計、測試、部署和更新軟件正是現(xiàn)代云軟件開發(fā)的關鍵所在。從云端到車載，Arm 平臺無處不在�；� Arm 架構的云技術已成為汽車開發(fā)的重要部分，使合作伙伴能夠在云環(huán)境中構建和測試眾多的汽車軟件組件。與此同時，為了進一步確保汽車軟件在包括云端在內的多個平臺上具有可移植性，整個生態(tài)系統(tǒng)的通力協(xié)作至關重要，這也是Arm在2021年牽頭成立SOAFEE(面向嵌入式邊緣的可擴展開放架構)的初衷。通過SOAFEE，Arm為汽車和云計算社區(qū)構建起一個共同的平臺，以促進協(xié)作和測試，進而推動軟件定義汽車 (SDV) 時代的發(fā)展。
在移動平臺方面，終端用戶對于包括游戲與 AI 應用等移動體驗的極致追求為性能帶來了更高的要求。而 Arm 持續(xù)在軟件前沿領域引領移動端圖形渲染技術的發(fā)展，致力于確保開發(fā)者可以輕松利用我們通過 Arm Immortalis GPU 帶來的各種先進技術與卓越性能。而在今年稍早前，為實現(xiàn)更為卓越的移動體驗，與 Arm 終端計算子系統(tǒng) (CSS) 同步推出了 Arm Kleidi，這是一組可與推理引擎進行集成的開源軟件內核，其中包括面向 AI 工作負載的 KleidiAI 和面向計算機視覺應用的 KleidiCV。Arm Kleidi 的推出再次印證了 Arm 作為端側生成式 AI 計算平臺的領先地位。它使開發(fā)者無需學習額外的工具和技能，就能夠在廣泛的硬件中獲得 Arm CPU 的出色 AI 性能。此外，適用于安卓系統(tǒng)的 CSS 參考軟件棧搭配固定虛擬平臺 (Fixed Virtual Platform, FVP)，有助于我們的合作伙伴加速流片前的軟件開發(fā)。
賦能軟件開發(fā)者實現(xiàn) AI 創(chuàng)新
AI 作為當下最大的工作負載，如何使其能更高效、簡單地運行于 Arm 計算平臺之上是我們關注的重點之一，其主要挑戰(zhàn)在于如何管理好將 AI 推理從云端擴展到邊緣側時所帶來的復雜性，使得開發(fā)者能更順暢地進行 AI 創(chuàng)新。
AI 企業(yè)目前仍處于用戶獲取階段，快速發(fā)展和實現(xiàn)新功能遠比考慮成本更為重要。然而，隨著企業(yè)在市場趨向穩(wěn)定之后開始尋求盈利，我們相信 AI 推理將會被擴展至邊緣側。除了成本因素之外，邊緣側推理還具備增強隱私保護、減少延遲，以及能夠在無法連接到云端時照常提供服務等多種優(yōu)勢。但與此同時，復雜性也隨之增加。在云環(huán)境中，企業(yè)可以把控架構、CPU 和性能等各個方面，并只需針對一個平臺進行優(yōu)化。而在端側，以安卓生態(tài)系統(tǒng)為例，我們預計其在過去十年間就推出了不下30 款 CPU、25 款 GPU 和 20 款 NPU，其中的多數(shù)處理器仍會應用于現(xiàn)今消費者所使用的設備中。但毋庸置疑的是，若能將更多的 AI 推理卸載到端側，企業(yè)的云端成本就會降低。
Arm KleidiAI 有助于確保開發(fā)者能夠獲得 AI 開發(fā)所需的性能、工具和軟件庫，從而打造新一波非凡的 AI 體驗。AI應用需要考慮成本、隱私、延遲和連接性等問題，利用 KleidiAI將工作負載擴展至邊緣側，能夠確保我們的合作伙伴以較低的成本為開發(fā)者提供出色的用戶體驗。
與此同時，Arm 通過將 KleidiAI 集成到主流的 AI 框架中，包括 Google 和 Meta 的推理引擎中，為生成式 AI 工作負載帶來了顯著的性能提升，進而惠及廣大的開發(fā)者群體。具體來說，與參考 CPU 實現(xiàn)方案相比，Meta Llama 3 和微軟 Phi-3 大語言模型 (LLM) 的首次詞元響應時間提升了近三倍。與此同時，Unity Sentis 在集成 KleidAI 后，成功啟用了 int4 量化功能，將運行 Phi-2 LLM 時的模型內存占用率降低了約 73%。而在國內，作為Arm多年來重要的合作伙伴，我們已攜手騰訊，將 KleidiAI 集成到了騰訊混元大模型中，加速端側 AI 推理。這些僅僅只是一個開端，我們未來還計劃推出更多軟件庫、計算內核和引擎集成，持續(xù)在 Arm 平臺上構建 AI 的未來。
Arm 是軟件運行的基石
Arm 持續(xù)的軟件投入正建立起全球最大的 AI 開發(fā)者社區(qū)，以期實現(xiàn)我們的愿景，使得所有軟件都能無縫地運行在基于 Arm 架構的系統(tǒng)之上。Arm 不僅提供了應用廣泛的通用計算平臺，而且通過 IP 與開源軟件和工具乃至廣泛的行業(yè)領先生態(tài)系統(tǒng)相結合，讓全球上千萬開發(fā)者都可以使用 Arm 計算平臺作為 AI 創(chuàng)新的基礎，基于 Arm 平臺的 AI 將無處不在。
