人類社會正在悄然從互聯(lián)網(wǎng)時代切換到算力網(wǎng)時代。
鮮有人感知到的是，時代轉(zhuǎn)折序曲中，遇到的第一批實體障礙，除了GPU、HBM，還有交換機——此前市場鮮有關(guān)注的交換機，正在扼住AI算力的咽喉。
全面出擊的英偉達VS蓄勢反擊的聯(lián)盟，是GPU、HBM之后AI的第三場戰(zhàn)爭：一場科技史上圍繞交換機的精彩對決即將上演。
01、思科后遺癥
如果用人體結(jié)構(gòu)來類比AI算力，可以做如下理解：AI芯片（由GPU+HBM+CoWoS組成）是心臟，CUDA等加速軟件是大腦，光模塊是關(guān)節(jié)，線纜光纖是血管，以交換機為代表的網(wǎng)絡(luò)設(shè)備是咽喉。不同的設(shè)備合集，最終呈現(xiàn)的是整個服務(wù)器集群。
其中AI芯片、CUDA、光模塊、線纜，都已經(jīng)被翻來覆去的討論過無數(shù)回，成為陽謀。但令人詫異的是，為什么交換機作為核心的組網(wǎng)設(shè)備之一，卻一直備受冷落，只能充當(dāng)AI暗器。
根據(jù)定義，交換機（Switch），工作于OSI網(wǎng)絡(luò)模型中的數(shù)據(jù)鏈路層，智能地決定將數(shù)據(jù)幀從哪個端口轉(zhuǎn)發(fā)出去，從而實現(xiàn)網(wǎng)絡(luò)中的數(shù)據(jù)交換和流量管理。因此，交換機的核心作用是提高網(wǎng)絡(luò)的性能和效率，并支持網(wǎng)絡(luò)的擴展和管理。通俗理解，交換機就是“網(wǎng)絡(luò)效應(yīng)”的硬件載體。
而且從市場規(guī)模來看，交換機也相當(dāng)之重要。根據(jù)IDC《2023年網(wǎng)絡(luò)市場跟蹤報告》的最新數(shù)據(jù)，2023年全球網(wǎng)絡(luò)設(shè)備市場規(guī)模為714億美元，其中交換機超過400億美元，是僅次于AI芯片、服務(wù)器的核心算力組件，規(guī)模甚至要遠大于近期被火熱討論的光模塊和高速存儲HBM。
黃教主其實在公開場合也表達過交換機的核心地位。老黃曾透露，在AI整個集群投資中，InfiniBand網(wǎng)絡(luò)（以下均簡稱IB）約占總成本的20%。這里簡單科普一下，IB網(wǎng)絡(luò)是英偉達在子公司Mellanox的幫助下，自己搭建的用在服務(wù)器之間的算力通信網(wǎng)絡(luò)，其中所使用的核心交換機為自產(chǎn)的IB交換機。
既然從技術(shù)角度來看如此重要、從市場規(guī)模看也不小，怎么交換機就始終不被大家重視呢？
筆者認(rèn)為，最主要的原因在于交換機被成見式的認(rèn)為是網(wǎng)絡(luò)架構(gòu)中配角的存在，畢竟HBM、CoWoS這些新名詞一聽就是十倍空間起跳的宏大故事。而一提交換機，大家條件反射式的想到：這不就是2000年互聯(lián)網(wǎng)泡沫時的思科的產(chǎn)品么，還能炒嗎？
20多年前思科作為全球網(wǎng)絡(luò)設(shè)備的絕對龍頭，與現(xiàn)如今的英偉達享受的是一樣的地位。在2000年，思科的網(wǎng)絡(luò)交換機市場份額超過6成，路由器份額超過8成，可以說沒有思科的網(wǎng)絡(luò)設(shè)備，就不會有后來的互聯(lián)網(wǎng)蓬勃發(fā)展，當(dāng)年思科被譽為互聯(lián)網(wǎng)賣鏟人。
后來的故事大家想必每個人都知道了，隨著互聯(lián)網(wǎng)泡沫的破滅，思科的股價遭受了重創(chuàng)，從高點下跌了超過70%。公司后來用了20年，才勉強填平當(dāng)年估值帶來的狂熱泡沫。科技行業(yè)天然“喜新厭舊”，交換機這個老面孔自然被繞著走，何況當(dāng)年被深套的恐懼還深深刻在每個投資人的反射弧里。
但成見已經(jīng)是過去式，當(dāng)下時點，勢必要重新審視對交換機、尤其是AI交換機的理解了。原因無他，各方面的信號已經(jīng)非常明顯，隨便舉出兩例：
全球龍頭企業(yè)，已經(jīng)開始在新型交換機和網(wǎng)絡(luò)架構(gòu)上正面激烈交鋒。除了上面提到的英偉達，其實超以太網(wǎng)聯(lián)盟的動作也非常之大，后文會具體分析。
美股投資人也開始追捧交換機標(biāo)的。在最新的AI交換機中，龍頭毫無疑問是英偉達的子公司Mellanox，但是由于不單獨上市和披露財務(wù)數(shù)據(jù)，看不到太多細(xì)節(jié)；第三方AI交換機的龍頭不是前文提到的思科而是后期之秀Arista，其股價在2023年上半年第一輪AI浪潮中之中沒有跑贏納斯達克，但是自2023年底開始加速上漲，這顯示美國投資人正在重新審視它的重要性。
圖：高速交換機龍頭Arista股價開始加速上漲
02、第三堵墻
今天再度重新認(rèn)識交換機必要性，就緣自交換產(chǎn)品的本身發(fā)生了重大變化，而且交換機在網(wǎng)絡(luò)中的重要性也在明顯提升，甚至已經(jīng)成為AI基礎(chǔ)設(shè)施中的三堵高墻之一。
1、AI催生算力網(wǎng)革命
似乎網(wǎng)絡(luò)架構(gòu)已經(jīng)停滯很久了。如果深究網(wǎng)絡(luò)架構(gòu)的變遷史，不難發(fā)現(xiàn)OSI網(wǎng)絡(luò)模型上一次大的變革，還要追溯到十多年前云計算爆發(fā)時期的“網(wǎng)隨云動”。在停滯十多年后，我們觀察到，AI將催生互聯(lián)網(wǎng)絡(luò)設(shè)備的最新革命，將促使網(wǎng)絡(luò)架構(gòu)從互聯(lián)網(wǎng)時代切換到算力網(wǎng)時代。
算力網(wǎng)該如何理解？首先說以前互聯(lián)網(wǎng)中網(wǎng)絡(luò)設(shè)備的核心任務(wù)，是完成即時通信，所以交換機本質(zhì)上是一個通信設(shè)備；而現(xiàn)在AI算力中心中網(wǎng)絡(luò)設(shè)備的構(gòu)建邏輯，在于集中力量辦大事，即集合越來越強大的算力，交換機不再僅僅是通信設(shè)備，而變成了算力設(shè)備本身。
想必有很多人在這兒會持反對態(tài)度。不用著急，請繼續(xù)看后面的解釋。
眾所周知，這一輪AI能夠成功是大力出奇跡的工程學(xué)突破，背后的指導(dǎo)法則是“scaling law”，scaling law描述的模型性能與模型規(guī)模之間的冪律關(guān)系，這一法則表明，當(dāng)模型的規(guī)模（例如參數(shù)數(shù)量、數(shù)據(jù)集大小和計算資源）增加時，模型的性能將得到提高。
換句話說，為了得到AI大模型智能的涌現(xiàn)，scaling law告訴你要不停的堆算力和數(shù)據(jù)。這也是為什么，在2024年3月初，黃仁勛斯坦福大學(xué)演講時提到，在未來的10年里，英偉達會把深度學(xué)習(xí)的計算能力再提高100萬倍。這并不是泡沫時期的大放衛(wèi)星，而是AI智能涌現(xiàn)的必要條件。
算力要實現(xiàn)如此恐怖的提升幅度來滿足scaling law，從硬件的角度來分析，路上有三堵墻：
1）算力墻：核心圍繞GPU，也是大家在AI算力硬件中關(guān)注度最高的產(chǎn)品。破除算力墻最關(guān)鍵的技術(shù)手段是制程和芯片架構(gòu)的升級。但制程帶來的單芯片算力提升面對著黑洞般的AI需求，已顯得蒼白無力。畢竟現(xiàn)在的蘋果最新的3nm的A17芯片，升級的效果已經(jīng)微乎其微。實際上，英偉達的GPU，采用的只是4nm制程，甚至下一代產(chǎn)品B100，也不會升級到3nm。每一代際算力倍增可能已經(jīng)是單芯片算力提升的極限了。
2）存儲墻：核心圍繞HBM。單芯片算力跟不上，可以靠HBM來大大緩解，在《AI國力戰(zhàn)爭：GPU是明線，HBM是暗線》一文中有詳細(xì)討論，可以移步于此。HBM反倒成為一個飛速進步的環(huán)節(jié)，海力士和美光最近股價飆升便是市場開始認(rèn)知到這一方向的重要性。
3）通信墻：算力和HBM結(jié)合在一起解決單卡的問題，但單卡再強也遠遠跟不上下游的算力需求。進一步的解決方法是堆料，拋開復(fù)雜的技術(shù)名詞，其實原理就是簡單粗暴的大力出奇跡，把盡量多的優(yōu)質(zhì)的算力卡連起來組成算力集群，這與獵鷹火箭裝27臺發(fā)動機本質(zhì)上是一個道理，其中的關(guān)鍵技術(shù)就在于數(shù)據(jù)中心的組網(wǎng)技術(shù)，因此，交換機的地位今時不同往日。
從最新的英偉達GB200計算集群網(wǎng)絡(luò)架構(gòu)中，我們能夠非常清晰的看到多處堆料組網(wǎng)的技術(shù)：1）GPU卡與GPU卡之間，基于NVLink協(xié)議的卡間互聯(lián)，這部分配套的switch芯片，由于被英偉達壟斷，沒有太多產(chǎn)業(yè)鏈探討的意義，因此不再展開。2）再往上一層，就是IB交換機，它連接起多個GPU卡群，構(gòu)成一個完整的機柜Rack。3）多個機柜再通過交換機互聯(lián)，形成強力的AI算力中心。后面兩個環(huán)節(jié)，都離不開AI交換機的支持。
這種架構(gòu)就能非常清晰的看到，為了突破通信墻打造強大的算力基座，交換機不僅僅是充當(dāng)算力網(wǎng)絡(luò)中的通信設(shè)備，而自身也變成算力設(shè)備的本身。正是這一產(chǎn)業(yè)鏈環(huán)節(jié)定義的變化，給了整個交換機產(chǎn)業(yè)鏈拔估值的基礎(chǔ)。
在這一輪算力網(wǎng)革命中，交換機正式與GPU、HBM、先進封裝、光模塊一道，站到了產(chǎn)業(yè)鏈的C位。
圖：GB200計算集群網(wǎng)絡(luò)架構(gòu)，來源：英偉達官網(wǎng)，中金公司
2、初聽不識曲中意，再聽已是曲中人
其實，產(chǎn)業(yè)鏈的這一變化不是2024年英偉達通過GB200才向全世界攤牌的，最早的信號發(fā)端于5年前。
2019年，英偉達豪擲69億美元，擊敗英特爾和微軟收購了彼時絕大部分都還比較陌生的Mellanox。筆者當(dāng)年也是不理解一個芯片廠玩什么交換機，只是覺得這對于財大氣粗的英偉達來說，算一個不大不小的收購，自然也是沒有仔細(xì)分析產(chǎn)業(yè)鏈上的協(xié)同效應(yīng)。
但隨著AI算力爆發(fā)，Mellanox的重要性飆升，成為英偉達IB交換機、Spectrum-X以太網(wǎng)交換的御用供應(yīng)商，占據(jù)了AI網(wǎng)絡(luò)設(shè)備中的最高份額。毫不夸張的說，現(xiàn)在Arista市值接近1000億美元，Mellanox可以輕松給到3000億美元，較當(dāng)年看似極其溢價的69億美元升值43倍，遠超這5年英偉達的市值上漲幅度。
老黃當(dāng)時就對這筆收購非常得意，曾說這是兩家全球領(lǐng)先高性能計算公司的結(jié)合，早在5年前就已經(jīng)把Mellanox放在與英偉達同等重要的位置上，回頭來看不得不感嘆老黃的眼光確實毒辣。
Mellanox，憑什么能跟英偉達平起平坐？Mellanox提供的主要產(chǎn)品是數(shù)據(jù)中心內(nèi)的通信互聯(lián)解決方案，而其中最為核心的又是基于IB協(xié)議開發(fā)的一些列網(wǎng)絡(luò)設(shè)備產(chǎn)品，這兒有必要展開說一下IB協(xié)議。
1999年，北美計算機巨頭們牽頭組織IB聯(lián)盟，目的是為了取代PCIe總線協(xié)議，成為智能設(shè)備之間互聯(lián)的新的協(xié)議標(biāo)準(zhǔn)，IB內(nèi)嵌了RDMA（Remote Direct Memory Access）功能，能將服務(wù)器間內(nèi)存、GPU內(nèi)存直連；比如在AI的GPU集群中，RDMA技術(shù)能加速卡之間的交互，大大節(jié)省時延。
但IB后來聲音日漸變小，而智能設(shè)備之間的互聯(lián)，仍然是由性價比更高的PCIe協(xié)議牢牢占據(jù)了核心位置。這是由于IB協(xié)議需要專門的網(wǎng)卡和交換機來支持，導(dǎo)致了居高不下的硬件成本，因此在跟以太網(wǎng)的方案中競爭中敗下陣來。頭等艙是好，但沒有幾個人坐得起。
后來連IB首發(fā)者英特爾都選擇了退出，最終只有Mellanox苦苦的在這條“錯誤”的路線上堅持。Mellanox公司成立后不久，便加入了IB聯(lián)盟并推出相關(guān)產(chǎn)品，到2015年，Mellanox在全球IB市場上的占有率達到80%，雖然領(lǐng)先但在這一小眾市場不被人注意。2019年被英偉達收入囊中，而這之后，IB基本從一個公開協(xié)議變成了英偉達的私有協(xié)議，更不為人關(guān)注了。
直到2023年這個算力為王的時代，IB協(xié)議才一飛沖天被廣為人知。AI大模型的橫空出世，算力的缺口一下子被放大到無限大，而作為并行計算中關(guān)鍵加速器的IB協(xié)議，成了最優(yōu)解決方案，這一協(xié)議的硬件載體，正是IB交換機。
在英偉達及旗下Mellanox的強勢帶領(lǐng)下，市場紛紛上調(diào)高速交換機的出貨量，IDC預(yù)計2023-2024年，市場高速交換機增速分別為54%和60%，2024年甚至還呈現(xiàn)加速的跡象。由于Mellanox是英偉達的子公司沒法直接投資，美股投資人轉(zhuǎn)而追捧最純正的交換機標(biāo)的Arsita，畢竟它雖然不如Mellanox優(yōu)秀，但也是各大云廠商高速交換機的最大供應(yīng)商。
以點帶面，通過高速交換機這個紐帶，我們不難發(fā)現(xiàn)，信息革命已經(jīng)從互聯(lián)網(wǎng)進入到算力網(wǎng)的時代。如果在今年，你還只在聊互聯(lián)網(wǎng)，顯然已經(jīng)被時代甩下了車；同樣，如果聊算力還只在聊GPU，顯然三大重點你只抓住了一個。
03、“失意者聯(lián)盟”
1、英偉達+mellanox在干什么：意欲吃干抹凈
從交換機的產(chǎn)品譜系圖，我們更能讀懂英偉達的布局。這張圖其實信息含量極大，建議反復(fù)觀看。
首先說，英偉達的野心很大，它從來都不是只想做一個賣卡的芯片公司，而是想做AI時代的算力方案解決商�；蛘哒f英偉達商業(yè)模式的變化：從來不只是想賣鏟子，是賣給你整個礦山，別再用“賣鏟人”來形容英偉達了。
英偉達2021-2025年的產(chǎn)品路線圖，昭昭然的將這個野心公示全球。其中標(biāo)粗的是其核心的GPU產(chǎn)品，從A100迭代到H100，然后再到今年的B100，再到2025年的X100，路線非常清晰，也是AI產(chǎn)業(yè)鏈關(guān)注的焦點。
但經(jīng)常被忽略的是圖表的下半部分，英偉達同時標(biāo)注出了配套的交換機型號變化，分為兩個IB和以太網(wǎng)兩個系列方向：
選用英偉達IB協(xié)議的，配套的是由Mellanox提供的Quantum系列交換機，將依次對應(yīng)從400G升級到今年的800G，再到明年的1.6T。值得一提的是，在這個過程中，光模塊也需要對應(yīng)從800G升級到1.6T然后到3.2T，Mellanox也可以部分提供。
現(xiàn)在很多客戶由于只能采購英偉達的GPU，已經(jīng)非常被動了，因此很多企業(yè)并不情愿采購IB方案，仍堅持以太網(wǎng)方案。對于這種客戶，英偉達也可配套提供Spectrum-X系列的以太網(wǎng)交換機，同樣也是將依次對應(yīng)從400G升級到今年的800G，再到明年的1.6T，只不過互聯(lián)效率要弱于IB方案；這幾款交換機也是由Mellanox來提供。
所以，在老黃的構(gòu)想里，如果一個超算中心是專門為AI建的，那就用最快的IB交換機方案；對于存量的以太網(wǎng)算力中心，如果客戶扭扭捏捏，英偉達也能匹配提供以太網(wǎng)方案，就用Spectrum-X交換機。簡單來說，就是面向現(xiàn)在和未來的生意英偉達給你包圓了。
從圖中也能看到，英偉達不僅僅只是想同時賣芯片和交換機，它的野心遠超于此。
如果客戶同時選購了英偉達的芯片、交換機，就離采購英偉達AI算力集群方案不遠了（圖表的上半部分）。在整體方案中，英偉達給下游客戶推自有GPU+自有網(wǎng)絡(luò)設(shè)備+自有CUDA搭建的整個AI算力集群。這就是AI工廠的模式，價值量將是只賣GPU卡的數(shù)倍以上。
更為重要的是，如果整個圖實現(xiàn)，這一輪的AI大潮將被英偉達實現(xiàn)新版的軟硬件解構(gòu)，軟件企業(yè)如云廠商負(fù)責(zé)瘋狂氪金和試錯商業(yè)模式，硬件企業(yè)英偉達負(fù)責(zé)建AI全算力和旱澇保收。
有必要提的一句題外話是，這張圖也能看出英偉達并不準(zhǔn)備染指HBM和先進制程，臺積電和海力士目前來看還是非常安全的。
圖：英偉達產(chǎn)品路線圖2、英偉達恐懼癥：反擊者聯(lián)盟
別看各大廠的老板，求著老黃買卡是對英偉達態(tài)度非常好；但實際上，對英偉達恐懼在硅谷正與日俱增，大佬們都在牌桌底下熱議如何擺脫。面對英偉達如此凌厲的明牌攻勢，此前一盤散沙的非英偉達陣營也展示出了空前的團結(jié)。
GPU芯片和CUDA網(wǎng)絡(luò)，似乎壁壘過高，盡管比如谷歌已經(jīng)死磕TPU多年，但收效甚微，更多人是選擇了躺平接受了英偉達在GPU上壟斷的現(xiàn)實，所以英偉達的GPU才能毛利率高達90%以上，堪稱有史以來最暴力的硬件。
而交換協(xié)議和交換機，由于技術(shù)壁壘相對低，且處于產(chǎn)業(yè)變革的早期，成為眾人攻破英偉達堡壘最優(yōu)的一致選擇。
至此，交換機這一長久以來不被重視的網(wǎng)絡(luò)設(shè)備，一下子躍升為AI算力基礎(chǔ)中的暗戰(zhàn)高地。為了追趕英偉達IB方案，2023年7月，“超以太網(wǎng)聯(lián)盟”（Ultra Ethernet Consortium）正式成立，這一聯(lián)盟迅速成為各個大廠的救命稻草。英特爾、微軟、Meta、博通、AMD、思科、Arista、Eviden、HP等陸續(xù)加入。
超以太聯(lián)盟成立后，便馬上推出了RoCEv2（RDMA over Converged Ethernet）方案，在軟件層吸收了前文提到的關(guān)鍵技術(shù)RDMA，劍指的方向非常明確，那就是力爭對標(biāo)IB性能。
以太網(wǎng)的后發(fā)優(yōu)勢目前看有兩個：
根據(jù)產(chǎn)業(yè)鏈調(diào)研，英偉達的IB方案比以太網(wǎng)方案貴20-30%。以太網(wǎng)方案可以通過主打性價比來扳回一局。
人多勢眾。傳統(tǒng)的數(shù)據(jù)中心，基本都是以太網(wǎng)協(xié)議，對于升級到超以太，兼容性要好得多，畢竟協(xié)議就是硬件對話的語言，用的人多自然就成了主流。
在超以太聯(lián)盟中的GPU全球老二AMD，把這兩點說得更加清晰：以太網(wǎng)將成為AMD構(gòu)建算力集群的基礎(chǔ)協(xié)議，因為以太網(wǎng)擁有更好的性能、更強大的大規(guī)模集群能力，以及最為核心的開放性，希望與頭部交換機廠商一起，降低組網(wǎng)成本，打造更具性價比的網(wǎng)絡(luò)。
也正是基于這兩點原因，不少人對于超以太網(wǎng)聯(lián)盟還是很有信心的。到底是以太網(wǎng)勝出，還是IB一統(tǒng)天下，最終答案只能留給時間來驗證。但不管怎么樣，英偉達與超以太聯(lián)盟的這輪對壘應(yīng)該是非常精彩的，必將成為科技史上日后被人反復(fù)提及的經(jīng)典橋段。
但筆者傾向于認(rèn)為超以太網(wǎng)的勝算還是被高估了。因為Scaling Law的指導(dǎo)之下，AI算力網(wǎng)絡(luò)比拼是速度不是價格，人多如果不是最優(yōu)方案，那可能也只是烏合之眾。這就像自行車肯定是更經(jīng)濟的出行方式、騎的人也多，但是沒有人會用它來上高速，留給以太網(wǎng)聯(lián)盟的時間其實不多。
圖：超以太網(wǎng)聯(lián)盟3、國產(chǎn)還落后以太網(wǎng)聯(lián)盟半個身位
本來行文至此就可以收筆了，但估計還有不少人關(guān)注國產(chǎn)算力網(wǎng)絡(luò)中交換機的進展，在此再贅述一二。
在互聯(lián)網(wǎng)時代的算力基礎(chǔ)設(shè)施投資中，得益于運營商的超前投資，我國的基礎(chǔ)網(wǎng)絡(luò)速度、滲透率在全球都處于領(lǐng)先地位，這也在后面直接催生了中國的移動互聯(lián)網(wǎng)繁榮，中國的互聯(lián)網(wǎng)公司，也因此具備全球競爭力。
不少人認(rèn)為，我們在AI時代，也可以依葫蘆畫瓢，上演后來者居上的戲碼。
但不得不直面的遺憾現(xiàn)實是，而在算力網(wǎng)絡(luò)時代，我們的算力基礎(chǔ)設(shè)施處于全面落后狀態(tài)。我們不僅僅在GPU、HBM、先進封裝方面有不少課要補，代表著算力集群能力的交換機我們也并沒有什么優(yōu)勢可言。一方面我們并沒有IB交換機，只能做以太網(wǎng)交換機，而且以太網(wǎng)交換機的代際更迭上也落后于海外1代，也就是落后超以太網(wǎng)聯(lián)盟半個身位。
好在和其他網(wǎng)絡(luò)設(shè)備一樣，中國在交換機上其實一直具備很強的競爭力，這還要得益于華為20多年前的努力，以及孵化了后來的新華三。時至今日，國內(nèi)的AI算力網(wǎng)絡(luò)中的交換機仍然沿襲了骨干網(wǎng)和數(shù)據(jù)中心網(wǎng)絡(luò)中的格局，新華三和華為依舊是主要的玩家。
種一棵樹最好的時間是十年前，其次是現(xiàn)在。雖然在AI交換機上我們落后了不少，但依靠歷史積累和集體的力量，如果從現(xiàn)在開始追趕，這一場對弈，我們未必不能上桌。
