中國(guó)移動(dòng)首發(fā)智算推理集群“運(yùn)營(yíng)黃金標(biāo)準(zhǔn)”

近日，中國(guó)移動(dòng)聯(lián)合合作伙伴在智算運(yùn)營(yíng)領(lǐng)域取得重要突破，在行業(yè)首創(chuàng)“智算推理集群運(yùn)營(yíng)黃金標(biāo)準(zhǔn)”。該標(biāo)準(zhǔn)以用戶體驗(yàn)為導(dǎo)向，構(gòu)建了一套可量化、可評(píng)估、可復(fù)用的集群運(yùn)營(yíng)指標(biāo)體系，首次實(shí)現(xiàn)了對(duì)人工智能推理算力服務(wù)質(zhì)量的系統(tǒng)化、標(biāo)準(zhǔn)化度量。這一創(chuàng)新標(biāo)志著AI推理算力發(fā)展范式正從“規(guī)模擴(kuò)張”轉(zhuǎn)向“質(zhì)量躍遷”，推動(dòng)行業(yè)進(jìn)入精細(xì)化運(yùn)營(yíng)與高質(zhì)量發(fā)展的新階段。

當(dāng)前，人工智能發(fā)展正從集中式的“模型訓(xùn)練”（練兵）階段加速邁向大規(guī)模“推理部署”（實(shí)戰(zhàn)）階段，推理應(yīng)用已在政務(wù)、金融、制造、醫(yī)療等多場(chǎng)景深度落地，智能體生態(tài)蓬勃發(fā)展，驅(qū)動(dòng)算力需求結(jié)構(gòu)發(fā)生深刻變革——推理算力占比持續(xù)攀升，并已成為智算基礎(chǔ)設(shè)施的核心負(fù)載。然而，面對(duì)用戶對(duì)更高性能、更優(yōu)體驗(yàn)與更低成本的復(fù)合訴求，行業(yè)仍面臨突出矛盾。因此，如何在保障服務(wù)質(zhì)量的前提下，動(dòng)態(tài)平衡“降本”與“優(yōu)服”，實(shí)現(xiàn)推理系統(tǒng)的高效、穩(wěn)定與經(jīng)濟(jì)運(yùn)行，已成為當(dāng)前智算基礎(chǔ)設(shè)施建設(shè)與運(yùn)營(yíng)亟待破解的核心挑戰(zhàn)。

針對(duì)這一挑戰(zhàn)，中國(guó)移動(dòng)基于大量理論分析與實(shí)測(cè)驗(yàn)證，創(chuàng)新提出“智算推理集群運(yùn)營(yíng)黃金標(biāo)準(zhǔn)”。該標(biāo)準(zhǔn)以“度量破局”為核心理念，系統(tǒng)構(gòu)建涵蓋用戶體驗(yàn)、系統(tǒng)并發(fā)能力、系統(tǒng)可用性及硬件利用率四大維度的集群效能評(píng)估體系。通過(guò)實(shí)時(shí)監(jiān)控推理集群運(yùn)行狀態(tài)，該體系在保障關(guān)鍵體驗(yàn)指標(biāo)達(dá)標(biāo)的前提下，精準(zhǔn)識(shí)別最先觸達(dá)性能瓶頸的硬件資源指標(biāo)，并將其確立為當(dāng)前場(chǎng)景下的“黃金指標(biāo)”。這一指標(biāo)不僅反映系統(tǒng)性能的臨界約束條件，還可作為判斷集群是否高效運(yùn)行、是否需要擴(kuò)容或優(yōu)化的重要決策依據(jù)。

為驗(yàn)證“黃金標(biāo)準(zhǔn)”的有效性，中國(guó)移動(dòng)組織開展試點(diǎn)工作，系統(tǒng)評(píng)估了多種典型模型在不同業(yè)務(wù)負(fù)載下的運(yùn)行表現(xiàn)，包括以DeepSeek-R1為代表的MoE（混合專家）稀疏大語(yǔ)言模型、以Qwen3-32B為代表的稠密大語(yǔ)言模型、以Qwen2.5-VL-72B為代表的多模態(tài)理解模型、以Stable　Diffusion為代表的多模態(tài)生成模型。測(cè)試結(jié)果顯示，在不同推理負(fù)載下，四項(xiàng)硬件指標(biāo)（算力利用率、顯存利用率、顯存帶寬利用率和KVCache利用率）的增長(zhǎng)速率存在顯著差異，且各場(chǎng)景中最先觸達(dá)性能瓶頸的指標(biāo)各不相同。

依托“黃金指標(biāo)”的實(shí)時(shí)監(jiān)控，企業(yè)能夠在高并發(fā)與負(fù)載波動(dòng)等復(fù)雜場(chǎng)景下，精準(zhǔn)洞察集群運(yùn)行狀態(tài)，實(shí)現(xiàn)精細(xì)化運(yùn)營(yíng)。即當(dāng)指標(biāo)顯示資源利用率較低時(shí)，可主動(dòng)引入負(fù)載提升資源效能；當(dāng)指標(biāo)逼近擴(kuò)容閾值時(shí)，則觸發(fā)彈性擴(kuò)容機(jī)制。實(shí)踐表明，該方法可實(shí)現(xiàn)擴(kuò)容決策準(zhǔn)確率接近100%。

面向未來(lái)，中國(guó)移動(dòng)將深入貫徹落實(shí)國(guó)家“人工智能+”戰(zhàn)略，把握歷史機(jī)遇，錨定“人工智能供給者、匯聚者、運(yùn)營(yíng)者”三位一體定位，全面升級(jí)“AI+”行動(dòng)計(jì)劃，發(fā)揮央企引領(lǐng)作用。公司將持續(xù)夯實(shí)智算基礎(chǔ)設(shè)施底座，創(chuàng)新體系化運(yùn)營(yíng)模式，推動(dòng)算力供給向普惠易用、經(jīng)濟(jì)高效、綠色智能方向演進(jìn)；同時(shí)，廣泛開放應(yīng)用場(chǎng)景，加速AI技術(shù)在企業(yè)內(nèi)外千行百業(yè)的深度滲透與規(guī)�；�落地，全面賦能經(jīng)濟(jì)社會(huì)數(shù)字化轉(zhuǎn)型。