10月12日，在2024中國(guó)移動(dòng)全球合作伙伴大會(huì)期間，中國(guó)移動(dòng)攜手央企及產(chǎn)業(yè)各方共同發(fā)布大模型評(píng)測(cè)體系建設(shè)的重要成果《通用大模型評(píng)測(cè)標(biāo)準(zhǔn)》，為產(chǎn)業(yè)界遴選優(yōu)質(zhì)大模型提供重要參考依據(jù)。中國(guó)移動(dòng)總經(jīng)理何飚、副總經(jīng)理高同慶，電子標(biāo)準(zhǔn)院、中國(guó)電信、國(guó)家電網(wǎng)、中國(guó)石油、中國(guó)物流、南方電網(wǎng)、阿里、科大訊飛、智譜等聯(lián)合編制單位領(lǐng)導(dǎo)出席發(fā)布儀式。
大模型評(píng)測(cè)是助力人工智能賦能行業(yè)應(yīng)用的重要一環(huán)。當(dāng)前眾多企業(yè)已啟動(dòng)大模型建設(shè)，亟需建立配套的通用大模型和行業(yè)大模型評(píng)測(cè)體系。為發(fā)揮大模型評(píng)測(cè)領(lǐng)域的引領(lǐng)作用，中國(guó)移動(dòng)聯(lián)合電子標(biāo)準(zhǔn)院及16家重點(diǎn)央企共同開展大模型評(píng)測(cè)體系建設(shè)工作。第一階段將圍繞通用領(lǐng)域和4個(gè)重點(diǎn)行業(yè)領(lǐng)域，從評(píng)測(cè)標(biāo)準(zhǔn)制定、評(píng)測(cè)基地建設(shè)、評(píng)測(cè)試點(diǎn)應(yīng)用等方面開展工作。
目前，中國(guó)移動(dòng)攜手央企及產(chǎn)業(yè)各方遵循“確保評(píng)測(cè)權(quán)威、加強(qiáng)業(yè)界協(xié)同、解決實(shí)際問題、保持開放態(tài)度”的原則，初步完成通用大模型評(píng)測(cè)標(biāo)準(zhǔn)制定，得到行業(yè)龍頭央企、業(yè)界頭部公司、知名高校及科研機(jī)構(gòu)充分認(rèn)可，為后續(xù)試點(diǎn)評(píng)測(cè)等工作奠定了堅(jiān)實(shí)基礎(chǔ)。
通用大模型評(píng)測(cè)標(biāo)準(zhǔn)基于“2-4-6”框架。“2”代表兩類評(píng)測(cè)視角，以重點(diǎn)行業(yè)實(shí)際使用需求為導(dǎo)向，與國(guó)標(biāo)對(duì)模型能力要求拉齊，將評(píng)測(cè)任務(wù)劃分為理解和生成兩類視角�！�4”代表四類評(píng)測(cè)要素，從評(píng)測(cè)全生命周期中提取出評(píng)測(cè)工具、評(píng)測(cè)數(shù)據(jù)、評(píng)測(cè)方式和評(píng)測(cè)指標(biāo)四類關(guān)鍵要素，確保評(píng)測(cè)工作可實(shí)施性�！�6”代表六大評(píng)測(cè)維度，綜合考慮大模型應(yīng)用過程中的核心能力，設(shè)定功能性、準(zhǔn)確性、可靠性、安全性、交互性和應(yīng)用性六大維度。該標(biāo)準(zhǔn)廣泛吸納產(chǎn)學(xué)研用各方意見，并結(jié)合行業(yè)特色場(chǎng)景需求，可為通用大模型全面評(píng)估提供客觀依據(jù)，為AI賦能千行百業(yè)提供保障。
未來，中國(guó)移動(dòng)將聯(lián)合行業(yè)龍頭企業(yè)、業(yè)界頭部公司、知名高校和科研機(jī)構(gòu)，深入挖掘石油、電力、交通和物流等重點(diǎn)行業(yè)應(yīng)用需求，持續(xù)打造并完善通用及行業(yè)大模型評(píng)測(cè)體系，積極建設(shè)大模型評(píng)測(cè)基地，廣泛征集各中央企業(yè)及頭部民企積極參與大模型評(píng)測(cè)，打造落地應(yīng)用最佳實(shí)踐，為提升AI+行業(yè)新質(zhì)生產(chǎn)力，保障國(guó)產(chǎn)大模型高質(zhì)量發(fā)展，貢獻(xiàn)央企力量。
