12月23日午間消息，近日，智源研究院發(fā)布國內(nèi)外100余個開/閉源語言、視覺語言、文生圖、文生視頻大模型綜合及專項評測結(jié)果。評測發(fā)現(xiàn)，2024年下半年，大模型發(fā)展更聚焦綜合能力提升與實際應用。多項評測結(jié)果中，字節(jié)跳動多項AI能力領(lǐng)先，阿里巴巴、百度等大廠派AI均取得優(yōu)異表現(xiàn)。
據(jù)評測結(jié)果，針對一般中文場景的開放式問答或生成任務，語言模型能力已趨于飽和穩(wěn)定，但是復雜場景任務的表現(xiàn)，國內(nèi)頭部語言模型仍然與國際一流水平存在顯著差距。在中文能力理解上，字節(jié)跳動Doubao-pro-32k-preview、百度ERNIE 4.0 Turbo位居第一、第二，OpenAI o1-preview-2024-09-12、Anthropic Claude-3-5-sonnet-20241022位列第三、第四，阿里巴巴Qwen-Max-0919排名第五。
在視覺語言多模態(tài)模型能力評測結(jié)果中，一些較好的開源模型在圖文理解任務上正在縮小與頭部閉源模型的能力差距，而長尾視覺知識與文字識別以及復雜圖文數(shù)據(jù)分析能力仍有提升空間。評測顯示，OpenAI GPT-4o-2024-11-20與字節(jié)跳動Doubao-Pro-Vision-32k-241028先后領(lǐng)先于Anthropic Claude-3-5-sonnet-20241022，阿里巴巴Qwen2-VL-72B-Instruct和Google Gemini-1.5-Pro緊隨其后。
此外，文生圖多模態(tài)模型今年上半年參評模型普遍無法生成正確的中文文字，但此次參評的頭部模型已經(jīng)具備中文文字生成能力，但整體普遍存在復雜場景人物變形的情況，針對常識或知識性推理任務，小于3的數(shù)量關(guān)系任務表現(xiàn)有所提升，大于3的數(shù)量關(guān)系依然無法處理。評測結(jié)果顯示，騰訊Hunyuan Image位列第一，字節(jié)跳動Doubao image v2.1、Ideogram 2.0分居第二、第三，OpenAI DALL·E 3、快手可圖次之。
在文生視頻多模態(tài)模型，畫質(zhì)進一步提升，動態(tài)性更強，鏡頭語言更豐富，專場更流暢，但普遍存在大幅度動作變形，無法理解物理規(guī)律，物體消失、閃現(xiàn)、穿模的情況。評測結(jié)果顯示，快手可靈1.5（高品質(zhì)）、字節(jié)跳動即夢P2.0 pro、愛詩科技PixVerse V3、MiniMax海螺AI、Pika 1.5位列前五。
據(jù)介紹，本次評測依托智源研究院自2023年6月上線的大模型評測平臺FlagEval，經(jīng)過數(shù)次迭代，目前已覆蓋全球800多個開閉源模型，包含20多種任務，90多個評測數(shù)據(jù)集，超200萬條評測題目。（文猛）
