阿里發(fā)布Qwen3.5-Omni，多模態(tài)能力超越Gemini-3.1 Pro

3月31日上午消息，阿里發(fā)布千問新一代全模態(tài)大模型Qwen3.5-Omni，宣布在音視頻理解、識別、交互等215項任務(wù)中取得SOTA（性能最佳），超越Gemini-3.1 Pro，成為目前全球最強的全模態(tài)大模型之一。

據(jù)悉，該模型擁有極強的音視頻理解與實時交互能力，能夠?qū)σ粢曨l內(nèi)容生成詳細(xì)且可控的結(jié)構(gòu)化描述，可識別語言和方言數(shù)量多達(dá)113種，還涌現(xiàn)出了音視頻Vibe Coding能力，用戶對著鏡頭闡述需求，就能讓模型自主生成App、網(wǎng)頁、游戲等復(fù)雜產(chǎn)品代碼。目前，阿里云百煉已上新Qwen3.5-Omni的Plus、Flash、Light三種API，可廣泛應(yīng)用于短視頻/直播平臺、游戲、自媒體等行業(yè)。

Qwen3.5-Omni采用混合注意力MoE架構(gòu)，在海量文本、視覺以及超過1億小時的音視頻數(shù)據(jù)上進(jìn)行了原生多模態(tài)預(yù)訓(xùn)練，可實現(xiàn)圖片、視頻、語音、文字等全模態(tài)內(nèi)容的輸入與輸出。新模型在音視頻理解、跨模態(tài)推理、Agent方面實現(xiàn)了性能飛躍，在音視頻理解、語音識別、多語種翻譯、對話等215項第三方性能測試任務(wù)中取得SOTA。

例如，在聚焦視聽交互能力的DailyOmni、QualcommInteractive、Omni Cloze等測試中，Qwen3.5-Omni得分領(lǐng)先Gemini-3.1 Pro；在檢測嘈雜環(huán)境抗干擾能力的WenetSpeech測試中，Qwen3.5-Omni錯誤率遠(yuǎn)低于Gemini，識別準(zhǔn)確率極高；在考察多語言語音生成質(zhì)量的Multi-Lingual （30lang） 測試中，Qwen3.5-Omni同樣顯著優(yōu)于Gemini-2.5-Pro-TTS。

此外，與純文本或圖片驅(qū)動的Vibe Coding不同，千問還可以實現(xiàn)音視頻編程：打開攝像頭，用戶對著草圖口述需求，哪怕是包括復(fù)雜產(chǎn)品邏輯的描述，模型也能直接生成帶有復(fù)雜UI的產(chǎn)品原型界面，真正實現(xiàn)“動動嘴即可編程”。這一能力并非刻意設(shè)計，而是模型在原生多模態(tài)能力持續(xù)擴展過程中自然涌現(xiàn)出的結(jié)果。

目前，普通用戶也可前往Qwen Chat免費體驗，開發(fā)者和企業(yè)可通過阿里云百煉平臺調(diào)用Qwen3.5-Omni模型，每百萬Tokens輸入不到0.8元，比Gemini-3.1 Pro的1/10還低。