由北京大學(xué)、清華大學(xué)、鵬城實(shí)驗(yàn)室、阿里巴巴達(dá)摩院以及理海大學(xué)（Lehigh University）組成的研究團(tuán)隊(duì)，最新推出了 LLaVA-o1，這是首個(gè)具備自發(fā)性（Spontaneous，具體解釋可參考文末）、類似于 GPT-o1 的系統(tǒng)性推理視覺語(yǔ)言模型。
UP 主：唐國(guó)梁 Tommy
LLaVA-o1 是一種新型的視覺語(yǔ)言模型（VLM），其設(shè)計(jì)目標(biāo)是進(jìn)行自主的多階段推理。
LLaVA-o1 擁有 110 億個(gè)參數(shù)，基于 Llama-3.2-Vision-Instruct 模型開發(fā)，設(shè)計(jì)了總結(jié)（summary）、描述（caption）、推理（reasoning）和結(jié)論（conclusion）4 個(gè)推理階段。
該模型使用名為 LLaVA-o1-100k 的數(shù)據(jù)集進(jìn)行微調(diào)，該數(shù)據(jù)集源自視覺問答（VQA）來(lái)源和由 GPT-4o 生成的結(jié)構(gòu)化推理注釋。
LLaVA-o1 采用了階段級(jí)束搜索（stage-level beam search）的推理時(shí)間 Scaling 技術(shù)，能夠在每個(gè)推理階段生成多個(gè)候選答案，并選取最佳答案。
該模型在處理復(fù)雜任務(wù)時(shí)具備較強(qiáng)的能力，在復(fù)雜視覺問答任務(wù)中，可以突破傳統(tǒng)視覺語(yǔ)言模型的局限性。
與基礎(chǔ)模型相比，LLaVA-o1 在多模態(tài)推理基準(zhǔn)測(cè)試中提高了 8.9% 的性能，超過了許多大型和閉源的競(jìng)爭(zhēng)對(duì)手。
LLaVA-o1 的推出填補(bǔ)了文本和視覺問答模型之間的重要空白，在多個(gè)基準(zhǔn)測(cè)試中的優(yōu)異表現(xiàn)，特別是在數(shù)學(xué)和科學(xué)視覺問題的推理領(lǐng)域，展示了結(jié)構(gòu)化推理在視覺語(yǔ)言模型中的重要性。
自發(fā)性人工智能（Spontaneous AI）是指能夠模擬動(dòng)物自發(fā)行為的人工智能系統(tǒng)。這種技術(shù)的研究主要集中在如何通過機(jī)器學(xué)習(xí)和復(fù)雜的時(shí)間模式設(shè)計(jì)出具有自發(fā)行為的機(jī)器人或智能系統(tǒng)。
