首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 人工智能 >> 正文

人工智能軍備競賽白熱化:谷歌最新 AI 大語言模型 PaLM2 數(shù)據(jù)量擴充 5 倍

2023年5月17日 11:13  新浪科技  

北京時間 5 月 17 日早間消息,據(jù)報道,谷歌上周發(fā)布的最新大語言模型使用的訓練數(shù)據(jù),幾乎是 2022 年的上一代模型的 5 倍。得益于此,該模型在編程、數(shù)學和創(chuàng)意寫作方面的表現(xiàn)更為優(yōu)秀。

谷歌是在其 I / O 開發(fā)者大會上發(fā)布最新通用大語言模型 PaLM2 的。內(nèi)部文件顯示,該模型采用了 3.6 萬億個令牌(token)進行訓練。令牌指的是單詞串,這是訓練大語言模型的重要基礎,因為這可以教給模型如何預測字符串中可能出現(xiàn)的下一個單詞。

之前版本的 PaLM 發(fā)布于 2022 年,當時使用的令牌為 7800 億個。

雖然谷歌很希望展示其人工智能技術的實力,以及嵌入搜索、電子郵件、字處理和電子表格后的效果,但該公司卻不愿發(fā)布其訓練數(shù)據(jù)的規(guī)模和其他細節(jié)。微軟支持的 OpenAI 也對其最新的 GPT-4 大語言模型的細節(jié)信息保密。

這些公司表示,之所以不披露這些信息,是出于商業(yè)競爭考慮。谷歌和 OpenAI 都在努力吸引想要用聊天機器人代替?zhèn)鹘y(tǒng)搜索引擎,從而直接獲取答案的用戶。

但隨著人工智能軍備競賽日趨白熱化,相關研究人員也呼吁企業(yè)加大透明度。

自從發(fā)布 PaLM2 之后,谷歌一直表示新的模型比之前的大語言模型更小,這就意味著該公司的技術效率得以提升,但卻可以完成更加復雜的任務。內(nèi)部文件顯示,PaLM2 基于 3400 億個參數(shù)訓練 —— 這項指標可以說明該模型的復雜程度。最初的 PaLM 則基于 5400 億個參數(shù)訓練。

目前,谷歌尚未對此置評。

谷歌在一篇關于 PaLM2 的博文中表示,該模型使用了一種名為“計算機優(yōu)化擴張”的新技術。這就讓大語言“更高效、整體性能更好,包括加快推理速度、減少參數(shù)調(diào)用和降低服務成本。”

在宣布 PaLM2 時,谷歌證實了此前的媒體報道,計該模型針對 100 種語言進行訓練,可以執(zhí)行更廣泛的任務。它已經(jīng)被用于 25 項功能和產(chǎn)品,包括該公司的實驗性聊天機器人 Bard。按照從小到大的規(guī)模劃分,該模型共有 4 種,分別是壁虎(Gecko)、水獺(Otter)、野牛(Bison)和獨角獸(Unicorn)。

根據(jù)公開披露的信息,PaLM2 比現(xiàn)有的任何模型都更加強大。Facebook 在 2 月份宣布的的 LLaMA 大語言模型采用 1.4 萬億個令牌。OpenAI 上一次披露 GPT-3 的訓練規(guī)模時表示,它當時基于 3000 億個令牌。OpenAI 今年 3 月發(fā)布 GPT-4 時表示,它在許多專業(yè)測試中展示出“與人類媲美的表現(xiàn)”。

LaMDA 是谷歌兩年前推出的一個對話型大語言模型,在今年 2 月還與 Bard 一同對外宣傳。該模型基于 1.5 萬億個令牌訓練。

隨著新的人工智能應用快速進入主流,圍繞底層技術的爭議也越來越激烈。

谷歌高級研究科學家艾爾 邁赫迪 艾爾 麥哈麥迪(El Mahdi El Mhamdi)于今年 2 月辭職,主要原因就是人工智能技術缺乏透明度。本周二,OpenAI CEO 山姆 阿爾特曼(Sam Altman)出席美國國會針對隱私和技術舉行的聽證會,他也認為需要設立一套新的制度來應對人工智能的潛在問題。

“對于一種全新的技術,我們需要一套全新的框架!卑柼芈f,“當然,像我們這樣的公司應當為我們推出的工具承擔許多責任。”

編 輯:章芳
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應用建議。如網(wǎng)站內(nèi)容涉及作品版權(quán)和其它問題,請在30日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內(nèi)容核實”、“商務聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
相關新聞              
 
人物
工信部張云明:大部分國家新劃分了中頻段6G頻譜資源
精彩專題
專題丨“汛”速出動 共筑信息保障堤壩
2023MWC上海世界移動通信大會
中國5G商用四周年
2023年中國國際信息通信展覽會
CCTIME推薦
關于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業(yè)務經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復制、鏡像