首頁(yè)|必讀|視頻|專訪|運(yùn)營(yíng)|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|智能汽車|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|芯片|報(bào)告|智慧城市|移動(dòng)互聯(lián)網(wǎng)|會(huì)展
首頁(yè) >> 移動(dòng)互聯(lián)網(wǎng) >> 正文

知乎技術(shù)沙龍:自研大模型推理框架 ZhiLight 正式開(kāi)源

2024年12月9日 16:23  CCTIME飛象網(wǎng)  

12 月 7 日,知乎聯(lián)合 DataFun 舉辦主題為《大模型應(yīng)用工程化實(shí)踐:從實(shí)驗(yàn)室到千萬(wàn)級(jí)用戶產(chǎn)品》的技術(shù)沙龍。知乎 AI 算法負(fù)責(zé)人王界武、機(jī)器學(xué)習(xí)平臺(tái)負(fù)責(zé)人王新、百川智能大語(yǔ)言模型資深算法專家王宇龍以及“提示詞布道師”李繼剛帶來(lái)大模型相關(guān)的專業(yè)分享和深度交流,吸引來(lái)自 15 個(gè)行業(yè)、130 家企業(yè)參會(huì)者到場(chǎng)。知乎 CTO 孫斌在現(xiàn)場(chǎng)宣布,知乎自研的輕量高效大模型推理框架 ZhiLight 正式開(kāi)源。

知乎直答與推理框架 ZhiLight:知乎加速大模型工程化實(shí)踐

2024 年知乎持續(xù)推進(jìn)大模型工程化實(shí)踐,于 6 月、10 月相繼推出知乎直答及其專業(yè)搜索功能,聚焦專業(yè)人士的生產(chǎn)力場(chǎng)景,更是將 AI 搜索推進(jìn)到更具專業(yè)、實(shí)用性的深度搜索能力拓展階段。

(知乎 AI 算法負(fù)責(zé)人王界武)

在技術(shù)沙龍上,知乎 AI 算法負(fù)責(zé)人王界武詳細(xì)介紹了知乎直答從 0 到 1 的搭建過(guò)程,并重點(diǎn)分享了技術(shù)方案選型和「踩坑」經(jīng)歷。據(jù)介紹,知乎直答團(tuán)隊(duì)在構(gòu)建AI問(wèn)答系統(tǒng)時(shí),對(duì)比了兩種技術(shù)路線:LLM 持續(xù) pretrain+posttrain 以及檢索增強(qiáng)生成(RAG)方案,最終后者在成本、時(shí)效性、準(zhǔn)確性、可擴(kuò)展性等多維度勝出。當(dāng)用戶提問(wèn)時(shí),RAG 系統(tǒng)先從知識(shí)庫(kù)檢索相關(guān)信息作為上下文,再由大語(yǔ)言模型生成回答。團(tuán)隊(duì)通過(guò)在 Query 理解、召回、大模型生成等多個(gè)環(huán)節(jié)深入優(yōu)化,顯著降低了 AI 的幻覺(jué)問(wèn)題,使得答案具備更高的準(zhǔn)確性和權(quán)威度。

在專業(yè)搜索功能側(cè),知乎直答團(tuán)隊(duì)使用了多種前沿技術(shù)。不僅實(shí)現(xiàn)了多智能體的協(xié)同工作,支持信息查詢、內(nèi)容分析、數(shù)學(xué)計(jì)算等多種功能,還結(jié)合大語(yǔ)言模型強(qiáng)大的推理能力,對(duì)用戶的上下文和提問(wèn)進(jìn)行深入分析,從多角度、多層次召回多樣且高質(zhì)量的內(nèi)容。此外,知乎直答專業(yè)搜索還在思維鏈提示詞工程、智能文檔解析、動(dòng)態(tài)資源調(diào)度等多個(gè)技術(shù)模塊實(shí)現(xiàn)突破。

王界武介紹,下一步,知乎直答團(tuán)隊(duì)計(jì)劃將產(chǎn)品與社區(qū)深度融合,滿足更多場(chǎng)景下用戶找答案的需求,在準(zhǔn)確性、時(shí)效性、交互模式等領(lǐng)域?qū)崿F(xiàn)更多升級(jí)。同時(shí)將進(jìn)一步提升模型的推理能力,使知乎直答具備更強(qiáng)的解決復(fù)雜問(wèn)題能力和使用體驗(yàn)。

除了知乎直答,知乎自研的大模型推理框架 ZhiLight 也在本次活動(dòng)上正式亮相。知乎機(jī)器學(xué)習(xí)平臺(tái)負(fù)責(zé)人王新介紹,知乎在多種型號(hào)的英偉達(dá)設(shè)備上部署了大量的大模型推理服務(wù),優(yōu)秀的開(kāi)源項(xiàng)目 vLLM、SGLang 廣泛應(yīng)用于知乎內(nèi)部。

(知乎機(jī)器學(xué)習(xí)平臺(tái)負(fù)責(zé)人王新)

與此同時(shí),知乎也在探索更低成本、更具可擴(kuò)展性的自研推理框架方案。2023 年開(kāi)始,知乎與面壁智能合作開(kāi)發(fā)知海圖大模型以及一系列大模型訓(xùn)練與推理工程架構(gòu)。其中 ZhiLight 的設(shè)計(jì)目標(biāo)是可以快速部署與實(shí)踐 LLaMa-like 模型。

(ZhiLight 卡間通訊優(yōu)化效果)

據(jù)介紹,ZhiLight 目前兼容 OpenAI chat/completions 接口,監(jiān)控指標(biāo)上與 vLLM metrics對(duì)齊,便于日常使用及以及與 vLLM 等開(kāi)源引擎的性能與穩(wěn)定性對(duì)比。ZhiLight 的優(yōu)化側(cè)重于 PCIe 卡間通訊優(yōu)化、內(nèi)存管理以及并發(fā)請(qǐng)求管理優(yōu)化,同時(shí)還集成了 FlashAttention、Marlin、TensorRT、exllama 等開(kāi)源項(xiàng)目。其中,ZhiLight 通過(guò)計(jì)算與通訊 overlap 、以及低精度通訊等手段,單層 Transformer 計(jì)算時(shí)間降低了 40% 以上。

(ZhiLight 引擎的性能表現(xiàn))

如上圖,模型規(guī)模達(dá)到 70B 時(shí),多卡推理受卡間通訊影響愈加明顯,ZhiLight 在 TTFT 指標(biāo)上要明顯優(yōu)于目前主流的開(kāi)源推理引擎,并且在 110B 規(guī)模情況下 ZhiLight 的優(yōu)勢(shì)進(jìn)一步擴(kuò)大。

(知乎 CTO 孫斌)

最后,知乎 CTO 孫斌在現(xiàn)場(chǎng)宣布,ZhiLight 已經(jīng)正式開(kāi)源(https://github.com/zhihu/ZhiLight)。未來(lái),知乎希望與科技行業(yè)、技術(shù)從業(yè)者一起共建開(kāi)源開(kāi)放的交流社區(qū),并推動(dòng)前沿技術(shù)討論從知乎線上延伸到線下。

AgentAGI、Prompt……大模型技術(shù)前瞻與暢想

從  Agent 到 AGI 我們還有多遠(yuǎn)?百川智能大語(yǔ)言模型資深算法專家王宇龍從一個(gè)探索 Agent 極限實(shí)驗(yàn)開(kāi)始,詳細(xì)介紹了為什么要構(gòu)建 Agent。

(百川智能大語(yǔ)言模型資深算法專家王宇龍)

在他看來(lái),基于 LLM 驅(qū)動(dòng)的智能體相較于傳統(tǒng) Agent,利用了大型語(yǔ)言模型(LLM)的強(qiáng)大能力,徹底改變了智能體的工作方式。這類智能體不僅僅是完成單一任務(wù)的工具,它們能夠在各種不同的任務(wù)之間切換,并且通過(guò)理解自然語(yǔ)言來(lái)解決問(wèn)題,其核心能力可以被分解為:規(guī)劃、記憶、工具使用。

王宇龍還介紹,當(dāng)前 Agent 面臨的主要問(wèn)題:缺乏理論指導(dǎo)、架構(gòu)百花齊放、思路千奇百怪、效果參差不齊,并進(jìn)一步介紹了 Agent 和 LLM 的底層細(xì)節(jié)。

王宇龍認(rèn)為,科學(xué)之所以可能,是因?yàn)榇嬖谝恍┛捎?jì)算簡(jiǎn)化的區(qū)域,這些區(qū)域即使在普遍的不可計(jì)算簡(jiǎn)化之中也允許規(guī)律和預(yù)測(cè)的存在。人工智能有可能以新的方式發(fā)現(xiàn)并利用這些簡(jiǎn)化的區(qū)域。AI非常適合通過(guò)捕捉數(shù)據(jù)中的規(guī)律來(lái)做出近似、「大致正確」的預(yù)測(cè),這與人類思維的方式相似。但是它在進(jìn)行精確、詳細(xì)的預(yù)測(cè)時(shí)會(huì)遇到困難,特別是在面對(duì)計(jì)算不可約性的時(shí)候。

Prompt是什么?「提示詞布道師」李繼剛在本次交流會(huì)分享了關(guān)于Prompt的道與術(shù)。他提出「Prompt = 表達(dá)」,而「表達(dá) = 本意+文意+解意」,并進(jìn)一步闡述了「本意 = 經(jīng)驗(yàn)+詞匯+知識(shí)」的概念,以及大模型與 Prompt 的關(guān)系:模型效果 =LLM*(Task+Promt)。

(「提示詞布道師」李繼剛)

李繼剛在會(huì)上分享了大量 Prompt 實(shí)戰(zhàn)經(jīng)驗(yàn)。他認(rèn)為,去年 Prompt 的關(guān)鍵詞是從短到長(zhǎng),今年的關(guān)鍵詞則是從長(zhǎng)到短,但最本質(zhì)的,還是要與大模型實(shí)現(xiàn)「共振」。ChatGPT 興起時(shí),他和很多人一樣,給大模型寫(xiě)很長(zhǎng)的 Prompt,但今年開(kāi)始,他更習(xí)慣把 Prompt 壓縮成一個(gè)詞來(lái)開(kāi)啟大模型的解壓過(guò)程。在他看來(lái),用最清晰、簡(jiǎn)潔的表達(dá),指向核心本質(zhì),才是切中肯綮的最優(yōu)解。

李繼剛認(rèn)為,Prompt 工程師應(yīng)該具備人文和技術(shù)兩項(xiàng)基本素質(zhì),既要能寫(xiě)編程,要有理性數(shù)學(xué)的思維,又要會(huì)寫(xiě)作,有感性表達(dá)的思維。

(知乎智能算法部負(fù)責(zé)人張亞峰)

此次大模型技術(shù)沙龍由知乎發(fā)起,聯(lián)合 Datafun 舉辦,同時(shí)也是知乎系列技術(shù)沙龍的第一場(chǎng)。知乎智能算法部負(fù)責(zé)人張亞峰表示,每天都有大量行業(yè)內(nèi)對(duì)大模型感興趣的朋友們?cè)谥跤懻撔录夹g(shù)和應(yīng)用經(jīng)驗(yàn),我們會(huì)繼續(xù)把這些高質(zhì)量的討論延伸到線下,組織一系列類似的高質(zhì)量活動(dòng),未來(lái)知乎將進(jìn)一步加強(qiáng)與科技行業(yè)、技術(shù)從業(yè)者的交流聯(lián)動(dòng),為互聯(lián)網(wǎng)行業(yè)前沿技術(shù)研發(fā)和應(yīng)用貢獻(xiàn)力量。

編 輯:T01
飛象網(wǎng)版權(quán)及免責(zé)聲明:
1.本網(wǎng)刊載內(nèi)容,凡注明來(lái)源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權(quán)所有,未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對(duì)于經(jīng)過(guò)授權(quán)可以轉(zhuǎn)載,請(qǐng)必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標(biāo)注作者信息和飛象網(wǎng)來(lái)源。
2.凡注明“來(lái)源:XXXX”的作品,均轉(zhuǎn)載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。
3.如因作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)?jiān)谙嚓P(guān)作品刊發(fā)之日起30日內(nèi)與本網(wǎng)聯(lián)系,我們將第一時(shí)間予以處理。
本站聯(lián)系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對(duì)此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
中國(guó)移動(dòng)王曉云:6G已經(jīng)進(jìn)入面向產(chǎn)業(yè)技術(shù)創(chuàng)新的全新階段
精彩專題
2024中國(guó)算力大會(huì)
2024年國(guó)際信息通信展
中國(guó)信科亮相2024年國(guó)際信息通信展
第25屆中國(guó)國(guó)際光電博覽會(huì)
CCTIME推薦
關(guān)于我們 | 廣告報(bào)價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號(hào)-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營(yíng)許可證080234號(hào) 京公網(wǎng)安備110105000771號(hào)
公司名稱: 北京飛象互動(dòng)文化傳媒有限公司
未經(jīng)書(shū)面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像