RTE 實(shí)時(shí)互動(dòng)作為一種未來(lái)數(shù)字生活的基礎(chǔ)設(shè)施，已經(jīng)全面深入人們的社交、娛樂、工作、購(gòu)物等方方面面，并撬動(dòng)各行各業(yè)的價(jià)值增長(zhǎng)。甚至在當(dāng)下的 AIGC 熱潮中，實(shí)時(shí)互動(dòng)也在扮演重要角色，推動(dòng)人與 AI 的交互方式從文本升級(jí)為音頻、視頻的多模態(tài)。
然而實(shí)時(shí)互動(dòng)究竟是什么?它是如何從 RTC 實(shí)時(shí)音視頻演變來(lái)的?它背后的技術(shù)原理是什么?目前 RTE 已經(jīng)落地了多少個(gè)應(yīng)用場(chǎng)景?未來(lái)在大模型中實(shí)現(xiàn)實(shí)時(shí)語(yǔ)音對(duì)話，還存在哪些技術(shù)難點(diǎn)?
8月27日，由機(jī)械工業(yè)出版社出版，聲網(wǎng)研究院組編的實(shí)時(shí)互動(dòng)行業(yè)書籍《讀懂實(shí)時(shí)互動(dòng)》正式發(fā)售上架，這也是全行業(yè)首本系統(tǒng)介紹實(shí)時(shí)互動(dòng)的技術(shù)型科普?qǐng)D書。
Granite Asia 高級(jí)管理合伙人Jixun Foo、CSDN 創(chuàng)始人兼董事長(zhǎng)蔣濤、五源資本創(chuàng)始合伙人劉芹、36氪創(chuàng)始人兼董事長(zhǎng)劉成城、清華大學(xué)教授李東紅、北京大學(xué)教授馬思偉、西北工業(yè)大學(xué)教授謝磊、IDC中國(guó)副總裁兼首席分析師武連峰等聯(lián)合力薦。
讀懂實(shí)時(shí)互動(dòng) 看這本書就夠了
《讀懂實(shí)時(shí)互動(dòng)》全書詳細(xì)介紹了實(shí)時(shí)互動(dòng)發(fā)展的過去、現(xiàn)在與未來(lái)，涵蓋實(shí)時(shí)互動(dòng)的發(fā)展歷程、概念解析、技術(shù)原理、應(yīng)用場(chǎng)景、大數(shù)據(jù)觀察等，主要分為五個(gè)部分。
● 第一章：回溯與洞察實(shí)時(shí)互動(dòng)的過去、現(xiàn)在與未來(lái)
從1996年全球第一款可撥打電話的 VoIP 電話誕生，到如今人類可以實(shí)現(xiàn)與 AI 的實(shí)時(shí)語(yǔ)音對(duì)話，這中間經(jīng)歷了哪些場(chǎng)景的進(jìn)化，技術(shù)的升級(jí)，企業(yè)的創(chuàng)新?從狼人殺、直播連麥、在線教育、互動(dòng)播客、元宇宙，到今年大火的 AIGC，聲網(wǎng)從底層音視頻服務(wù)提供商的角度為大家解析實(shí)時(shí)互動(dòng)的技術(shù)升級(jí)、行業(yè)變遷之路。
例如實(shí)時(shí)互動(dòng)是如何成為泛娛樂應(yīng)用的標(biāo)配功能?在 RTC 功能的加持下，IoT 設(shè)備如何實(shí)現(xiàn)萬(wàn)物皆可互動(dòng)。從1964年視頻會(huì)議的概念首次出現(xiàn)，到現(xiàn)在開發(fā)者可以在任意 APP 內(nèi)嵌入視頻會(huì)議功能，視頻會(huì)議是如何從單一的通信工具升級(jí)為一種普適能力。
● 第二章：實(shí)時(shí)互動(dòng)與相關(guān)概念辨析
總是說(shuō) RTC 和 RTE，但是你真的懂兩者間的區(qū)別嗎?等等，還有 PaaS、SaaS、IaaS、aPaaS，還在為這些概念分不清楚而絞盡腦汁?
相信讀完這個(gè)章節(jié)，你會(huì)對(duì)這些概念有更清楚、明確的認(rèn)識(shí)。
● 第三章：實(shí)時(shí)音視頻技術(shù)流程解析
重頭戲來(lái)了，作為一個(gè)行業(yè)的入門者，這一章是你了解實(shí)時(shí)音視頻技術(shù)的不二之選。從音視頻采集、前處理、編碼、傳輸，再到音視頻后處理，我們聯(lián)合聲網(wǎng)的多位技術(shù)專家用了較長(zhǎng)篇幅、較多筆墨，一一道來(lái)。
在本章節(jié)，你能看到音視頻前處理中音頻 3A 處理與美聲的最佳實(shí)踐;直播與視頻通話等場(chǎng)景中如何實(shí)現(xiàn)美顏;VP8、VP9、H.264、H.265 以及 AV1等不同的視頻編解碼標(biāo)準(zhǔn)在 RTC 中的應(yīng)用有何不同?等等。
● 第四章：深入剖析近200個(gè)實(shí)時(shí)互動(dòng)應(yīng)用場(chǎng)景
當(dāng)下，AIGC 產(chǎn)業(yè)發(fā)展如火如荼，在實(shí)時(shí)互動(dòng)的加持下，人與AI 交互也從文字升級(jí)為音頻、視頻的多模態(tài)，也涌現(xiàn)出許多對(duì)話式 AI 場(chǎng)景，比如 AI 語(yǔ)音助手、AI 口語(yǔ)老師、AI 游戲NPC、AI 虛擬戀人等。以AI 語(yǔ)音助手為例，通過多模態(tài)大模型+RTC，能夠讓用戶與 AI 助手進(jìn)行1v1實(shí)時(shí)語(yǔ)音對(duì)話。通過 Prompt (AI指令或AI提示詞)為助手設(shè)置豐富的人設(shè)，配合 RTC 的超低延遲傳輸，能夠讓 AI 像真實(shí)的助手一樣互動(dòng)，提供幫助。
在這類對(duì)話式 AI 的場(chǎng)景中，存在多個(gè)技術(shù)難點(diǎn)，例如AI 語(yǔ)音對(duì)話通常延遲較高，很影響對(duì)話體驗(yàn)，非常考驗(yàn) RTC 傳輸?shù)牡脱舆t，通常延時(shí)要做到1-2S內(nèi)，人機(jī)對(duì)話的體驗(yàn)才會(huì)自然、流暢。同時(shí)，在流式對(duì)話中，周圍人聲和噪聲極容易對(duì)人機(jī)對(duì)話造成干擾，需要通過AIVAD、AGC、AINS等音頻功能，有效地抑制周圍噪聲的干擾，并能夠更好地識(shí)別用戶說(shuō)話的完整語(yǔ)義，讓語(yǔ)音識(shí)別更加完整準(zhǔn)確。
除了新涌現(xiàn)的對(duì)話式 AI 場(chǎng)景以及我們耳熟能詳?shù)男銏?chǎng)直播、語(yǔ)聊房、在線K歌等場(chǎng)景，書中還介紹了很多你未曾可知的物聯(lián)網(wǎng)場(chǎng)景，比如平行操控領(lǐng)域的云賽車，云賽車基于云計(jì)算和人工智能，主要用于愛好者和專業(yè)賽車手進(jìn)行遠(yuǎn)程駕駛的賽車比賽。通過云平臺(tái)的控制，駕駛員可以在家中就能參與遠(yuǎn)程的賽車比賽。
在這類場(chǎng)景中，技術(shù)難點(diǎn)主要集中在延時(shí)與傳輸方面，例如賽車速度快，對(duì)延時(shí)要求高，需滿足實(shí)時(shí)畫面低延時(shí)性和傳輸穩(wěn)定性，同時(shí)還需要具備多路高清回傳的技術(shù)能力。
● 第五章：實(shí)時(shí)互動(dòng)大數(shù)據(jù)觀察
全球用戶都在實(shí)時(shí)互動(dòng)?相信作為一個(gè) APP 運(yùn)營(yíng)者，或者關(guān)注本行業(yè)的同仁，對(duì)于實(shí)時(shí)音視頻大數(shù)據(jù)，比如，全球熱門區(qū)域RTC 用量機(jī)型清單、機(jī)型常用網(wǎng)絡(luò)占比，不同機(jī)型對(duì)于音視頻的用量占比、熱門區(qū)域 RTC 用量等等數(shù)據(jù)都有所關(guān)注。另外，音視頻卡頓率對(duì)于用戶使用時(shí)長(zhǎng)與留存有何影響?該如何優(yōu)化?這些內(nèi)容對(duì)于一個(gè) RTC 行業(yè)從業(yè)者都不容錯(cuò)過。
本書還準(zhǔn)備了豐富且實(shí)用的配套資源，包括與實(shí)時(shí)互動(dòng)相關(guān)的圖表、圖譜、行業(yè)發(fā)展報(bào)告和白皮書等電子文檔，絕對(duì)干貨滿滿，物超所值，具體獲取方式為掃描封底的二維碼進(jìn)入本書專屬云盤進(jìn)行下載即可。
《讀懂實(shí)時(shí)互動(dòng)》從何而來(lái)?
在實(shí)時(shí)互動(dòng)產(chǎn)業(yè)環(huán)境高速進(jìn)化和使用場(chǎng)景多元化的背景下，聲網(wǎng)發(fā)現(xiàn)行業(yè)還沒有一本書系統(tǒng)的從發(fā)展歷程、應(yīng)用場(chǎng)景、技術(shù)架構(gòu)等角度全面的介紹實(shí)時(shí)互動(dòng)，只有少部分書從技術(shù)架構(gòu)層面去介紹WebRTC，很多人也不知道 RTC 實(shí)時(shí)音視頻與 RTE 實(shí)時(shí)互動(dòng)的關(guān)系與區(qū)別，因此，全面了解和普及實(shí)時(shí)互動(dòng)在當(dāng)下顯得尤為重要。
今年是聲網(wǎng)成立10周年，聲網(wǎng)作為全球?qū)崟r(shí)互動(dòng)云行業(yè)的開創(chuàng)者，一直以“幫助人們跨越距離實(shí)時(shí)互動(dòng)，如聚一堂”為使命，致力于通過高質(zhì)量的實(shí)時(shí)音視頻技術(shù)服務(wù)，全面提升人們的實(shí)時(shí)互動(dòng)體驗(yàn)，為社交、教育、金融、醫(yī)療等行業(yè)賦能，推動(dòng)經(jīng)濟(jì)、社會(huì)的發(fā)展。聲網(wǎng)有責(zé)任也有義務(wù)去推動(dòng)實(shí)時(shí)互動(dòng)的普及。
對(duì)此，聲網(wǎng)在10周年之際推出《讀懂實(shí)時(shí)互動(dòng)：音視頻技術(shù)、場(chǎng)景及數(shù)據(jù)深度解讀》這本書。本書從發(fā)展歷程、技術(shù)原理、應(yīng)用場(chǎng)景、大數(shù)據(jù)觀察等多個(gè)維度對(duì)實(shí)時(shí)互動(dòng)展開全面的系統(tǒng)性講解。我們希望讀者通過閱讀本書，能夠深入的讀懂實(shí)時(shí)互動(dòng)，并掌握實(shí)時(shí)互動(dòng)相關(guān)的知識(shí)，并推動(dòng)更多的人群加入到這個(gè)行業(yè)中來(lái)，一起推動(dòng)行業(yè)的進(jìn)步。
目前，《讀懂實(shí)時(shí)互動(dòng)》已登陸京東、當(dāng)當(dāng)?shù)雀鞔箅娚唐脚_(tái)及實(shí)體書店，敬請(qǐng)關(guān)注。
