近日，由開(kāi)放原子開(kāi)源基金會(huì)、X-lab 開(kāi)放實(shí)驗(yàn)室和阿里巴巴開(kāi)源委員會(huì)聯(lián)合出品的《2022 開(kāi)源大數(shù)據(jù)熱力報(bào)告》（以下簡(jiǎn)稱(chēng)“報(bào)告”）在云棲大會(huì)公布。新一代極速全場(chǎng)景 MPP 數(shù)據(jù)庫(kù) StarRocks 榮登報(bào)告Top 30，并作為數(shù)據(jù)查詢(xún)與分析方向增速第一的項(xiàng)目出席了 11 月 17 日的報(bào)告圓桌討論會(huì)。
報(bào)告研究了“后 Hadoop 時(shí)代”最活躍的 102 個(gè)開(kāi)源大數(shù)據(jù)項(xiàng)目，基于 2015 年至今的相關(guān)公開(kāi)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，主要考察項(xiàng)目關(guān)注度、貢獻(xiàn)活躍度、協(xié)作關(guān)聯(lián)度和可持續(xù)發(fā)展的健康度，得出每個(gè)項(xiàng)目的熱力值。熱力值主要基于開(kāi)源項(xiàng)目的每年新增 Star 數(shù)量、新增 Issue 數(shù)量、OpenRank值 等 3 個(gè)關(guān)鍵指標(biāo)加權(quán)計(jì)算而來(lái)。在解決用戶(hù)痛點(diǎn)、持續(xù)關(guān)注開(kāi)發(fā)者體驗(yàn)等核心競(jìng)爭(zhēng)力上的卓越表現(xiàn)，是促使 StarRocks 以?xún)H一歲多的社區(qū)年齡就火速上榜的主要原因。
報(bào)告調(diào)研的開(kāi)源大數(shù)據(jù)項(xiàng)目覆蓋 8 個(gè)類(lèi)別，其中數(shù)據(jù)查詢(xún)與分析連續(xù) 8 年位于熱力值榜首。這一領(lǐng)域是大數(shù)據(jù)兵家多爭(zhēng)之地，競(jìng)爭(zhēng)帶來(lái)的生態(tài)繁榮也促使 StarRocks等項(xiàng)目獲得了更多的技術(shù)熱度。
（數(shù)據(jù)查詢(xún)與分析領(lǐng)域的熱力增速排行）
解決用戶(hù)痛點(diǎn)、持續(xù)關(guān)注開(kāi)發(fā)者體驗(yàn)是熱力核心
把解決用戶(hù)痛點(diǎn)作為核心競(jìng)爭(zhēng)力、持續(xù)關(guān)注開(kāi)發(fā)者體驗(yàn)，是 StarRocks 等上榜 TOP30 開(kāi)源項(xiàng)目的共同特征，這些特征保證它們與時(shí)俱進(jìn)，成為熱力趨勢(shì)中的 “常青樹(shù)”或“黑馬”。
過(guò)去的一年多時(shí)間里，StarRocks 共發(fā)布了超過(guò) 50 個(gè)大小版本，維持著兩個(gè)月一大版本，每周一小版本的速度快速迭代。每一次的產(chǎn)品更新與迭代，均來(lái)自用戶(hù)、社區(qū)開(kāi)發(fā)者和 PMC 們共同的打磨和助力。
以存算分離這一痛點(diǎn)為例，StarRocks PMC 趙恒談到，在與行業(yè)用戶(hù)的深度交互中發(fā)現(xiàn)，當(dāng)前的云原生數(shù)據(jù)倉(cāng)庫(kù)大多沒(méi)有很好處理實(shí)時(shí)的問(wèn)題，StarRocks 的云原生架構(gòu)在傳統(tǒng)的設(shè)計(jì)基礎(chǔ)上結(jié)合自身高性能的實(shí)時(shí)更新存儲(chǔ)引擎，實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)分析和 Lakehouse 的統(tǒng)一 。
（熱力值 TOP30 開(kāi)源項(xiàng)目）
在圓桌中，趙恒從社區(qū)治理和社區(qū)運(yùn)營(yíng)的兩個(gè)維度分享了 StarRocks “極速”提升熱力值的心得方法。
從社區(qū)治理的角度：
一是治理模型和規(guī)則應(yīng)該簡(jiǎn)單，簡(jiǎn)單才能持久地推動(dòng)，StarRocks 只專(zhuān)注在幾個(gè)大方向。一般貢獻(xiàn)者參與社區(qū)會(huì)關(guān)注兩個(gè)核心問(wèn)題：一是他們能為社區(qū)做什么，再來(lái)是他們?cè)趺床拍茏龅较胱龅氖�。因此清楚定義社區(qū)中的角色，像是 Contributor、Committer、PMC 等角色和晉升規(guī)則，讓開(kāi)發(fā)者知道通過(guò)哪些努力能獲得更大的社區(qū)影響力很重要。
二是降級(jí)參與門(mén)檻：維護(hù)良好的文檔、創(chuàng)建新人輔導(dǎo)機(jī)制等都是讓新手能快速加入社區(qū)的關(guān)鍵。StarRocks 社區(qū)之前也舉辦過(guò)好幾期面向新手的 StarRocks 極客營(yíng)活動(dòng)，活動(dòng)中會(huì)有負(fù)責(zé)導(dǎo)師帶著入門(mén)，很多開(kāi)發(fā)者都是借由這系列的活動(dòng)第一次接觸到數(shù)據(jù)庫(kù)的開(kāi)發(fā)工作。
三是吸引更多的高手：社區(qū)里有形形色色的開(kāi)發(fā)者，為了讓開(kāi)發(fā)者能在自己感興趣的領(lǐng)域貢獻(xiàn)價(jià)值和提升自身的技術(shù)能力，StarRocks 創(chuàng)建了 DLA （數(shù)據(jù)湖分析）、Cloud Native、MV 等興趣小組，吸引領(lǐng)域高手和對(duì)此領(lǐng)域有特殊興趣的人來(lái)加入貢獻(xiàn)。
四是多樣的貢獻(xiàn)方式：社區(qū)不止于代碼，一個(gè)社區(qū)健康成長(zhǎng)需要多樣的共建伙伴，因此 StarRocks 也鼓勵(lì)成員積極參與討論、幫助新用戶(hù)更好地使用 StarRocks 或是參與對(duì)外宣講等，并會(huì)對(duì)作出積極貢獻(xiàn)的成員授予社區(qū)大使頭銜。
從社區(qū)運(yùn)營(yíng)的角度：
雖然治理模型和規(guī)則應(yīng)該簡(jiǎn)單，但是社區(qū)運(yùn)營(yíng)推廣應(yīng)該越豐富越好。針對(duì)用戶(hù)進(jìn)行不同維度的賦能，包括產(chǎn)品、案例、技術(shù)、最佳技術(shù)實(shí)踐的分享；與上下游合作伙伴做兼容適配，聯(lián)合推廣實(shí)踐，引發(fā)越來(lái)越多的關(guān)注和使用；而后越來(lái)越多的用戶(hù)自發(fā)提 Issue，自發(fā)推薦給其他用戶(hù)。目前 StarRocks 上千個(gè)用戶(hù)里，有很多都是口口相傳吸引而來(lái)。
基于自身的深度社區(qū)經(jīng)驗(yàn)，StarRocks Active Contributor、Apache Hudi Contributor、華米科技高級(jí)大數(shù)據(jù)工程師徐昱分享了對(duì)活躍度的看法：“技術(shù)本身是為業(yè)務(wù)服務(wù)的。在沒(méi)有破壞整體項(xiàng)目設(shè)計(jì)原則的基礎(chǔ)上，活躍度偏低的社區(qū)可以更積極地反饋用戶(hù) Issue、投入一些合理的PR等，這都能有效提高社區(qū)開(kāi)發(fā)者的貢獻(xiàn)熱情�！�
開(kāi)源大數(shù)據(jù)的“摩爾定律”，極速統(tǒng)一3.0時(shí)代來(lái)臨
報(bào)告發(fā)現(xiàn)，每隔 40 個(gè)月，熱力值會(huì)提升 1 倍，開(kāi)源大數(shù)據(jù)完成一輪技術(shù)迭代升級(jí)，而且技術(shù)周期在加速縮短。在 8 年時(shí)間內(nèi)，發(fā)生了多輪熱力變遷，反映出各項(xiàng)技術(shù)的更新?lián)Q代趨勢(shì)。
“增速代表的是趨勢(shì)，說(shuō)明它是在演繹未來(lái)。比如數(shù)據(jù)湖熱力值增速高，背后的趨勢(shì)是存儲(chǔ)一體化；云原生數(shù)據(jù)集成逐年翻倍，背后是云原生正在大規(guī)模重構(gòu)開(kāi)源技術(shù)棧�！� 趙恒表示，就像 StarRocks 所處的數(shù)據(jù)查詢(xún)與分析板塊，過(guò)去是流批一體，如今是湖倉(cāng)一體，技術(shù)和產(chǎn)業(yè)的共同演進(jìn)下，StarRocks 極速統(tǒng)一 3.0 的重點(diǎn)就是完善湖倉(cāng)融合。
“極速統(tǒng)一”是 StarRocks 于 2020 年基于企業(yè)級(jí)數(shù)據(jù)分析市場(chǎng)需求提出的范式。StarRocks 認(rèn)為，構(gòu)建新一代企業(yè)數(shù)據(jù)驅(qū)動(dòng)體系的核心是：用一套統(tǒng)一的體系來(lái)滿(mǎn)足企業(yè)多種數(shù)據(jù)分析場(chǎng)景的需求，讓更多的企業(yè)成員能夠同時(shí)更快、更靈活、更實(shí)時(shí)地分析數(shù)據(jù)。
權(quán)威機(jī)構(gòu)的研究也印證了 StarRocks 的現(xiàn)實(shí)判斷。IDC 預(yù)測(cè)， 2024 年全球數(shù)倉(cāng)的市場(chǎng)規(guī)模將達(dá)到 297 億美元，2019-2024 年的年復(fù)合增長(zhǎng)率將達(dá)到12%； 2024 年，中國(guó)數(shù)倉(cāng)市場(chǎng)的規(guī)模是 168.5 億元，中國(guó)大數(shù)據(jù)平臺(tái)軟件市場(chǎng)規(guī)�？傮w為 352.9 億元，中國(guó)分析型數(shù)據(jù)庫(kù)的整體市場(chǎng)將達(dá)到 521.4 億元，復(fù)合增長(zhǎng)率為 27.7%。
面對(duì)技術(shù)周期和市場(chǎng)規(guī)模的雙重增速，為了給用戶(hù)提供更快、更靈活、更實(shí)時(shí)的分析體驗(yàn)，StarRocks 在今年 9 月的年度社區(qū)峰會(huì)上發(fā)布極速統(tǒng)一 3.0，以使得用戶(hù)能夠在 StarRocks 上同時(shí)進(jìn)行極速分析與極速數(shù)據(jù)湖分析。StarRocks 認(rèn)為，極速數(shù)據(jù)湖分析就是為用戶(hù)提供性能堪比數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)湖分析。
“我們針對(duì)外表查詢(xún)性能做了優(yōu)化，支持查詢(xún) Parquet 格式文件時(shí)延遲物化，提升小范圍過(guò)濾場(chǎng)景下的數(shù)據(jù)湖查詢(xún)性能。查詢(xún)數(shù)據(jù)湖時(shí)，支持通過(guò)合并小型 I/O 以降低存儲(chǔ)系統(tǒng)的訪(fǎng)問(wèn)延遲，進(jìn)而提升外表查詢(xún)性能。這些都是和社區(qū)用戶(hù)共同開(kāi)發(fā)打磨出來(lái)的�！壁w恒分享道。
關(guān)于 StarRocks
自 2020 年面世以來(lái)，專(zhuān)注于打造世界頂級(jí)的新一代極速全場(chǎng)景 MPP 數(shù)據(jù)庫(kù) StarRocks，幫助企業(yè)建立“極速統(tǒng)一”的數(shù)據(jù)分析新范式，助力企業(yè)全面數(shù)字化經(jīng)營(yíng)。當(dāng)前已經(jīng)幫助騰訊、攜程、順豐、Airbnb 、滴滴、京東、眾安保險(xiǎn)等超過(guò) 170 家大型用戶(hù)構(gòu)建了全新的數(shù)據(jù)分析能力，生產(chǎn)環(huán)境中穩(wěn)定運(yùn)行的 StarRocks 服務(wù)器數(shù)目達(dá)數(shù)千臺(tái)。
2021 年 9 月，StarRocks 源代碼開(kāi)放。從那時(shí)起，StarRocks 的全球社區(qū)飛速成長(zhǎng)，截止2022年11月，StarRocks項(xiàng)目在GitHub已經(jīng)超過(guò)3600顆星，活躍項(xiàng)目貢獻(xiàn)者超過(guò)百位，社群用戶(hù)突破7000人，吸引幾十家國(guó)內(nèi)外行業(yè)頭部企業(yè)參與共建。
