Cloudera：構(gòu)建數(shù)據(jù)治理體系，元數(shù)據(jù)是關(guān)鍵抓手

Cloudera大中華區(qū)技術(shù)總監(jiān) 劉隸放

數(shù)據(jù)是AI驅(qū)動創(chuàng)新的命脈。當(dāng)前，各類企業(yè)都在加大對數(shù)據(jù)保護(hù)、清洗和可訪問性的投入。然而，在專注于從客戶和平臺收集珍貴原始數(shù)據(jù)的同時，很多企業(yè)忽視了元數(shù)據(jù)（Metadata）——一種關(guān)于數(shù)據(jù)的數(shù)據(jù)。Gartner《2023年數(shù)字時代元數(shù)據(jù)管理》報告指出，60%的企業(yè)承認(rèn)不了解其關(guān)鍵數(shù)據(jù)的存儲位置。根據(jù)麥肯錫最新調(diào)查顯示，許多中國企業(yè)在生成式AI的技術(shù)落地上缺乏明確的數(shù)據(jù)策略，不清楚應(yīng)收集和處理哪些數(shù)據(jù)，常常導(dǎo)致項目陷入遲滯。

而元數(shù)據(jù)是企業(yè)做出明智決策的重要依據(jù)。以購買餐食為例，消費者需要了解食材成分、營養(yǎng)價值、新鮮度和安全標(biāo)準(zhǔn)等信息，才能做出明智選擇。同理，企業(yè)需要掌握數(shù)據(jù)訪問權(quán)限、創(chuàng)建日期、來源、敏感類別和使用方式等信息，才能提升數(shù)字基礎(chǔ)設(shè)施與管理水平。反之，如果忽視元數(shù)據(jù)，企業(yè)可能會因缺乏分類和追蹤而導(dǎo)致效率低下、錯失機(jī)遇，甚至引發(fā)安全和合規(guī)問題。

為規(guī)避這些風(fēng)險，企業(yè)必須將元數(shù)據(jù)治理作為整體數(shù)據(jù)戰(zhàn)略的核心組成部分。

元數(shù)據(jù)治理已成為企業(yè)“剛需”

無論是追蹤數(shù)據(jù)流動的跨系統(tǒng)血緣，還是提供列級洞察的內(nèi)部系統(tǒng)血緣，或是呈現(xiàn)數(shù)據(jù)完整歷程的端到端血緣，完善的元數(shù)據(jù)管理都需要依賴強(qiáng)大的數(shù)據(jù)血緣。在金融、醫(yī)療等高度重視合規(guī)性、可審計性和安全性的行業(yè)，這種追溯能力至關(guān)重要。

例如在一家每天要處理數(shù)十億美元資產(chǎn)和數(shù)百萬筆跨市場交易的銀行，元數(shù)據(jù)可確保每筆交易都附有時間戳、貨幣詳情和數(shù)據(jù)標(biāo)記，同時追溯金融數(shù)據(jù)的來源、修改記錄及司法合規(guī)性。金融服務(wù)商需要三天才能完成報告數(shù)據(jù)來源映射。而在使用數(shù)據(jù)血緣與目錄平臺后，該流程縮短至兩小時，確保了跨銀行渠道的實時可信數(shù)據(jù)交付。缺乏規(guī)范的元數(shù)據(jù)管理可能導(dǎo)致收入確認(rèn)錯誤、審計線索缺失和數(shù)據(jù)不一致，不僅會招致監(jiān)管處罰，還需要企業(yè)投入大量時間重建財務(wù)報表。

元數(shù)據(jù)管理是數(shù)據(jù)治理的核心，因為它解決了數(shù)據(jù)治理計劃需要應(yīng)對的許多核心問題，包括標(biāo)準(zhǔn)化缺失、數(shù)據(jù)所有權(quán)模糊、數(shù)據(jù)質(zhì)量規(guī)則未明確定義等。

加強(qiáng)元數(shù)據(jù)管理并全面掌控數(shù)據(jù)資產(chǎn)雖有難度，但成效顯著。元數(shù)據(jù)管理的自動化是構(gòu)建統(tǒng)一數(shù)據(jù)視圖的關(guān)鍵，統(tǒng)一的元數(shù)據(jù)策略能夠更快地識別可信數(shù)據(jù)、保障安全性、增強(qiáng)治理力度并提供覆蓋所有數(shù)據(jù)資產(chǎn)的統(tǒng)一視圖。

通過集中管理元數(shù)據(jù)和實現(xiàn)元數(shù)據(jù)在不同系統(tǒng)中的一致應(yīng)用，Cloudera的共享數(shù)據(jù)體驗（SDX）等功能為企業(yè)提供有力支持。借助精細(xì)化訪問控制機(jī)制，企業(yè)能夠控制元數(shù)據(jù)的查看、修改和共享權(quán)限，防止敏感信息受到未經(jīng)授權(quán)的訪問和內(nèi)部威脅。

此外，元數(shù)據(jù)分類的自動化消除了人工干預(yù)，減少了不一致性，并提高了效率。隨著企業(yè)越來越多的在混合云和多云環(huán)境中運營，采用整體元數(shù)據(jù)管理而非分散的孤島式管理，有助于企業(yè)保持?jǐn)?shù)據(jù)完整性并做出更明智的決策。

元數(shù)據(jù)是AI的神經(jīng)系統(tǒng)

AI模型需要大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，但若缺乏元數(shù)據(jù)，則無法對這些信息進(jìn)行符合上下文的處理或分類。在生成式AI領(lǐng)域，根據(jù)數(shù)據(jù)源、質(zhì)量、格式及使用權(quán)限對數(shù)據(jù)集進(jìn)行分類，有助于模型生成相關(guān)的洞察和結(jié)果。元數(shù)據(jù)在數(shù)據(jù)驗證、偏差檢測和質(zhì)量控制方面發(fā)揮著重要作用，它不僅能提供相關(guān)的答案，還能確保答案的準(zhǔn)確性。

在醫(yī)療領(lǐng)域，元數(shù)據(jù)除了用于整理病歷外，還能幫助醫(yī)院制定更智能、快速和個性化的治療方案，從而提升醫(yī)療服務(wù)標(biāo)準(zhǔn)。通過為治療結(jié)果、藥物相互作用等所有環(huán)節(jié)添加標(biāo)簽，元數(shù)據(jù)可以幫助醫(yī)生做出更精準(zhǔn)的決策，從而降低病人的再入院率、實現(xiàn)疾病的早期檢測并優(yōu)化資源配置。默克公司使用Cloudera安全連接了5萬臺醫(yī)療設(shè)備，為醫(yī)生提供實時洞察，確�；颊攉@得更優(yōu)質(zhì)、可靠的治療。在分秒必爭的醫(yī)療場景中，元數(shù)據(jù)將被動醫(yī)療體系轉(zhuǎn)變?yōu)橹鲃宇A(yù)防機(jī)制，有效減少了住院需求。

通過提高數(shù)據(jù)可見性加強(qiáng)控制

元數(shù)據(jù)已成為企業(yè)不容忽視的一個方面。企業(yè)需要重視元數(shù)據(jù)管理放并全面掌握數(shù)據(jù)情況，進(jìn)而充分挖掘數(shù)據(jù)資產(chǎn)潛力，確保數(shù)據(jù)安全、合規(guī)且隨時可用于戰(zhàn)略決策。隨著AI驅(qū)動的洞察成為常態(tài)，將元數(shù)據(jù)治理融入整體數(shù)據(jù)戰(zhàn)略的企業(yè)將更有可能獲得成功。