作者：Denodo 亞太地區(qū)數(shù)據(jù)架構(gòu)總監(jiān)Shanmuga Sunthar Muniandy
在關(guān)于企業(yè)數(shù)據(jù)和分析的討論中，數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格是兩個(gè)經(jīng)常被提及的概念。它們雖然表面上看起來(lái)非常相似，但實(shí)際上在信息流的用途上卻大不相同。這種不同也對(duì)當(dāng)今和未來(lái)的業(yè)務(wù)產(chǎn)生越來(lái)越大的影響，因?yàn)樵絹?lái)越多的業(yè)務(wù)要素涉及數(shù)據(jù)集成和管理，如產(chǎn)品交付、客戶參與、業(yè)務(wù)發(fā)展，甚至財(cái)務(wù)會(huì)計(jì)。
Denodo 亞太地區(qū)數(shù)據(jù)架構(gòu)總監(jiān)Shanmuga Sunthar Muniandy
在過(guò)去二十年中，企業(yè)管理數(shù)據(jù)的方式在中心化、去中心化、數(shù)據(jù)庫(kù)化、數(shù)據(jù)倉(cāng)庫(kù)、云數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)湖的循環(huán)之間來(lái)回?fù)u擺。這個(gè)列表還在不斷增加。目前，我們有多種基于云的超大規(guī)模擴(kuò)展平臺(tái) (hyper scaler)，如 Amazon Web Services (AWS)、Microsoft Azure 和 Google Cloud Platform (GCP)，它們都是知名度很高的平臺(tái)。
盡管存在很多選擇，但難題仍然存在：企業(yè)希望數(shù)據(jù)集中在一個(gè)位置，并且易于查找。如何將所有數(shù)據(jù)收集到一個(gè)位置仍是一個(gè)難題。數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格設(shè)計(jì)可以幫助企業(yè)以不同的方式解決這些難題。
對(duì)于當(dāng)今的企業(yè)，找到一個(gè)面向未來(lái)的數(shù)據(jù)框架來(lái)滿足不斷變化的商業(yè)需求至關(guān)重要。今天，讓我們拋開對(duì)數(shù)據(jù)管理的抽象理解，看看如何將數(shù)據(jù)作為創(chuàng)造收入和價(jià)值的新來(lái)源。
去中心化 — 出路
在當(dāng)今環(huán)境中，各個(gè)業(yè)務(wù)部門如孤島般分散運(yùn)營(yíng)，物理方式將數(shù)據(jù)集中到一個(gè)存儲(chǔ)庫(kù)中十分困難。這意味著需要連接到必要數(shù)據(jù)源，其中存儲(chǔ)的數(shù)據(jù)在格式、大小、隱私限制或其他元數(shù)據(jù)特征方面可能大不相同。
通過(guò)邏輯數(shù)據(jù)集成，業(yè)務(wù)用戶可以利用虛擬化來(lái)連接和統(tǒng)一數(shù)據(jù)，并避免出現(xiàn)以物理方式復(fù)制數(shù)據(jù)并進(jìn)行攝取所導(dǎo)致的問(wèn)題。在邏輯數(shù)據(jù)集成架構(gòu)中，用戶并非直接訪問(wèn)數(shù)據(jù)，而是通過(guò)共享語(yǔ)義模型來(lái)訪問(wèn)數(shù)據(jù)。這些解決方案提供數(shù)據(jù)的虛擬化表示形式，并使源數(shù)據(jù)保持不變。這很重要，因?yàn)樵絹?lái)越多的利益相關(guān)者（高管和關(guān)鍵決策者）開始使用源數(shù)據(jù)，以從宏觀上更準(zhǔn)確地了解業(yè)務(wù)。
必須注意，邏輯數(shù)據(jù)編織與數(shù)據(jù)網(wǎng)格是兩種截然不同的架構(gòu)方法。數(shù)據(jù)編織是一種數(shù)據(jù)基礎(chǔ)架構(gòu)堆棧，而數(shù)據(jù)網(wǎng)格則重點(diǎn)面向流程，旨在解決分布式環(huán)境中的數(shù)據(jù)集成、管理和交付問(wèn)題。
用于商業(yè)智能分析的數(shù)據(jù)編織
我們使用一個(gè)日常生活中的類比：就像我們服裝面料中不同的線一樣，數(shù)據(jù)編織包含來(lái)自不同位置且具有不同格式和類型的數(shù)據(jù)，這些數(shù)據(jù)編織在一起。在這種配置中，數(shù)據(jù)仍被理解為需要通過(guò)傳統(tǒng)復(fù)制進(jìn)行物理集成。邏輯數(shù)據(jù)編織將物理數(shù)據(jù)集成替換為邏輯數(shù)據(jù)集成組件。數(shù)據(jù)虛擬化使這一過(guò)程成為可能。這將創(chuàng)建一個(gè)邏輯數(shù)據(jù)編織。
此邏輯數(shù)據(jù)編織使業(yè)務(wù)用戶可以選擇將業(yè)務(wù)語(yǔ)義放在頂層，而不影響底層數(shù)據(jù)源。業(yè)務(wù)決策者和數(shù)據(jù)分析師可以構(gòu)建定制虛擬數(shù)據(jù)存儲(chǔ)，而無(wú)需移動(dòng)底層數(shù)據(jù)源，也不必?fù)?dān)心無(wú)意中修改或損壞底層數(shù)據(jù)源。
對(duì)于企業(yè)領(lǐng)導(dǎo)者而言，他們的數(shù)據(jù)科學(xué)家團(tuán)隊(duì)可以使用其首選商業(yè)智能工具，并以迭代方式構(gòu)建其數(shù)據(jù)模型。這意味著在收集、復(fù)制和清理數(shù)據(jù)以進(jìn)行分析時(shí)，項(xiàng)目管理復(fù)雜性更低。邏輯數(shù)據(jù)編織可使數(shù)據(jù)就緒并可供使用。
Toyota-Astra Motor (TAM) 印度尼西亞分公司目前是印度尼西亞汽車行業(yè)的市場(chǎng)領(lǐng)導(dǎo)者，該企業(yè)將Denodo數(shù)據(jù)虛擬化技術(shù)作為其企業(yè)級(jí)邏輯數(shù)據(jù)編織的核心組件�，F(xiàn)在，高管、數(shù)據(jù)科學(xué)家和業(yè)務(wù)用戶可以輕松使用他們選擇的商業(yè)智能工具。更重要的是，引入邏輯數(shù)據(jù)平臺(tái)不僅確保了能夠集中管理安全策略，還恢復(fù)了對(duì)數(shù)據(jù)的整體信任和信心。
邏輯數(shù)據(jù)編織可以消除數(shù)據(jù)訪問(wèn)和集成的復(fù)雜性，使業(yè)務(wù)用戶能夠做出更及時(shí)的決策，并縮短產(chǎn)品或服務(wù)開發(fā)周期。
可提供宏觀可見性的數(shù)據(jù)網(wǎng)格
數(shù)據(jù)編織是一種集成解決方案，而數(shù)據(jù)網(wǎng)格則是一種組織解決方案，用于在單個(gè)企業(yè)中組織數(shù)據(jù)、個(gè)人訪問(wèn)權(quán)限、流程和工作流。
在數(shù)據(jù)網(wǎng)格中，數(shù)據(jù)所有權(quán)和管理屬于已分配的“數(shù)據(jù)域”，這些數(shù)據(jù)域與企業(yè)部門或職能相對(duì)應(yīng)。每個(gè)數(shù)據(jù)域中的利益相關(guān)者將他們的數(shù)據(jù)打包在一起，作為產(chǎn)品在整個(gè)企業(yè)中交付。企業(yè)的各個(gè)部門都會(huì)創(chuàng)建和維護(hù)自己的數(shù)據(jù)產(chǎn)品 - 包括消費(fèi)者數(shù)據(jù)產(chǎn)品、資產(chǎn)數(shù)據(jù)產(chǎn)品和財(cái)務(wù)數(shù)據(jù)產(chǎn)品等。
當(dāng)企業(yè)的關(guān)鍵領(lǐng)導(dǎo)部門和數(shù)據(jù)域的所有者需要?jiǎng)?chuàng)建自己的“視圖”或數(shù)據(jù)產(chǎn)品時(shí)，授予訪問(wèn)權(quán)限的權(quán)變措施可能復(fù)雜且成本高昂。在這種情況下，邏輯數(shù)據(jù)網(wǎng)格可將業(yè)務(wù)相關(guān)者對(duì)頂視可見性的需求與企業(yè)現(xiàn)有 IT 架構(gòu)設(shè)計(jì)聯(lián)系起來(lái)。
通過(guò)邏輯數(shù)據(jù)網(wǎng)格，企業(yè)可使有數(shù)據(jù)使用需求的用戶、分析師、開發(fā)人員和應(yīng)用程序訪問(wèn)由相關(guān)可用數(shù)據(jù)以有序且安全的方式結(jié)成的網(wǎng)絡(luò)。數(shù)據(jù)虛擬化使企業(yè)能夠繼續(xù)使用現(xiàn)有數(shù)據(jù)資產(chǎn)、服務(wù)和項(xiàng)目管理工作流，而無(wú)需進(jìn)行破壞性權(quán)衡。
邏輯數(shù)據(jù)網(wǎng)格可在互斥層中分別提供商業(yè)智能團(tuán)隊(duì)訪問(wèn)權(quán)限和業(yè)務(wù)元數(shù)據(jù)，可為數(shù)據(jù)域創(chuàng)建新語(yǔ)義層，而不必?fù)?dān)心修改或損壞數(shù)據(jù)源。數(shù)據(jù)虛擬化還是創(chuàng)建新數(shù)據(jù)域的構(gòu)建模塊，這些數(shù)據(jù)域可以打包以供內(nèi)部企業(yè)使用，或者作為面向外部客戶的產(chǎn)品進(jìn)行銷售。
邏輯數(shù)據(jù)編織、數(shù)據(jù)網(wǎng)格，還是兩者兼而有之？
哪種方法更好？這取決于企業(yè)的運(yùn)營(yíng)工作流和規(guī)模。邏輯數(shù)據(jù)編織是一種智能、強(qiáng)大的數(shù)據(jù)集成、管理和交付方法，適用于各種形式和規(guī)模的企業(yè)。數(shù)據(jù)網(wǎng)格架構(gòu)是一種同樣智能的方法，用于組織整個(gè)企業(yè)內(nèi)的數(shù)據(jù)，通常對(duì)于擁有很多業(yè)務(wù)部門和復(fù)雜組織結(jié)構(gòu)的大型企業(yè)更有效。因此，問(wèn)題不在于選擇數(shù)據(jù)編織還是數(shù)據(jù)網(wǎng)格，而在于企業(yè)（根據(jù)其需求）是否需要同時(shí)實(shí)施數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格。
Denodo數(shù)據(jù)虛擬化技術(shù)使企業(yè)通過(guò)邏輯的方式進(jìn)行數(shù)據(jù)集成和管理，并保障數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格兩種方法的優(yōu)勢(shì)。同時(shí)，該技術(shù)還能為企業(yè)提供面向未來(lái)的數(shù)據(jù)框架，滿足并適應(yīng)當(dāng)前和未來(lái)不斷變化的業(yè)務(wù)需求和環(huán)境。
