數(shù)據(jù)網(wǎng)格作為一種新的數(shù)據(jù)管理方法，在業(yè)界越來越受到關(guān)注。然而在興奮之余，人們對其復(fù)雜性以及能否兌現(xiàn)承諾表示擔(dān)憂。本文將深入探討數(shù)據(jù)網(wǎng)格的復(fù)雜性，解決圍繞其是否過時存在的巨大爭議，并探索它所帶來的機遇和挑戰(zhàn)。此外，還將討論該行業(yè)可能缺少的內(nèi)容以及可能阻礙其成功實施的潛在障礙。

數(shù)據(jù)網(wǎng)格：民主化和可擴展數(shù)據(jù)架構(gòu)的范例

經(jīng)常使用的“數(shù)據(jù)網(wǎng)格”這一術(shù)語是什么意思，為什么要考慮實現(xiàn)數(shù)據(jù)網(wǎng)格？

類似于軟件工程團(tuán)隊如何從單片應(yīng)用程序過渡到微服務(wù)架構(gòu)，數(shù)據(jù)網(wǎng)格代表了微服務(wù)的數(shù)據(jù)平臺。數(shù)據(jù)網(wǎng)格的靈感來自軟件建模專家Eric Evans的“領(lǐng)域驅(qū)動設(shè)計”理論，該理論主張與特定業(yè)務(wù)領(lǐng)域保持一致的靈活和可擴展的軟件開發(fā)，它提供了一種類似的方法。

與傳統(tǒng)的單片式數(shù)據(jù)基礎(chǔ)設(shè)施不同，傳統(tǒng)的單片數(shù)據(jù)基礎(chǔ)設(shè)施在集中的數(shù)據(jù)湖中處理數(shù)據(jù)消耗、存儲、轉(zhuǎn)換和輸出，數(shù)據(jù)網(wǎng)格支持分布式、特定領(lǐng)域的數(shù)據(jù)消費者。它將“數(shù)據(jù)視為產(chǎn)品”，每個領(lǐng)域都負(fù)責(zé)管理自己的數(shù)據(jù)管道。

關(guān)鍵是，根據(jù)數(shù)據(jù)網(wǎng)格原則，領(lǐng)域團(tuán)隊承擔(dān)底層平臺或數(shù)據(jù)存儲層的所有權(quán)，這引發(fā)了一些爭議。這些領(lǐng)域通過通用互操作層連接起來，遵循一致的語法和數(shù)據(jù)標(biāo)準(zhǔn)。雖然可能會出現(xiàn)一些基礎(chǔ)設(shè)施重復(fù)，但某些團(tuán)隊已經(jīng)采用了更集中的平臺，從而產(chǎn)生混合的“數(shù)據(jù)網(wǎng)格”結(jié)構(gòu)。

在自助服務(wù)商業(yè)智能時代，許多企業(yè)宣稱自己是數(shù)據(jù)優(yōu)先的組織，這有些令人尷尬。然而，并不是所有這些公司都優(yōu)先考慮其數(shù)據(jù)架構(gòu)的民主化和可擴展性。

行業(yè)領(lǐng)先的企業(yè)認(rèn)識到數(shù)據(jù)的變革潛力。例如，一些首席執(zhí)行官成為Snowflake和Looker等技術(shù)的早期采用者，或者首席數(shù)據(jù)官(CDO)領(lǐng)導(dǎo)團(tuán)隊進(jìn)行了關(guān)于數(shù)據(jù)管理最佳實踐的培訓(xùn)，而首席技術(shù)官(CTO)則投資了專門的數(shù)據(jù)工程團(tuán)隊。盡管如此，數(shù)據(jù)團(tuán)隊都渴望一種更簡單的方法來滿足企業(yè)不斷增長的需求，從處理連續(xù)的特殊查詢到通過集中的提取、轉(zhuǎn)換、加載(ETL)管道管理不同的數(shù)據(jù)源。

在追求民主化和可擴展性的基礎(chǔ)上，人們意識到，當(dāng)前的數(shù)據(jù)架構(gòu)可能難以滿足企業(yè)不斷發(fā)展的需求，通常僅限于孤立的數(shù)據(jù)倉庫或?qū)崟r流功能有限的數(shù)據(jù)湖。

幸運的是，有一種解決方案可以為數(shù)據(jù)管理提供一種全新的視角——數(shù)據(jù)網(wǎng)格，這是一種在整個行業(yè)掀起波瀾的架構(gòu)范式。

值得注意的是，數(shù)據(jù)網(wǎng)格經(jīng)常與“數(shù)據(jù)結(jié)構(gòu)”這一術(shù)語混淆，“數(shù)據(jù)結(jié)構(gòu)”是由Forrester公司分析師在世紀(jì)之交提出的。數(shù)據(jù)結(jié)構(gòu)包含由虛擬管理層鏈接的現(xiàn)代數(shù)據(jù)平臺組成的各種異構(gòu)解決方案。然而，它并沒有像數(shù)據(jù)網(wǎng)格那樣強調(diào)去中心化和領(lǐng)域驅(qū)動的架構(gòu)。

數(shù)據(jù)網(wǎng)格的消亡是炒作還是現(xiàn)實？

在社交媒體討論領(lǐng)域，已經(jīng)有人猜測數(shù)據(jù)網(wǎng)格將會消亡。數(shù)據(jù)網(wǎng)格是由ThoughtWorks公司前首席顧問Zhamak Dehghani于2019年提出的，他提出了一種通過分布式架構(gòu)管理分析數(shù)據(jù)的新方法。通過使最終用戶能夠直接訪問和查詢原始位置的數(shù)據(jù)，數(shù)據(jù)網(wǎng)格消除了在數(shù)據(jù)湖或數(shù)據(jù)倉庫中進(jìn)行集中的需要。在這種模式下，數(shù)據(jù)被視為一種產(chǎn)品，其所有權(quán)歸屬于最密切參與其消費和理解的團(tuán)隊。

引入這個概念是為了解決企業(yè)所面臨的挑戰(zhàn)，這些挑戰(zhàn)依賴于集中式數(shù)據(jù)平臺架構(gòu)，提供可擴展的解決方案，并通過及時決策和為民主化數(shù)據(jù)擁有數(shù)據(jù)產(chǎn)品的交付。數(shù)據(jù)網(wǎng)格解決了與大規(guī)模數(shù)據(jù)可用性和可訪問性相關(guān)的問題，使業(yè)務(wù)用戶和數(shù)據(jù)科學(xué)家能夠從不同的數(shù)據(jù)源中提取、分析和操作有價值的見解，無論其位置如何。此外，它不需要專業(yè)數(shù)據(jù)團(tuán)隊的持續(xù)干預(yù)。

雖然數(shù)據(jù)網(wǎng)格是一個相對較新的概念，但圍繞其消亡的討論已經(jīng)引起了人們的關(guān)注。以下深入探討導(dǎo)致這樣的懷疑日益增長背后的原因。

Cloudera數(shù)據(jù)平臺促進(jìn)了數(shù)據(jù)網(wǎng)格架構(gòu)的關(guān)鍵原則，即領(lǐng)域所有權(quán)、數(shù)據(jù)即產(chǎn)品、自助服務(wù)平臺和聯(lián)合治理。

數(shù)據(jù)網(wǎng)格的復(fù)雜性：超越技術(shù)層面

數(shù)據(jù)網(wǎng)格不僅僅是技術(shù)方面的問題；它包含了數(shù)據(jù)管理的核心原則。它包括按領(lǐng)域管理數(shù)據(jù)、將數(shù)據(jù)視為產(chǎn)品、啟用自助服務(wù)數(shù)據(jù)平臺以及實現(xiàn)聯(lián)合計算治理。這些支柱構(gòu)成了數(shù)據(jù)網(wǎng)格的基礎(chǔ)，并塑造了其整體價值主張。

面向領(lǐng)域的數(shù)據(jù)所有者和管道：在數(shù)據(jù)網(wǎng)格架構(gòu)中，數(shù)據(jù)所有權(quán)在負(fù)責(zé)將其數(shù)據(jù)作為產(chǎn)品提供的領(lǐng)域數(shù)據(jù)所有者之間聯(lián)合起來。這種方法支持跨不同位置的分布式數(shù)據(jù)之間的通信和協(xié)作。

雖然數(shù)據(jù)基礎(chǔ)設(shè)施負(fù)責(zé)為每個領(lǐng)域提供必要的解決方案來處理數(shù)據(jù)，但領(lǐng)域本身管理數(shù)據(jù)的攝取、清理和聚合，以生成業(yè)務(wù)智能應(yīng)用程序可用的資產(chǎn)。每個域都擁有自己的提取、轉(zhuǎn)換、加載(ETL)管道，而一組適用于所有領(lǐng)域的功能處理原始數(shù)據(jù)的存儲、編目和訪問控制。一旦數(shù)據(jù)被提供給特定的領(lǐng)域并被轉(zhuǎn)換，領(lǐng)域所有者就可以利用它來滿足他們的分析或操作需求。數(shù)據(jù)沿襲在理解整個組織的消費模式和支持向更分散的結(jié)構(gòu)過渡方面起著至關(guān)重要的作用。

自助服務(wù)功能：數(shù)據(jù)網(wǎng)格利用面向領(lǐng)域的設(shè)計原則提供自助數(shù)據(jù)平臺，允許用戶抽象技術(shù)復(fù)雜性并專注于其特定的數(shù)據(jù)用例。數(shù)據(jù)網(wǎng)格將與領(lǐng)域無關(guān)的數(shù)據(jù)基礎(chǔ)設(shè)施功能集中到一個共享平臺中，以解決在每個領(lǐng)域中維護(hù)數(shù)據(jù)管道和基礎(chǔ)設(shè)施所需的重復(fù)工作和技能問題。這個中央平臺處理數(shù)據(jù)管道引擎、存儲和流基礎(chǔ)設(shè)施。與此同時，每個領(lǐng)域都利用這些組件來運行定制的ETL管道，提供必要的支持來服務(wù)于它們的數(shù)據(jù)，同時保持流程的自主性。

通信的互操作性和標(biāo)準(zhǔn)化：每個領(lǐng)域的核心是一套通用的數(shù)據(jù)標(biāo)準(zhǔn)，可在需要時促進(jìn)領(lǐng)域之間的協(xié)作。由于某些數(shù)據(jù)(包括原始數(shù)據(jù)源和經(jīng)過清理、轉(zhuǎn)換和服務(wù)的數(shù)據(jù)集)對多個領(lǐng)域變得有價值，因此跨領(lǐng)域協(xié)作是必不可少的。數(shù)據(jù)網(wǎng)格通過標(biāo)準(zhǔn)化格式、治理、可發(fā)現(xiàn)性和元數(shù)據(jù)字段以及其他數(shù)據(jù)特性來實現(xiàn)這一點。此外，與單個微服務(wù)類似，每個數(shù)據(jù)域定義并同意它們向其消費者保證的服務(wù)水平協(xié)議(SLA)和質(zhì)量指標(biāo)。

面向領(lǐng)域的數(shù)據(jù)治理：在數(shù)據(jù)網(wǎng)格架構(gòu)中實施面向領(lǐng)域的數(shù)據(jù)治理方法，以確保符合全球和監(jiān)管約束和政策。這種方法利用聯(lián)合服務(wù)來保護(hù)企業(yè)的數(shù)據(jù)和系統(tǒng)。

聯(lián)合治理模型允許實施數(shù)據(jù)保護(hù)措施，同時適應(yīng)每個領(lǐng)域的獨特需求。它確保根據(jù)適用的法規(guī)和策略保護(hù)數(shù)據(jù)和系統(tǒng)，為在域級別管理數(shù)據(jù)隱私、安全性和遵從性提供框架。

通過實現(xiàn)聯(lián)合治理，數(shù)據(jù)網(wǎng)格架構(gòu)促進(jìn)了數(shù)據(jù)治理的結(jié)構(gòu)化和協(xié)調(diào)的方法，支持對數(shù)據(jù)資產(chǎn)的有效管理，同時保持對相關(guān)法規(guī)和策略的遵從性。

對領(lǐng)域名稱所有權(quán)的關(guān)注

數(shù)據(jù)網(wǎng)格的一個關(guān)鍵問題在于領(lǐng)域所有權(quán)的概念。雖然讓各個業(yè)務(wù)領(lǐng)域擁有和管理自己的數(shù)據(jù)似乎很有吸引力，但這也引發(fā)了潛在的孤島和碎片化問題。在處理企業(yè)范圍的數(shù)據(jù)治理或主數(shù)據(jù)管理時，領(lǐng)域的概念可能導(dǎo)致數(shù)據(jù)視圖的不完整。在授權(quán)領(lǐng)域所有者和確保跨域數(shù)據(jù)協(xié)作之間取得平衡是一個需要解決的挑戰(zhàn)。

數(shù)據(jù)網(wǎng)格的模糊參數(shù)

理解數(shù)據(jù)網(wǎng)格的一個重大挑戰(zhàn)是需要特定的指導(dǎo)方針和參數(shù)。圍繞數(shù)據(jù)網(wǎng)格使用的語言通常圍繞著新的思維方式和不同的數(shù)據(jù)處理方式。雖然提到了聯(lián)合數(shù)據(jù)存儲和數(shù)據(jù)虛擬化等概念，但缺乏明確的實現(xiàn)指南。這種模糊性使得企業(yè)在采用數(shù)據(jù)網(wǎng)格時難以彌合理論與實踐之間的差距。

數(shù)據(jù)網(wǎng)格“消亡”背后的現(xiàn)實

2022年6月，調(diào)研機構(gòu)Gartner公司發(fā)布了《2022年炒作周期數(shù)據(jù)管理》，該報告根據(jù)采用水平和預(yù)計的主流采用時間表評估了技術(shù)的成熟度。這個周期有助于數(shù)據(jù)和分析領(lǐng)導(dǎo)者識別有前途的技術(shù)，并確定評估和采用的合適時機。

根據(jù)這份報告，數(shù)據(jù)網(wǎng)格目前處于“創(chuàng)新觸發(fā)”階段，尚未達(dá)到“膨脹預(yù)期的峰值”。根據(jù)預(yù)測，它將在達(dá)到平臺期之前過時。

Gartner公司的分析師Mark Beyer、Ehtisham Zaidi和Robert Thanaraj量化了數(shù)據(jù)網(wǎng)格的感知效益，并指出其在目標(biāo)受眾中的市場滲透率也相對較低，在1%到5%之間。圍繞數(shù)據(jù)網(wǎng)格的炒作源于聲稱它解決了集中式數(shù)據(jù)倉庫、數(shù)據(jù)湖和數(shù)據(jù)中心的挑戰(zhàn)。

為什么會發(fā)生這種情況?

Gartner公司解釋說，數(shù)據(jù)網(wǎng)格解決方案利用業(yè)務(wù)應(yīng)用程序以去中心化的方式捕獲和分發(fā)數(shù)據(jù)。在通常情況下，當(dāng)集中式方法未能產(chǎn)生令人滿意的結(jié)果時，通常是由于實施和交付方面的挑戰(zhàn)而采用分散的數(shù)據(jù)管理方法。然而，隨著支持集中式數(shù)據(jù)訪問的技術(shù)和解決方案的進(jìn)步，像數(shù)據(jù)網(wǎng)格這樣的分布式方法預(yù)計將在企業(yè)IT中失去流行性。

在這份報告發(fā)表之后，行業(yè)專家對Gartner公司的觀察結(jié)果表示支持和反對。Data Mesh Radio主持人Scott Hirlman批評Gartner公司對供應(yīng)商和技術(shù)的偏見，聲稱數(shù)據(jù)網(wǎng)格不太可能過時。

Gartner公司前分析師、現(xiàn)任Profisee公司數(shù)據(jù)策略主管Malcolm Hawker為Gartner公司的觀點進(jìn)行了辯護(hù)。他澄清道，Gartner公司并不認(rèn)為數(shù)據(jù)網(wǎng)格目前已經(jīng)過時，與其相反，這張圖表預(yù)示著未來的過時。Hawker表達(dá)了Gartner公司的理念，即數(shù)據(jù)結(jié)構(gòu)將成為主導(dǎo)的數(shù)據(jù)管理架構(gòu)模式，最終使數(shù)據(jù)網(wǎng)格過時。

數(shù)據(jù)網(wǎng)格和核心原理與技術(shù)的融合

業(yè)界廠商正在努力解決如何將數(shù)據(jù)網(wǎng)格的核心原則和理論與技術(shù)和流程的實際方面相結(jié)合的問題。雖然將數(shù)據(jù)視為產(chǎn)品并接受以領(lǐng)域為中心的所有權(quán)的想法很有吸引力，但實際的實現(xiàn)和標(biāo)準(zhǔn)化提出了重大挑戰(zhàn)。企業(yè)必須在采用數(shù)據(jù)網(wǎng)格原則和確保他們擁有正確的工具、技術(shù)和流程來有效地支持它之間找到平衡。

從過去的錯誤中吸取教訓(xùn)

數(shù)據(jù)網(wǎng)格是分散數(shù)據(jù)管理的眾多嘗試之一。根據(jù)以往的經(jīng)驗，例如從集中式數(shù)據(jù)倉庫到以領(lǐng)域為中心的方法的轉(zhuǎn)換都面臨著挑戰(zhàn)。必須從過去的錯誤中吸取教訓(xùn)，并評估技術(shù)的進(jìn)步和日益加深的理解是否能夠克服以前面臨的障礙。

需要明確和解決棘手的問題

為了確保數(shù)據(jù)網(wǎng)格的成功，需要明確其原則、治理模型和跨功能數(shù)據(jù)的處理。需要解決一些棘手的問題，例如如何處理跨多個領(lǐng)域域的關(guān)鍵數(shù)據(jù)域(如客戶或產(chǎn)品)。有了這些問題令人滿意的答案，數(shù)據(jù)網(wǎng)格的實用性和有效性就有了信心。

可觀察性在克服數(shù)據(jù)網(wǎng)格挑戰(zhàn)中的作用

數(shù)據(jù)網(wǎng)格架構(gòu)概念為數(shù)據(jù)行業(yè)帶來了令人興奮的機會和關(guān)注。一些個人和組織擔(dān)心與數(shù)據(jù)網(wǎng)格中自主性和民主化增加相關(guān)的潛在風(fēng)險，特別是在數(shù)據(jù)發(fā)現(xiàn)、健康和管理方面。

然而，更仔細(xì)的研究表明，數(shù)據(jù)網(wǎng)格架構(gòu)實際上通過強制要求可擴展和自助數(shù)據(jù)可觀察性來解決這些問題。數(shù)據(jù)可觀察性對于領(lǐng)域在數(shù)據(jù)網(wǎng)格框架內(nèi)真正擁有其數(shù)據(jù)變得至關(guān)重要。這種自助功能包括各種功能和標(biāo)準(zhǔn)化，包括靜態(tài)和動態(tài)數(shù)據(jù)的數(shù)據(jù)加密、數(shù)據(jù)產(chǎn)品的版本控制、數(shù)據(jù)產(chǎn)品架構(gòu)、數(shù)據(jù)產(chǎn)品發(fā)現(xiàn)和目錄注冊、數(shù)據(jù)治理和標(biāo)準(zhǔn)化、數(shù)據(jù)產(chǎn)品生產(chǎn)、監(jiān)控和警報的數(shù)據(jù)沿襲、數(shù)據(jù)產(chǎn)品日志，以及衡量數(shù)據(jù)產(chǎn)品質(zhì)量的指標(biāo)。

當(dāng)這些功能和標(biāo)準(zhǔn)化結(jié)合在一起時，就建立了一個健壯的可觀察性層。數(shù)據(jù)網(wǎng)格范式強調(diào)了單個領(lǐng)域處理數(shù)據(jù)可觀察性的標(biāo)準(zhǔn)化和可擴展方法的重要性，使團(tuán)隊能夠解決關(guān)鍵問題，例如數(shù)據(jù)新鮮度、數(shù)據(jù)完整性、跟蹤模式更改以及理解上游和下游管道的依賴關(guān)系。

展望未來，數(shù)據(jù)網(wǎng)格將會繼續(xù)發(fā)展，數(shù)據(jù)網(wǎng)格的創(chuàng)始人Zhamak Dehghani宣布成立Nextdata公司在數(shù)據(jù)行業(yè)掀起了波瀾。這家初創(chuàng)公司旨在通過提供對數(shù)據(jù)產(chǎn)品內(nèi)置信任的愉快體驗，增強數(shù)據(jù)開發(fā)人員、用戶和所有者的能力。

隨著數(shù)據(jù)網(wǎng)格趨勢的發(fā)展，必須在實現(xiàn)完全去中心化的數(shù)據(jù)網(wǎng)格方法和在其架構(gòu)中納入卓越中心的元素之間找到平衡。為了探索對數(shù)據(jù)網(wǎng)格的進(jìn)一步見解和觀點，可以深入研究Zhamak Dehghani、Sven Balnojan的《數(shù)據(jù)網(wǎng)格在行動》一書、Kevin Petrie的《數(shù)據(jù)網(wǎng)：重新思考數(shù)據(jù)集成》和Joe Gleinser的《你的應(yīng)用程序應(yīng)該考慮數(shù)據(jù)網(wǎng)連接嗎?》中的智慧和知識。

結(jié)論

數(shù)據(jù)網(wǎng)格為數(shù)據(jù)管理提出了一個有趣的概念，但在真正站穩(wěn)腳跟之前，它面臨著巨大的挑戰(zhàn)。該行業(yè)需要解決領(lǐng)域所有權(quán)問題，定義更精確的參數(shù)，并找到將核心原則與技術(shù)相結(jié)合的方法。通過從過去的經(jīng)驗中學(xué)習(xí)并提出棘手的問題，可以駕馭數(shù)據(jù)網(wǎng)格的復(fù)雜性，并確定其在數(shù)據(jù)管理策略中的可行性。 審核編輯：彭菁