一、解碼數據中臺

01：

解碼數據中臺

與許多新概念誕生之初的境遇一樣，數據中臺目前正處于“定義混亂期”。

有人認為數據中臺是云平臺的一部分，同時包括業務中臺和技術中臺；有人認為數據中臺是數據的共享、整合和深度分析；還有人認為數據中臺是“計算平臺+算法模型+智能硬件”，不僅有云端，還需要智能設備幫企業在終端收集線下數據……從服務方到客戶方，對數據中臺的理解并不相同，如同一千個觀眾心中就有一千個哈姆雷特。

筆者們有幸見證了數據中臺在中國從0到1的全過程，并在其中實踐多年，對于數據中臺的定義，筆者們認為：數據中臺是一套可持續“讓企業的數據用起來”的機制，是一種戰略選擇和組織形式，是依據企業特有的業務模式和組織架構，通過有形的產品和實施方法論支撐，構建的一套持續不斷把數據變成資產并服務于業務的機制。

數據來自于業務，并反哺業務，不斷循環迭代，實現數據可見、可用、可運營，如圖1所示。

通過數據中臺把數據變為一種服務能力，既能提升管理、決策水平，又能直接支撐企業業務。數據中臺不僅僅是技術，也不僅僅是產品，而是一套完整的讓數據用起來的機制。既然是“機制”，就需要從企業戰略、組織、人才等方面來全方位地規劃和配合，而不能僅僅停留在工具和產品層面。

以中國某大型央企集團的數據中臺為例，該集團旗下擁有橫跨金融、地產、零售的多條業務線。要做數字化轉型，不僅是技術問題，更是組織與業務運轉模式改變的問題，需要頂層戰略規劃和組織架構上的改變。這也是為什么各大互聯網公司在宣布中臺戰略時，會伴隨著組織架構調整。

圖1：數據中臺是一套“讓企業的數據用起來”的機制

每家企業的業務與數據狀況各不相同，業務對數據服務的訴求不同，數據中臺的建設將呈現出不同的特點，沒有任何兩家企業的數據中臺是完全相同的。數據中臺的實施不僅需要一整套技術產品，更需要針對不同業務、數據、應用場景的體系化的實施方法和經驗，過程中涉及企業戰略、組織、技術、人才等全面的保障和配合。

02：

數據中臺必備的4個核心能力

早在2015年，數字化領域的領先者已經開始從頂層戰略設計入手，調整組織架構，協調內外部的利益，更新方法論和認知體系，著手構建數據中臺體系。從2018年下半年開始，以數據中臺戰略為核心的變革潮流席卷互聯網行業，然而多數企業對數據中臺內涵的認識仍不夠全面，導致業務落地和商業創新還是困難重重。

數據中臺需要具備數據匯聚整合、數據提純加工、數據服務可視化、數據價值變現4個核心能力，讓企業員工、客戶、伙伴能夠方便地應用數據。

1.匯聚整合

隨著業務的多元化發展，企業內部往往有多個信息部門和數據中心，大量系統、功能和應用重復建設，存在巨大的數據資源、計算資源和人力資源的浪費，同時組織壁壘也導致數據孤島的出現，使得內外部數據難以全局規劃。

數據中臺需要對數據進行整合和完善，提供適用、適配、成熟、完善的一站式大數據平臺工具，在簡便有效的基礎上，實現數據采集、交換等任務配置以及監控管理。

數據中臺必須具備數據集成與運營方面的能力，能夠接入、轉換、寫入或緩存企業內外部多種來源的數據，協助不同部門和團隊的數據使用者更好地定位數據、理解數據。同時數據安全、靈活可用也是絕大多數企業看重的，他們期望數據中臺能協助企業提升數據可用性和易用性，且在系統部署上能支持多種模式（見圖2）。

圖2：企業看重的數據整合和管理能力

2.提純加工

數據就像石油，需要經過提純加工才能使用，這個過程就是數據資產化。

企業需要完整的數據資產體系，圍繞著能給業務帶來價值的數據資產進行建設，推動業務數據向數據資產的轉化。

傳統的數字化建設往往局限在單個業務流程，忽視了多業務的關聯數據，缺乏對數據的深度理解。數據中臺必須連通全域數據，通過統一的數據標準和質量體系，建設提純加工后的標準數據資產體系，以滿足企業業務對數據的需求，如圖所示。

圖3：企業看重的數據提煉和分析加工能力

3.服務可視化

為了盡快讓數據用起來，數據中臺必須提供便捷、快速的數據服務能力，讓相關人員能夠迅速開發數據應用，支持數據資產場景化能力的快速輸出，以響應客戶的動態需求。

多數企業還期待數據中臺可以提供數據化運營平臺，幫助企業快速實現數據資產的可視化分析，提供包括實時流數據分析、預測分析、機器學習等更為高級的服務，為企業數據化運營賦能。

此外，伴隨著人工智能技術的飛速發展，AI的能力也被多數企業期待能應用到數據中臺上，實現自然語言處理等方面的服務。數據洞察來源于分析，數據中臺必須提供豐富的分析功能，數據資產必須服務于業務分析才能解決企業在數據洞察方面的短板，實現與業務的緊密結合（見圖4）。

圖4：企業看重的數據資產服務化能力

4.價值變現

數據中臺通過打通企業數據，提供以前單個部門或者單個業務單元無法提供的數據服務能力，以實現數據的更大價值變現。

企業期待數據中臺能提升跨部門的普適性業務價值能力，更好地管理數據應用，將數據洞察變成直接驅動業務行動的核心動能，跨業務場景推進數據實踐。同時，企業對于如何評估業務行動的效果也十分關注，因為沒有效果評估就難以得到有效反饋，從而難以迭代更新數據應用，難以持續為客戶帶來價值，如圖5所示。

如前所述，數據中臺是一套持續地讓企業的數據用起來的機制，要想把數據用起來，四個核心能力都需要不斷迭代和提升。從戰略上來看，匯聚整合、提純加工、服務可視化和價值變現的能力是數據中臺最核心的競爭力，是企業真正將數據轉化為生產力、實現數字化轉型和商業創新、永葆競爭力的保障，如圖6所示。

▲圖5：企業看重的數據價值變現能力

圖6：數據中臺4大核心能力不可分割

03：

數據中臺VS業務中臺

1.數據中臺與業務中臺的區別

業務中臺更多偏向于業務流程管控，將業務流程中共性的服務抽象出來，形成通用的服務能力。

比如電商平臺，有C2C、B2C、C2B、B2B四種模式，其中訂單、交易、商品管理、購物車等模塊都是有共性的。將這些組件沉淀出來，形成電商行業的業務中臺，再基于這些業務中臺組件的服務能力，可以快速搭建前臺應用，譬如C2C模式的淘寶、B2C模式的天貓、B2B模式的1688、C2B模式的聚劃算，用戶通過這些前臺業務觸點使用業務服務。業務中臺不直接面向終端用戶，但可以極大提升構建面向終端用戶的前臺的速度和效率。

業務中臺是抽象業務流程的共性形成通用業務服務能力，而數據中臺則是抽象數據能力的共性形成通用數據服務能力。

比如，原始業務數據通過資產化服務化，形成客戶微觀畫像服務，這個服務可用于電商平臺的商品推薦，也可能用于地產購房意愿，還可能用于金融領域的信用評級等。同一個服務，在應用層面展現的內容可能不一致，但是底層的數據體系是一致的。數據中臺也將極大提升數據開發的效率，降低開發成本，同時可以讓整個數據場景更為智能化。

2.數據中臺與業務中臺的聯系

如果同時擁有業務中臺和數據中臺，則數據中臺與業務中臺是相輔相成的。業務中臺中沉淀的業務數據進入到數據中臺進行體系化的加工，再以服務化的方式支撐業務中臺上的應用，而這些應用產生的新數據又流轉到數據中臺，形成循環不息的數據閉環，如圖7所示。

圖7：業務中臺與數據中臺的數據應用閉環

業務中臺與數據中臺互相促進，為企業業務的發展、管理者更好的決策提供支持。其中，業務中臺的存在是為了圍繞公司業務運營進行服務，將獲取的多維度數據傳遞給數據中臺，由數據中臺挖掘新的價值反饋給業務中臺，以優化業務運營。

有人可能會有疑惑：數據中臺和業務中臺的建設是否有先后順序？

筆者們以為，這兩者的建設沒有先后之分，主要依據企業的實際情況進行規劃。

從數據層面看，業務中臺只是數據中臺的數據源之一，除此之外，企業還有很多其他的數據來源，如App、小程序、IoT等多源數據，可以將這些數據的價值直接賦能于現有業務或某個創新業務。

從服務層面看，數據中臺的數據服務也不一定經過業務中臺作用于業務，它可能直接被上層應用系統進行封裝，如電商領域的“千人千面”系統。

而從業務中臺的角度來看，如果沒有數據中臺，可以做一些簡單的數據處理，如分析和統計等，而通過數據中臺賦能，則可以使業務系統擁有“全維度”、“智能化”的能力，譬如推薦、圈人等，系統將從信息化升級成為一個智能化的業務系統。”

不僅僅是業務中臺，目前各種中臺層出不窮，但筆者們認為中臺不是平臺，平臺可以有很多，可以有營銷平臺、風控平臺、管理平臺等，但是中臺，一個企業只需要有一個。

現在還有業務中臺、數據中臺之分，但我們預測未來數據與業務會更緊密地結合，完全融為一體，會統一成“企業中臺”。

二、數據中臺建設方法論

圖8：數據是企業的戰略資產

對于圖9所示的數據中臺建設方法論體系，需要從組織、保障、準則、內容、步驟5個層面全面考慮，以確保數據中臺建設和實施能如期完成。

1種戰略行動：把用數據中臺驅動業務發展定位為企業級戰略，全局謀劃。

2項保障條件：通過宣導統一組織間的數據認知，通過流程加速組織變革。

3條目標準則：將數據的可見、可用、可運營3個核心準則始終貫穿于中臺建設的全過程，保障建設在正確軌道上。

4套建設內容：通過技術體系、數據體系、服務體系、運營體系建設保證中臺建設的全面性和可持續性。

5個關鍵步驟：通過理現狀、立架構、建資產、用數據、做運營5個關鍵行動控制中臺建設關鍵節點的質量。

圖9：數據中臺建設方法論體系

01：

1種戰略行動

建設數據中臺是為了支撐企業數字化、智能化升級，通過全局的維度支撐業務，讓企業在市場上更具競爭優勢，因此需要從公司戰略層面來規劃。在中臺建設過程中，會涉及所有相關業態、各塊資源的協調和推進，這都需要站在更高的層面來考慮。當然，具體在實施過程中，為了能快速迭代推進，也會采取從點到面的突破方法，從某個業務或者某個部門開始，初步構建看到成效再逐步推廣，但不影響其作為核心戰略的定位。

數據中臺要求整個企業共用一個數據技術平臺、共建數據體系、共享數據服務能力。

現實中，企業業務發展不均衡，各種部門墻導致共建、共享非常困難。數據中臺不僅是對技術架構的改變，還是對整個企業業務運轉模式的改變，需要企業在組織架構和資源方面給予支持，所以中臺是一個企業的戰略行動，絕非一個項目組或者一個小團隊就能做的。數據中臺牽涉企業的方方面面，你要了解整個企業的業務情況，進行業務梳理，還要有技術的支撐、組織的支撐，否則很難推動落實。

啟動數據中臺一定要有戰略規劃，首先它是“一把手工程”，只有企業的一把手才有這種推力來推動數據中臺的建設。數據中臺的目標是實現企業經營的數據化、精細化、智能化，本質是建設一套可持續讓企業數據用起來的機制。

需要有相應的組織、制度、流程、資源的保障。

02：

2種保障條件

數據中臺是企業級戰略，支撐企業數字化轉型，涉及企業的方方面面，數據中臺戰略的執行必然伴隨著企業組織保障以及整個企業數據意識的提升。

首先，中臺戰略的實施需要有組織保障。

與組織對應的是資源與責任，數據中臺由誰來建、誰來維護、誰來經營、業務需求怎么承接、效果怎么衡量等問題，已經超出IT的范疇，需要企業更高層面對應的組織來保障。圖10所示為中臺組織架構。企業實施數據中臺戰略，必須首先建立起數據中臺團隊，讓他們負責中臺的建設、維護、運營以及業務的承接和中臺服務的推廣等。另外，有了中臺，企業的運轉模式發生了變化，業務、后臺、管理等團隊也需要有對應的組織人員與中臺團隊對接。

圖10：中臺組織架構

其次，中臺戰略的實施需要提升全企業的數據意識。

數據文化是數據中臺戰略不可或缺的部分，數據中臺的推進依賴于數據文化的建立，反過來，企業數據文化的沉淀又是數據中臺建設的產出。大家談論大數據比較多，但經常對什么是大數據感到困惑，在筆者們看來，大數據和當年提的“互聯網+”一樣，是一種考慮問題的思維方式，用互聯網思維、數據思維來發現問題，解決問題。因此，用一句話來概括數據文化：用數據說話。

可以從以下方面來提升數據意識：

（1）數據采集意識

建議盡可能采集一切業務觸點數據，隨著技術的發展，采集的方式也越來越多，比如業務數據、日志數據、埋點數據、網絡數據、傳感器數據等。了解可能的數據采集方式，盡可能把有價值的數據通過技術手段采集下來。

（2）數據標準化意識

之所以需要進行數據治理，是因為數據不標準。如果希望數據發揮價值，就需要保持統一數據標準的意識，只有不同部門、不同業務對于數據的理解都一致了，才能減少因數據口徑不一導致的資源浪費。

（3）數據使用意識

未來數據應用會涉及方方面面，每一個業務環節都有可能用到數據的能力，所以所有企業員工都要掌握數據可能的使用方式，知道在實際業務操作過程中應該怎么使用數據。另外，數據能夠找出人類經驗和人腦無法找出的關聯關系，比如啤酒和尿布的故事，就要求打破原有經驗，用更高的數據意識來發揮數據對于業務的價值。

（4）數據安全意識

還必須具備數據安全意識，有些數據即使對業務有價值，但由于侵犯隱私或者觸犯法律等因素，也不能用，或者需要換一種合法的方式使用。企業員工需要有足夠的數據安全定級、脫敏的意識。

03：

5個關鍵步驟

數據中臺在具體落地實施時，要結合技術、產品、數據、服務、運營等5個方面，逐步開展相關的工作，在構建閉環時會多考慮基礎設施部分的能力。一旦閉環建設完成，就可以在各個環節不斷豐富能力，逐步成為數據應用的完整體系。根據筆者的實踐經驗，數據中臺的建設過程主要通過5個關鍵步驟來完成，如圖11所示。

圖11：中臺建設的5個關鍵步驟

1.理現狀

梳理企業的系統建設、已經擁有的數據以及業務特點等現狀，了解企業對數據中臺的認知，以及相應的數據文化建設情況。點對點地與業務部門、IT部門進行溝通，獲取企業的產品和服務信息，形成業務現狀調研報告，同時了解目前企業以怎樣的組織形態來保證客戶的服務能力。詳細調研目前企業的IT建設情況和業務數據沉淀情況，比如采用的什么數據庫、數據量、數據字段和更新周期等，以便后續更好地設計技術架構。

2.立架構

根據現狀形成整體的規劃藍圖，形成技術產品、數據體系、服務方式以及運營重點等相關的方案，梳理并確立各塊架構。企業信息架構經常談到的4A，即業務架構、技術架構、應用架構和數據架構都需要在這個階段進行確認。這4個架構具體介紹如下：

業務架構：保障數據中臺能夠適用于企業的業務運管模型和流程體系。

技術架構：主要是指技術體系中的數據基座，主要根據業務架構近遠期規劃，對數據的存儲和計算進行統一的選型。

應用架構：特指數據中臺應用架構，后面幾個關鍵步驟的內容所依賴的工具主要由數據中臺作為平臺應用來承接。

組織架構：主要是保證中臺項目的順利落地需要企業考慮的整體組織保障，其中的角色有業務人員、IT人員、供應商和相關負責人。

3.建資產

結合數據架構的整體設計，通過數據資產體系建設方法，幫助企業構建既符合場景需求又滿足數據架構要求的數據資產體系并實施落地。這個步驟涉及數據匯聚、數據倉庫建設、標簽體系建設以及應用數據建設，其中最關鍵的是標簽體系建設。所謂標簽體系是面向具體對象構建的全維度數據標簽，通過標簽體系可以方便地支撐應用，大數據的核心魅力和服務能力主要就體現在標簽體系的服務能力上。

4.用數據

從應用場景出發，將已經構建的數據資產通過服務化方式，應用到具體的業務中，發揮數據價值。將數據資產快速形成服務能力并與業務進行對接，在業務中產生數據價值，實現數據的服務化、業務化。在服務過程中，數據安全是不得不考。

· 組織架構：主要是保證中臺項目的順利落地需要企業考慮的整體組織保障，其中的角色有業務人員、IT人員、供應商和相關負責人。

5.做運營

數據應用于業務后，其產生的價值通過運營的能力不斷優化迭代，并讓更多的人感知到數據的價值點。數據中臺建設是一個持續建設和運營的過程，所謂持續建設和運營是指在架構基本穩定的情況下，不斷循環第3～5步，多方角色會圍繞核心KPI不斷挖掘數據和業務場景的結合點，不斷根據質量和價值兩個點來運營優化。企業通過多個組織之間的配合推進，會逐步形成企業特有的數據文化和認知，這是企業在數字化轉型中非常重要但很難跨越的點。

三、數據中臺架構

通過前面數據中臺建設方法論體系的介紹，了解了數據中臺的定位、保障、目標、內容和步驟。這一節通過對數據中臺架構的介紹，讓大家了解數據中臺總體架構、包含的模塊、模塊之間的關系以及運轉機制。

數據中臺的目標是讓數據持續用起來，通過數據中臺提供的工具、方法和運行機制，把數據變為一種服務能力，讓數據更方便地被業務所使用。圖12所示為數據中臺總體架構圖，數據中臺是在底層存儲計算平臺與上層的數據應用之間的一整套體系。數據中臺屏蔽掉底層存儲平臺的計算技術復雜性，降低對技術人才的需求，讓數據的使用成本更低。通過數據中臺的數據匯聚、數據開發模塊建立企業數據資產。通過資產管理與治理、數據服務把數據資產變為數據服務能力，服務于企業業務。數據安全體系、數據運營體系保障數據中臺可以長期健康、持續運轉。

圖12：數據中臺總體架構圖

1. 數據匯聚

數據匯聚是數據中臺數據接入的入口。數據中臺本身幾乎不產生數據，所有數據來自于業務系統、日志、文件、網絡等，這些數據分散在不同的網絡環境和存儲平臺中，難以利用，很難產生業務價值。數據匯聚是數據中臺必須提供的核心工具，把各種異構網絡、異構數據源的數據能夠方便地采集到數據中臺進行集中存儲，為后續的加工建模做準備。數據匯聚方式一般有數據庫同步、埋點、網絡爬蟲、消息隊列等；從匯聚的時效性來分，有離線批量匯聚和實時采集。

2. 數據開發

通過數據匯聚模塊匯聚到中臺的數據，沒有經過什么處理，基本是按照數據的原始狀態堆砌在一起的，這樣業務還是很難使用。數據開發是一整套數據加工以及加工過程管控的工具，有經驗的數據開發、算法建模人員利用數據加工模塊提供的功能，可以快速把數據加工成對業務有價值的形式，提供給業務使用。數據開發模塊主要是面向開發、分析人員，提供離線、實時、算法開發工具以及任務的管理、代碼發布、運維、監控、告警等一些列集成工具，方便使用，提升效率。

3. 數據資產體系

有了數據匯聚、數據開發模塊，中臺已經具備傳統數倉平臺的基本能力，可以做數據的匯聚以及各種數據開發，就可以建立企業的數據資產體系。之前說數據資產體系是中臺的血肉，開發、管理、使用的都是數據。大數據時代，數據量大，增長快，業務對數據的依賴也會越來越高，必須考慮數據的一致性和可復用性，垂直煙囪式的數據和數據服務的建設方式注定不能長久存在。不同的企業因業務不同導致數據不同，數據建設的內容也是不同的，但是建設方法可以相似，數據要統一建設，筆者建議數據按照貼源數據、統一數倉、標簽數據、應用數據的標準統一建設。

4. 數據資產管理

通過數據資產體系建立起來的數據資產還是一套偏技術的數據體系，業務人員比較難理解。資產管理是以企業全員更好理解的方式，把企業的數據資產展現給企業全員（當然要考慮權限和安全管控），數據資產管理包括對數據資產目錄、元數據、數據質量、數據血緣、數據生命周期等進行管理和展示，以一種更直觀的方式展現企業的數據資產，提升企業的數據意識。

5. 數據服務體系

前面利用數據匯聚、數據開發建設企業數據資產，利用數據管理展現企業的數據資產，但是并沒有發揮數據的價值。數據服務體系就是把數據變為一種服務能力，通過數據服務讓數據參與到業務，激活整個數據中臺，數據服務體系是數據中臺存在的價值所在。企業的數據服務是千變萬化的，中臺產品可以帶有一些標準服務，但是很難滿足企業的服務訴求，大部分服務還是需要通過中臺的能力快速定制。數據中臺的服務模塊并沒有自帶很多服務，而是提供快速的服務生成能力以及服務的管控、鑒權、計量等功能。

6. 運營體系和安全體系

通過前面的數據匯聚、數據開發、數據資產、資產管理、數據服務，已經完成了整個數據中臺的搭建和建設，也已經在業務中發揮一定的價值。運營體系和安全體系是數據中臺得以健康、持續運轉的基礎，如果沒有它們，數據中臺很可能像個一般項目一樣，一期搭建起平臺、建設部分數據、嘗試一兩個應用場景之后而止步，無法正常地持續運營，不能持續發揮數據應用價值。這也就完全達不到建設數據中臺的目標。

四、附錄：6大行業解決方案架構圖

▲地產行業解決方案

▲證券行業解決方案

▲零售行業解決方案

▲制造行業解決方案

▲傳媒行業解決方案

▲檢務行業解決方案

審核編輯 ：李倩