前言

人工智能的誕生可以追溯到上世紀50年代，在達特茅斯會議上，麥卡錫提出了AI的概念，但在初期的熱度過后，人工智能的發展經歷了多次低谷，直到從90年代中末期開始至今的這近二十年的時間里，人工智能才真正迎來了黃金時期。尤其是在近10年來，各方面因素都推動其不斷發展：理論上，機器學習，尤其是統計學習和神經網絡理論不斷突破，效果顯著；外部環境上，軟硬件技術的進步為人工智能模型的實現提供了足夠的計算能力；此外，極為重要的一個因素就是在數據方面，大數據技術的發展使人工智能終于擺脫了數據的桎梏，可以在充足的樣本基礎上提升模型的能力。可以說，現在各領域智能模型的研發絕大多數都離不開大數據技術的支持。

反過來看，人工智能對大數據技術同樣有著極為重要的作用。一方面，對于利用大數據技術收集到的數據需要通過一些智能分析過程才能發現其中的價值；另一方面，通過對已有數據的智能分析，我們可以推導出更多的數據特征，甚至進一步指導數據生產的方向。所以在今天我們談起大數據的利用，都不可避免地涉及到人工智能、機器學習等概念。

敏捷大數據平臺棧作為一個實時數據基礎設施平臺，是對大數據理論與技術進一步發展的成果，自然也會有對智能化方面的研究與布局。敏捷大數據智能化的主要目標就是，結合敏捷大數據實施理念，研發靈活的、輕量化的智能模型，并在敏捷大數據平臺上對數據流進行實時智能化處理，最終實現一站式的大數據智能分析實踐。

為實現上述目標，我們對人工智能、機器學習、實時運算等技術，以及相關業務領域知識，乃至產品用戶體驗都進行了深入的研究與分析，本系列文章將把我們的理念和在上述過程中所獲得的一些經驗、成果與大家分享。

實時數據智能處理

如本公眾號之前一系列文章所述，隨著技術的發展，我們能夠獲得前所未有的海量數據，如果能夠快速、高效地對這些數據進行處理，發現其中的高價值信息，無疑可以極大提升企業的應變能力，從而在復雜且易變的業務場景中迅速地做出戰術乃至戰略上的調整。因此，實時數據處理已成為未來大數據技術發展的主要方向。數據處理的實時化必然會對與數據緊密相關的智能分析模型造成影響，可以說，為了快速識別、適應外部環境的變化情況，各組織已經開始將數據實時處理能力與AI能力相結合，實現智能數據分析業務的快速交付。

實際上，針對實時數據流的智能化處理技術已經在很多行業中得到了先驗。例如在互聯網直播領域，基于視頻流的實時濾鏡、實時特效算法已經在快手、抖音等眾多APP中普遍使用，而國外的Twitch等直播網站，也推出了實時游戲數據分析等AI插件來增強直播效果；在體育數據領域，基于實時賽況的球隊、球員數據統計分析和賽況走勢預測也在各體育數據提供商處，如Opta Sports等，得到了應用；在交通領域，基于實時交通信息的路況擁堵預測系統也已經開始實施。此類例子不一而足，但都反映了實時AI數據處理已經在不同領域、不同業務場景下得到了廣泛應用，并且發揮了不可取代的作用。

在金融領域的許多場景中，對于實時AI數據處理同樣存在有眾多需求，如實時風控、實時數據預測、實時異常檢測、實時用戶分析等等。下圖為實時產品推薦的一個數據流圖，可以用于金融產品推薦場景中，例如網貸、保險、基金、股票等產品。

該圖描述了如下過程：在交互端我們可以通過埋點獲得大量的、不同用戶的行為數據，這些數據將被企業實時數據平臺采集，與用戶、產品及其他數據一起提供給計算層的各類模型，如用戶興趣模型、產品畫像模型等。這些模型對用戶和產品進行特征刻畫，最終提供給推薦模型計算、排序、過濾得到最終的推薦列表。這一過程中我們可以根據采集到的實時用戶行為數據流對用戶興趣模型進行更新和校正，從而實現對用戶所感興趣內容的實時追蹤。上圖沒有體現的一個過程是對產品畫像模型的實時更新，盡管相對用戶的行為數據而言，產品的特征數據相對穩定，但在實際當中還是有不少產品對時效性要求很高，其畫像特征也需要我們進行實時的維護，例如證券市場的數據信息等。這些產品數據流可以通過其他渠道匯總進入企業實時數據平臺之中，并提供給產品畫像模型進行產品特征的重構，最終提供給推薦模型進行產品推薦。一個好的實時產品推薦系統可以靈敏捕捉用戶的需求、響應產品的變化，可以高效地針對用戶開展個性化精準營銷，提升用戶體驗度的同時還能夠提高獲客和關單數量，產生巨大的業務價值。

在上圖中企業實時數據平臺扮演了為推薦模型提供實時數據的重要任務。在一個敏捷的數據環境中，敏捷大數據就平臺可以很好地支持上述工作，一種實現架構如下圖所示：

在該圖中，dbus和wormhole可以方便對接多種不同數據源，實時獲取數據，將數據pipeline源頭實時化。另外wormhole支持流上處理，很適合接入產品畫像模型和用戶興趣模型對產品與用戶的特征進行實時刻畫，這些特征經過存儲后由moonbox根據需要進行抽取，輸入推薦模型得到需要的推薦列表，最終返回給交互端。此外，如果加上davinci數據BI的支持，我們還可以輕松地實現實時業務指標監控，便于我們對推薦效果進行評估。整個過程靈活、便捷地整合了多種不同開源平臺以快速搭建實時數據應用，還可以根據需要隨時切換開源選型，支持快速迭代試錯，結合已有的算法模型就能夠迅速支持實現智能用戶產品實時推薦這一場景。

敏捷AI

如前文所述，在實時AI數據處理過程中，基于敏捷大數據的各項業務組件，結合第三方的開源構件，通過簡單配置即可快速編排、敏捷地實現算法運行的底層支持架構。這使得整個系統中看起來唯一的麻煩之處在于我們還要事先開發好各種智能模型，這對于一些業務組織來說還是有一定的技術門檻；此外對于某些業務來說，快速推進和成本控制才是首要考慮的因素，那么針對性地定制化開發智能算法模型，并調整調用接口使之可以接入實時數據架構之中，就顯得比較笨拙。例如很多數據分析的業務人員，也許不需要太過精準的模型性能，但最好能夠保證分析系統實施的便捷性、業務邏輯實現的迅捷性。我們已經讓數據處理變得敏捷，那么如何將數據智能也變得更加敏捷呢？為了解決這一問題，我們提出了敏捷AI的實施思路，即在現有敏捷大數據產品的基礎之上，基于業務場景設計開發一系列可插拔的實時智能模型算子，這些模型涵蓋了業務場景內常見的智能化數據分析需求，具有較強的通用性和復用性，能夠無縫接入敏捷大數據平臺上的實時數據流并向平臺輸出分析結果，根據需要實時流入各業務端，最終實現基于實時數據流的智能分析過程。在敏捷大數據產品和敏捷AI的支持下，業務人員可以根據業務場景快速構建從實時數據處理平臺到實時數據智能分析，再到實時數據展示的整個智能化數據治理流程，并可根據效果靈活調整試錯，極大降低實時智能化業務分析的實施成本。

在上述敏捷AI的實施思路下，我們著手構建敏捷AI算法庫，這是一套基于業務領域劃分的輕量級通用數據模型集合。其中的每個模型的設計應該遵循以下原則：

? 輕量級，對模型復雜度進行適當的控制保證數據處理的實時性；

? 獨立性，盡量減少環境依賴或保證環境的部署獨立性，避免由模型引入給系統整體帶來的環境依賴變動；

? 單一性，各模型功能盡量單一，保證各模型功能的平行性；

? 數據普適性，除部分模型存在一些必需的特征外，各模型應保證對接入數據的普遍適應能力，通過一定的配置或映射即可以適應絕大多數的業務場景。

為了實現上述要求，我們在研發模型時將不可避免地在某些方面做出一些取舍，例如模型若想通用必將會導致性能的一定程度下降，如何在這些矛盾中尋求一個合理的折中，也是在設計時需要考慮的問題。目前，我們已經針對一些領域開始研發敏捷AI模型，經過實際測試與應用后，不久的將來就將整合進現在的敏捷大數據產品棧中。此外，在未來我們還可以公布相關接口和規約，讓用戶也有能力將自己的模型加入到庫中。

結語

實時數據的智能化分析是未來大數據技術和人工智能技術發展的重要方向之一，如何降低這一實施過程的經濟成本、時間成本、技術成本以及變更成本，是敏捷大數據和敏捷AI著重解決的關鍵問題。本文結合敏捷大數據產品提出了一種解決思路，希望我們的產品能夠幫助各組織方便、快速、靈活地構建自己的實時大數據智能分析系統。

責任編輯：ct