大數(shù)據工程師做什么？

用阿里巴巴集團研究員薛貴榮的話來說，大數(shù)據工程師就是一群“玩數(shù)據”的人，玩出數(shù)據的商業(yè)價值，讓數(shù)據變成生產力。大數(shù)據和傳統(tǒng)數(shù)據的最大區(qū)別在于，它是在線的、實時的，規(guī)模海量且形式不規(guī)整，無章法可循，因此“會玩”這些數(shù)據的人就很重要。

沈志勇認為如果把大數(shù)據想象成一座不停累積的礦山，那么大數(shù)據工程師的工作就是，“第一步，定位并抽取信息所在的數(shù)據集，相當于探礦和采礦。第二步，把它變成直接可以做判斷的信息，相當于冶煉。最后是應用，把數(shù)據可視化等。”

因此分析歷史、預測未來、優(yōu)化選擇，這是大數(shù)據工程師在“玩數(shù)據”時最重要的三大任務。通過這三個工作方向，他們幫助企業(yè)做出更好的商業(yè)決策。

找出過去事件的特征

大數(shù)據工程師一個很重要的工作，就是通過分析數(shù)據來找出過去事件的特征。比如，騰訊的數(shù)據團隊正在搭建一個數(shù)據倉庫，把公司所有網絡平臺上數(shù)量龐大、不規(guī)整的數(shù)據信息進行梳理，總結出可供查詢的特征，來支持公司各類業(yè)務對數(shù)據的需求，包括廣告投放、游戲開發(fā)、社交網絡等。

找出過去事件的特征，最大的作用是可以幫助企業(yè)更好地認識消費者。通過分析用戶以往的行為軌跡，就能夠了解這個人，并預測他的行為。“你可以知道他是什么樣的人、他的年紀、興趣愛好，是不是互聯(lián)網付費用戶、喜歡玩什么類型的游戲，平常喜歡在網上做什么事情。”騰訊云計算有限公司北京研發(fā)中心總經理鄭立峰對《第一財經周刊》說。下一步到了業(yè)務層面，就可以針對各類人群推薦相關服務，比如手游，或是基于不同特征和需求衍生出新的業(yè)務模式，比如微信的電影票業(yè)務。

預測未來可能發(fā)生的事情

通過引入關鍵因素，大數(shù)據工程師可以預測未來的消費趨勢。在阿里媽媽的營銷平臺上，工程師正試圖通過引入氣象數(shù)據來幫助淘寶賣家做生意。“比如今年夏天不熱，很可能某些產品就沒有去年暢銷，除了空調、電扇，背心、游泳衣等都可能會受其影響。那么我們就會建立氣象數(shù)據和銷售數(shù)據之間的關系，找到與之相關的品類，提前警示賣家周轉庫存。”薛貴榮說。

在百度，沈志勇支持“百度預測”部分產品的模型研發(fā)，試圖用大數(shù)據為更廣泛的人群服務。已經上線的包括世界杯預測、高考預測、景點預測等。以百度景點預測為例，大數(shù)據工程師需要收集所有可能影響一段時間內景點人流量的關鍵因素進行預測，并為全國各個景點未來的擁擠度分級—在接下來的若干天時間里，它究竟是暢通、擁擠，還是一般擁擠？

找出最優(yōu)化的結果

根據不同企業(yè)的業(yè)務性質，大數(shù)據工程師可以通過數(shù)據分析來達到不同的目的。

以騰訊來說，鄭立峰認為能反映大數(shù)據工程師工作的最簡單直接的例子就是選項測試（AB Test），即幫助產品經理在A、B兩個備選方案中做出選擇。在過去，決策者只能依據經驗進行判斷，但如今大數(shù)據工程師可以通過大范圍地實時測試—比如，在社交網絡產品的例子中，讓一半用戶看到A界面，另一半使用B界面，觀察統(tǒng)計一段時間內的點擊率和轉化率，以此幫助市場部做出最終選擇。

作為電商的阿里巴巴，則希望通過大數(shù)據鎖定精準的人群，幫助賣家做更好的營銷。“我們更期待的是你能找到這樣一批人，比起現(xiàn)有的用戶，這些人對產品更感興趣。”薛貴榮說。一個淘寶的實例是，某人參賣家原來推廣的目標人群是產婦，但工程師通過挖掘數(shù)據之間的關聯(lián)性后發(fā)現(xiàn)，針對孕婦群體投放的營銷轉化率更高。

B 需要具備的能力

數(shù)學及統(tǒng)計學相關的背景

就我們采訪過的BAT三家互聯(lián)網大公司來說，對于大數(shù)據工程師的要求都是希望是統(tǒng)計學和數(shù)學背景的碩士或博士學歷。沈志勇認為，缺乏理論背景的數(shù)據工作者，更容易進入一個技能上的危險區(qū)域（Danger Zone）—一堆數(shù)字，按照不同的數(shù)據模型和算法總能捯飭出一些結果來，但如果你不知道那代表什么，就并不是真正有意義的結果，并且那樣的結果還容易誤導你。“只有具備一定的理論知識，才能理解模型、復用模型甚至創(chuàng)新模型，來解決實際問題。”沈志勇說。

計算機編碼能力

實際開發(fā)能力和大規(guī)模的數(shù)據處理能力是作為大數(shù)據工程師的一些必備要素。“因為許多數(shù)據的價值來自于挖掘的過程，你必須親自動手才能發(fā)現(xiàn)金子的價值。”鄭立峰說。

舉例來說，現(xiàn)在人們在社交網絡上所產生的許多記錄都是非結構化的數(shù)據，如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就需要大數(shù)據工程師親自挖掘。即使在某些團隊中，大數(shù)據工程師的職責以商業(yè)分析為主，但也要熟悉計算機處理大數(shù)據的方式。

對特定應用領域或行業(yè)的知識

在顏莉萍看來，大數(shù)據工程師這個角色很重要的一點是，不能脫離市場，因為大數(shù)據只有和特定領域的應用結合起來才能產生價值。所以，在某個或多個垂直行業(yè)的經歷能為應聘者積累對行業(yè)的認知，對于之后成為大數(shù)據工程師有很大幫助，因此這也是應聘這個崗位時較有說服力的加分項。

“他不能只是懂得數(shù)據，還要有商業(yè)頭腦，不論對零售、醫(yī)藥、游戲還是旅游等行業(yè)，能就其中某些領域有一定的理解，最好還是與公司的業(yè)務方向一致的，”就此薛貴榮還打了個比方，“過去我們說一些奢侈品店員勢利，看人一眼就知道買得起買不起，但這群人恰恰是有敏銳度的，我們認為他們是這個行業(yè)的專家。又比如對醫(yī)療行業(yè)了解的人，他在考慮醫(yī)療保險業(yè)務時，不僅會和人們醫(yī)院看病的記錄相關，也會考慮飲食數(shù)據，這些都是基于對該領域的了解。”

C 大數(shù)據工程師的職業(yè)發(fā)展

如何成為大數(shù)據工程師

由于目前大數(shù)據人才匱乏，對于公司來說，很難招聘到合適的人才—既要有高學歷，同時最好還有大規(guī)模數(shù)據處理經驗。因此很多企業(yè)會通過內部挖掘。

今年8月，阿里巴巴舉辦了一個大數(shù)據競賽，把天貓平臺上的數(shù)據拿出來，去除敏感問題后，放到云計算平臺上交予7000多支隊伍進行比賽，比賽分為內部賽和外部賽。“通過這個方式來激勵內部員工，同時也發(fā)現(xiàn)外部人才，讓各行業(yè)的大數(shù)據工程師涌現(xiàn)出來。”

顏莉萍建議，目前長期從事數(shù)據庫管理、挖掘、編程工作的人，包括傳統(tǒng)的量化分析師、Hadoop方面的工程師，以及任何在工作中需要通過數(shù)據來進行判斷決策的管理者，比如某些領域的運營經理等，都可以嘗試該職位，而各個領域的達人只要學會運用數(shù)據，也可以成為大數(shù)據工程師。

薪酬待遇

作為IT類職業(yè)中的“大熊貓”，大數(shù)據工程師的收入待遇可以說達到了同類的頂級。根據顏莉萍的觀察，國內IT、通訊、行業(yè)招聘中，有10％都是和大數(shù)據相關的，且比例還在上升。顏莉萍表示，“大數(shù)據時代的到來很突然，在國內發(fā)展勢頭激進，而人才卻非常有限，現(xiàn)在完全是供不應求的狀況。”在美國，大數(shù)據工程師平均每年薪酬高達17.5萬美元，而據了解，在國內頂尖互聯(lián)網類公司，同一個級別大數(shù)據工程師的薪酬可能要比其他職位高20％至30％，且頗受企業(yè)重視。

職業(yè)發(fā)展路徑

由于大數(shù)據人才數(shù)量較少，因此大多數(shù)公司的數(shù)據部門一般都是扁平化的層級模式，大致分為數(shù)據分析師、資深研究員、部門總監(jiān)3個級別。大公司可能按照應用領域的維度來劃分不同團隊，而在小公司則需要身兼數(shù)職。有些特別強調大數(shù)據戰(zhàn)略的互聯(lián)網公司則會另設最高職位—如阿里巴巴的首席數(shù)據官。“這個職位的大部分人會往研究方向發(fā)展，成為重要數(shù)據戰(zhàn)略人才。”顏莉萍說。另一方面，大數(shù)據工程師對商業(yè)和產品的理解，并不亞于業(yè)務部門員工，因此也可轉向產品部或市場部，乃至上升為公司的高級管理層。