在學習復雜模型之前，我建議大家都先學習幾個最簡單的模型，典型的如樸素貝葉斯。樸素貝葉斯有很強的假設，這個假設很多問題都不滿足，模型結構也很簡單，所以其優化效果并不是最好的。但也正是由于其簡單的形式，非常利于學習者深入理解整個模型在建模和優化過程中的每一步，這對于搞清楚機器學習是怎么一回事情是非常有用的。同時，樸素貝葉斯的模型形式通過一番巧妙的變換之后，可以得到和邏輯回歸形式上非常統一的結果，這無疑提供了對邏輯回歸另外一個角度的解釋，對于更加深刻理解邏輯回歸這一最常用模型有著非常重要的作用。

在掌握了機器學習模型的基礎流程之后，需要學習兩種最基礎的模型形式：線性模型和樹形模型，分別對應著線性回歸/邏輯回歸和決策回歸/分類樹。現在常用的模型，無論是淺層模型還是深度學習的深層模型，都是基于這兩種基礎模型形式變幻而來。而學習這兩種模型的時候需要仔細思考的問題是：這兩種模型的本質差異是什么？為什么需要有這兩種模型？他們在訓練和預測的精度、效率、復雜度等方面有什么差異？了解清楚這些本質的差異之后，才可以做到根據問題和數據的具體情況對模型自如運用。

在掌握了線性模型和樹形模型這兩種基礎形式之后，下一步需要掌握的是這兩種基礎模型的復雜形式。其中線性模型的復雜形式就是多層線性模型，也就是神經網絡。樹模型的復雜形式包括以GDBT為代表的boosting組合，以及以隨機森林為代表的bagging組合。這兩種組合模型的意義不僅在于模型本身，boosting和bagging這兩種組合思想本身也非常值得學習和理解，這代表了兩種一般性的強化方法：boosting的思想是精益求精，不斷在之前的基礎上繼續優化；而bagging的思想是“三個臭裨將頂一個諸葛亮”，是通過多個弱分類器的組合來得到一個強分類器。這兩種組合方法各有優劣，但都是在日常工作中可以借鑒的思想。例如在推薦系統中所我們經常會使用多個維度的數據做召回源，從某個角度來看就是一種bagging的思想：每個單獨召回源并不能給出最好表現，但是多個召回源組合之后，就可以得到比每個單獨召回源都要好的結果。所以說思想比模型本身更重要。

無監督學習

有監督學習雖然目前占了機器學習應用的大多數場景，但是無監督學習無論從數據規模還是作用上來講也都非常的重要。無監督學習的一大類內容是在做聚類，做聚類的意義通常可以分為兩類：一類是將聚類結果本身當做最終的目標，另一類是將聚類的結果再作為特征用到有監督學習中。但這兩種意義并不是和某種聚類方法具體綁定，而只是聚類之后結果的不同使用方式，這需要在工作中不斷學習、積累和思考。而在入門學習階段需要掌握的，是不同聚類算法的核心差異在哪里。例如最常用的聚類方法中，kmeans和DBSCAN分別適合處理什么樣的問題？高斯混合模型有著什么樣的假設？LDA中文檔、主題和詞之間是什么關系？這些模型最好能夠放到一起來學習，從而掌握它們之間的聯系和差異，而不是把他們當做一個個孤立的東西來看待。

除了聚類以外，近年來興起的嵌入表示（embedding representation）也是無監督學習的一種重要方法。這種方法和聚類的差異在于，聚類的方法是使用已有特征對數據進行劃分，而嵌入表示則是創造新的特征，這種新的特征是對樣本的一種全新的表示方式。這種新的表示方法提供了對數據全新的觀察視角，這種視角提供了數據處理的全新的可能性。此外，這種做法雖然是從NLP領域中興起，但卻具有很強的普適性，可用來處理多種多樣的數據，都可以得到不錯的結果，所以現在已經成為一種必備的技能。

機器學習理論方面的學習可以從《An Introduction to Statistical Learning with Application in R》開始，這本書對一些常用模型和理論基礎提供了很好的講解，同時也有適量的習題用來鞏固所學知識。進階學習可使用上面這本書的升級版《Elements of Statistical Learning》和著名的《Pattern Recognition and Machine Learning》。

開發語言和開發工具

掌握了足夠的理論知識，還需要足夠的工具來將這些理論落地，這部分我們介紹一些常用的語言和工具。

開發語言