掌握理論才能對各種工具、技巧靈活應用，而不是只會照搬套用。只有在這個基礎上才能夠真正具備搭建一套機器學習系統的能力，并對其進行持續優化。否則只能算是機器學習搬磚工人，算不得合格的工程師。出了問題也不會解決，更談不上對系統做優化。

學習機器學習的基礎理論的目的不僅僅是學會如何構建機器學習系統，更重要的是，這些基礎理論里面體現的是一套思想和思維模式，其內涵包括概率性思維、矩陣化思維、最優化思維等多個子領域，這一套思維模式對于在當今這個大數據時代做數據的處理、分析和建模是非常有幫助的。如果你腦子里沒有這套思維，面對大數據環境還在用老一套非概率的、標量式的思維去思考問題，那么思考的效率和深度都會非常受限。

機器學習的理論內涵和外延非常之廣，絕非一篇文章可以窮盡，所以在這里我列舉了一些比較核心，同時對于實際工作比較有幫助的內容進行介紹，大家可在掌握了這些基礎內容之后，再不斷探索學習。

基礎理論

所謂基礎理論，指的是不涉及任何具體模型，而只關注“學習”這件事本身的一些理論。以下是一些比較有用的基礎概念：

VC維。 VC維是一個很有趣的概念，它的主體是一類函數，描述的是這類函數能夠把多少個樣本的所有組合都劃分開來。VC維的意義在哪里呢？它在于當你選定了一個模型以及它對應的特征之后，你是大概可以知道這組模型和特征的選擇能夠對多大的數據集進行分類的。此外，一類函數的VC維的大小，還可以反應出這類函數過擬合的可能性。

信息論。從某種角度來講，機器學習和信息論是同一個問題的兩個側面，機器學習模型的優化過程同時也可以看作是最小化數據集中信息量的過程。對信息論中基本概念的了解，對于機器學習理論的學習是大有裨益的。例如決策樹中用來做分裂決策依據的信息增益，衡量數據信息量的信息熵等等，這些概念的理解對于機器學習問題神本的理解都很有幫助。這部分內容可參考《Elements of Information Theory》這本書。

正則化和bias-variance tradeoff。如果說現階段我國的主要矛盾是“人民日益增長的美好生活需要和不平衡不充分的發展之間的矛盾”，那么機器學習中的主要矛盾就是模型要盡量擬合數據和模型不能過度擬合數據之間的矛盾。而化解這一矛盾的核心技術之一就是正則化。正則化的具體方法不在此討論，但需要理解的，是各種正則化方法背后透露出的思想：bias-variance tradoff。在不同利益點之間的平衡與取舍是各種算法之間的重要差異，理解這一點對于理解不同算法之間的核心差異有著非常重要的作用。

最優化理論。絕大多數機器學習問題的解決，都可以劃分為兩個階段：建模和優化。所謂建模就是后面我們會提到的各種用模型來描述問題的方法，而優化就是建模完成之后求得模型的最優參數的過程。機器學習中常用的模型有很多，但背后用到的優化方法卻并沒有那么多。換句話說，很多模型都是用的同一套優化方法，而同一個優化方法也可以用來優化很多不同模型。對各種常用優化方法的和思想有所有了解非常有必要，對于理解模型訓練的過程，以及解釋各種情況下模型訓練的效果都很有幫助。這里面包括最大似然、最大后驗、梯度下降、擬牛頓法、L-BFGS等。

機器學習的基礎理論還有很多，可以先從上面的概念學起，把它們當做學習的起點，在學習過程中還會遇到其他需要學習的內容，就像一張網絡慢慢鋪開一樣，不斷積累自己的知識。這方面基礎理論的學習，除了Andrew Ng的著名課程以外，《Learning from Data》這門公開課也非常值得大家學習，這門課沒有任何背景要求，講授的內容是在所有模型之下的基礎中的基礎，非常地靠近機器學習的內核本質。這門課的中文版本叫做《機器學習基石》，也可以在網上找到，其講授者是上面英文版本講授者的學生。

有監督學習

在了解了機器學習的基本概念之后，就可以進入到一些具體模型的學習中了。在目前的工業實踐中，有監督學習的應用面仍然是最廣泛的，這是因為我們現實中遇到的很多問題都是希望對某個事物的某個屬性做出預測，而這些問題通過合理的抽象和變換，都可以轉化為有監督學習的問題。