正態分布（Normal distribution），也稱“常態分布”，又名高斯分布（Gaussian distribution），最早由A.棣莫弗在求二項分布的漸近公式中得到。C.F.高斯在研究測量誤差時從另一個角度導出了它。P.S.拉普拉斯和高斯研究了它的性質。是一個在數學、物理及工程等領域都非常重要的概率分布，在統計學的許多方面有著重大的影響力。

　　正態曲線呈鐘型，兩頭低，中間高，左右對稱因其曲線呈鐘形，因此人們又經常稱之為鐘形曲線。

　　若隨機變量X服從一個數學期望為μ、方差為σ^2的正態分布，記為N（μ，σ^2）。其概率密度函數為正態分布的期望值μ決定了其位置，其標準差σ決定了分布的幅度。當μ = 0，σ = 1時的正態分布是標準正態分布。

　　高斯分布的定義

　　高斯分布怎么來的，很簡單。只要你觀察的系統里，各種對象之間關聯很弱，那么他們的總和平均表現，根據中心極限定律，就是高斯或者近高斯的。你看我們人造的東西，很多都是模塊化的，比如汽車輪船飛機，桌子椅子板凳，等等。我們人類造東西，都是“搭”出來的，一個模塊和另一個模塊之間關聯很弱，壞了一個模塊換掉就好。所以人造系統，其表現，包括性能啊，噪聲啊，穩定度啊，都基于高斯分布。

　　但自然界呢，假如有個造物主，它造東西跟人類的思路就很不一樣。它手里的作品是“生長”出來的。比如我們人，從一個受精卵發育而來，各個部分強關聯，受精卵上一點缺陷，會反映到整個人體的巨大影響。這和桌子有本質區別，就算桌子原始材料有個洞，也不可能造出來桌面和桌腿都很多洞。“生長”這個過程到底服從什么本質的數學規律，我們人類還不確切知道。從2000年以后，學界的研究集中于通過隨機游動，擴散這樣的動力學行為來對“生長”出來的系統（復雜系統）嘗試尋找類似于模塊系統的中心極限定律的總體規律。有一些進展，但是還沒有特別令人信服的突破性結論。

　　高斯分布為何在自然界如此常見高斯分布的信息熵最大。即，高斯分布是最混亂系統。

　　這里有個前提條件是方差一定，這個條件在物理學家的眼中可以意味著漲落，可以是統計學上的能量的漲落（比如maxwell速度矢量分布的方差是確定的kt/m），或者是不確定關系下的漲落。

　　自然會趨向于最熵增和低能量態。這是熱力學的最簡單運行軌跡。

　　個人認為比之中心極限定理，這個是更為本質的因素。就像我們可以證明出來牛頓力學基礎上的經典力學，但是顯然是更加優雅和接近自然本質的描述。

　　高斯分布的作用

　　均勻分布是均勻分布，高斯分布是高斯分布，高斯分布式又名正太分布。均勻分布就是在一個大的區域內，數據出現在任何一個小的區域的概率都是相同的。高斯分布式就是在一個大的區域內，數據會集中出現在部分區域。

　　為什么誤差總是服從高斯分布？

　　最近某網友在進行機器學習，發現在對誤差假定是都是服從高斯分布，不明白其中緣由。

　　解答如下：

　　1. 大量獨立的隨機變量之和趨向于某個穩定的分布，這就是中心極限定理。

　　2. 后來人們給這種分布取了個名，叫高斯分布，或正態分布。

　　3. 人們認為誤差是隨機的，所以人們認為誤差的和服從高斯分布。

　　個人認為，一般測量的誤差是隨機的，但機器學習中的誤差是否隨機就不一定了。

　　另外還有人認為：

　　不確定誤差產生的原因更要用高斯分布來估計了，因為根據中心極限定理，這樣做“最無偏”。如果確定了誤差產生原因，那就具體情況具體分析了。