摘要:概率分布在許多領(lǐng)域都很常見,包括保險、物理、工程、計算機科學(xué)甚至社會科學(xué),如心理學(xué)和醫(yī)學(xué)。它易于應(yīng)用,并應(yīng)用很廣泛。本文重點介紹了日常生活中經(jīng)常能遇到的六個重要分布,并解釋了它們的應(yīng)用。
01 介紹
假設(shè)你是一所大學(xué)的老師。在對一周的作業(yè)進行了檢查之后,你給所有的學(xué)生打了分?jǐn)?shù)。你把這些打了分?jǐn)?shù)的論文交給大學(xué)的數(shù)據(jù)錄入人員,并告訴他創(chuàng)建一個包含所有學(xué)生成績的電子表格。但這個人卻只存儲了成績,而沒有包含對應(yīng)的學(xué)生。
他又犯了另一個錯誤,在匆忙中跳過了幾項,但我們卻不知道丟了誰的成績。我們來看看如何來解決這個問題吧。
一種方法是將成績可視化,看看是否可以在數(shù)據(jù)中找到某種趨勢。
上面展示的圖形稱為數(shù)據(jù)的頻率分布。其中有一個平滑的曲線,但你注意到有一個異常情況了嗎?在某個特定的分?jǐn)?shù)范圍內(nèi),數(shù)據(jù)的頻率異常低。所以,最準(zhǔn)確的猜測就是丟失值了,從而導(dǎo)致在分布中出現(xiàn)了凹陷。
這個過程展示了你該如何使用數(shù)據(jù)分析來嘗試解決現(xiàn)實生活中的問題。對于任何一位數(shù)據(jù)科學(xué)家、學(xué)生或從業(yè)者來說,分布是必須要知道的概念,它為分析和推理統(tǒng)計提供了基礎(chǔ)。
雖然概率為我們提供了數(shù)學(xué)上的計算,而分布卻可以幫助我們把內(nèi)部發(fā)生的事情可視化。
在本文中,我將介紹一些重要的概率分布,并會清晰全面地對它們進行解釋。
注意:本文假設(shè)你已經(jīng)具有了概率方面的基本知識。如果沒有,可以參考這篇有關(guān)概率基礎(chǔ)的文章。
02 常見的數(shù)據(jù)類型
在開始詳細(xì)講述分布之前,先來看看我們會遇到哪些種類的數(shù)據(jù)。數(shù)據(jù)可以分為離散的和連續(xù)的。
離散數(shù)據(jù):顧名思義,只包含指定的值。例如,當(dāng)你投骰子的時候,輸出結(jié)果只可能是1、2、3、4、5或6,而不可能出現(xiàn)1.5或2.45。
連續(xù)數(shù)據(jù):可以在給定的范圍內(nèi)取任何值。范圍可以是有限的,也可以是無限的。例如,女孩的體重或身高、路程的長度。女孩的體重可以是54千克、54.5千克,或54.5436千克。
現(xiàn)在我們開始學(xué)習(xí)分布的類型。
03 分布的類型
伯努利分布
我們首先從最簡單的分布伯努利分布開始。
伯努利分布只有兩種可能的結(jié)果,1(成功)和0(失敗)。因此,具有伯努利分布的隨機變量X可以取值為1,也就是成功的概率,可以用p來表示,也可以取值為0,即失敗的概率,用q或1-p來表示。
概率質(zhì)量函數(shù)由下式給出:px(1-p)1-x, 其中x € (0, 1)。它也可以寫成:
成功與失敗的概率不一定相等。這里,成功的概率(p)與失敗的概率不同。所以,下圖顯示了我們之間比賽結(jié)果的伯努利分布。
這里,成功的概率 = 0.15,失敗的概率 = 0.85 。如果我打了你,我可能會期待你向我打回來。任何分布的基本預(yù)期值是分布的平均值。來自伯努利分布的隨機變量X的期望值如為:
E(X) = 1*p + 0*(1-p) = p
隨機變量與二項分布的方差為:
V(X) = E(X2) – [E(X)]2 = p – p2 = p(1-p)
伯努利分布的例子有很多,比如說明天是否要下雨,如果下雨則表示成功,如果不下雨,則表示失敗。
均勻分布
對于投骰子來說,結(jié)果是1到6。得到任何一個結(jié)果的概率是相等的,這就是均勻分布的基礎(chǔ)。與伯努利分布不同,均勻分布的所有可能結(jié)果的n個數(shù)也是相等的。
如果變量X是均勻分布的,則密度函數(shù)可以表示為:
均勻分布的曲線是這樣的:
你可以看到,均勻分布曲線的形狀是一個矩形,這也是均勻分布又稱為矩形分布的原因。其中,a和b是參數(shù)。
花店每天銷售的花束數(shù)量是均勻分布的,最多為40,最少為10。我們來計算一下日銷售量在15到30之間的概率。
日銷售量在15到30之間的概率為(30-15)*(1/(40-10)) = 0.5
同樣地,日銷售量大于20的概率為 = 0.667
遵循均勻分布的X的平均值和方差為:
平均值 -> E(X) = (a+b)/2
方差 -> V(X) = (b-a)2/12
標(biāo)準(zhǔn)均勻密度的參數(shù) a = 0 和 b = 1,因此標(biāo)準(zhǔn)均勻密度由下式給出:
二項分布
讓我們來看看玩板球這個例子。假設(shè)你今天贏了一場比賽,這表示一個成功的事件。你再比了一場,但你輸了。如果你今天贏了一場比賽,但這并不表示你明天肯定會贏。我們來分配一個隨機變量X,用于表示贏得的次數(shù)。 X可能的值是多少呢?它可以是任意值,這取決于你擲硬幣的次數(shù)。
只有兩種可能的結(jié)果,成功和失敗。因此,成功的概率 = 0.5,失敗的概率可以很容易地計算得到:q = p – 1 = 0.5。
二項式分布就是只有兩個可能結(jié)果的分布,比如成功或失敗、得到或者丟失、贏或敗,每一次嘗試成功和失敗的概率相等。
結(jié)果有可能不一定相等。如果在實驗中成功的概率為0.2,則失敗的概率可以很容易地計算得到 q = 1 - 0.2 = 0.8。
每一次嘗試都是獨立的,因為前一次投擲的結(jié)果不能決定或影響當(dāng)前投擲的結(jié)果。只有兩個可能的結(jié)果并且重復(fù)n次的實驗叫做二項式。二項分布的參數(shù)是n和p,其中n是試驗的總數(shù),p是每次試驗成功的概率。
在上述說明的基礎(chǔ)上,二項式分布的屬性包括:
1. 每個試驗都是獨立的。
2. 在試驗中只有兩個可能的結(jié)果:成功或失敗。
3. 總共進行了n次相同的試驗。
4. 所有試驗成功和失敗的概率是相同的。 (試驗是一樣的)
二項分布的數(shù)學(xué)表示由下式給出:
成功概率不等于失敗概率的二項分布圖:
現(xiàn)在,當(dāng)成功的概率 = 失敗的概率時,二項分布圖如下
二項分布的均值和方差由下式給出:
平均值 -> μ = n*p
方差 -> Var(X) = n*p*q
正態(tài)分布
正態(tài)分布代表了宇宙中大多數(shù)情況的運轉(zhuǎn)狀態(tài)。大量的隨機變量被證明是正態(tài)分布的。任何一個分布只要具有以下特征,則可以稱為正態(tài)分布:
1. 分布的平均值、中位數(shù)和模式一致。
2. 分布曲線是鐘形的,關(guān)于線 x = μ 對稱。
3. 曲線下的總面積為1。
4. 有一半的值在中心的左邊,另一半在右邊。
正態(tài)分布與二項分布有著很大的不同。然而,如果試驗次數(shù)接近于無窮大,則它們的形狀會變得十分相似。
遵循正態(tài)分布的隨機變量X的值由下式給出:
正態(tài)分布的隨機變量X的均值和方差由下式給出:
均值 -> E(X) = μ
方差 -> Var(X) = σ^2
其中,μ(平均)和σ(標(biāo)準(zhǔn)偏差)是參數(shù)。
隨機變量X?N(μ,σ)的圖如下所示。
標(biāo)準(zhǔn)正態(tài)分布定義為平均值等于0,標(biāo)準(zhǔn)偏差等于1的分布:
泊松分布
假設(shè)你在一個呼叫中心工作,一天里你大概會接到多少個電話?它可以是任何一個數(shù)字。現(xiàn)在,呼叫中心一天的呼叫總數(shù)可以用泊松分布來建模。這里有一些例子:
1. 醫(yī)院在一天內(nèi)錄制的緊急電話的數(shù)量。
2. 某個地區(qū)在一天內(nèi)報告的失竊的數(shù)量。
3. 在一小時內(nèi)抵達沙龍的客戶人數(shù)。
4. 在特定城市上報的自殺人數(shù)。
5. 書中每一頁打印錯誤的數(shù)量。
泊松分布適用于在隨機時間和空間上發(fā)生事件的情況,其中,我們只關(guān)注事件發(fā)生的次數(shù)。
當(dāng)以下假設(shè)有效時,則稱為**泊松分布**
1. 任何一個成功的事件都不應(yīng)該影響另一個成功的事件。
2. 在短時間內(nèi)成功的概率必須等于在更長的間內(nèi)成功的概率。
3. 時間間隔變小時,在給間隔時間內(nèi)成功的概率趨向于零。
泊松分布中使用了這些符號:
λ是事件發(fā)生的速率
t是時間間隔的長
X是該時間間隔內(nèi)的事件數(shù)。
其中,X稱為泊松隨機變量,X的概率分布稱為泊松分布。
令μ表示長度為t的間隔中的平均事件數(shù)。那么,μ = λ*t。
泊松分布的X由下式給出:
平均值μ是該分布的參數(shù)。 μ也定義為該間隔的λ倍長度。泊松分布圖如下所示:
下圖顯示了隨著平均值的增加曲線的偏移情況:
可以看出,隨著平均值的增加,曲線向右移動。
泊松分布中X的均值和方差:
均值 -> E(X) = μ方差 -> Var(X) = μ
指數(shù)分布
讓我們再一次看看呼叫中心的那個例子。不同呼叫之間的時間間隔是多少呢?在這里,指數(shù)分布模擬了呼叫之間的時間間隔。
其他類似的例子有:
1. 地鐵到達時間間隔
2. 到達加油站的時間
3. 空調(diào)的壽命
指數(shù)分布廣泛用于生存分析。從機器的預(yù)期壽命到人類的預(yù)期壽命,指數(shù)分布都能成功地提供結(jié)果。
具有**的指數(shù)分布**的隨機變量X:
f(x) = { λe-λx, x ≥ 0
參數(shù) λ>0 也稱為速率。
對于生存分析,λ被稱為任何時刻t的設(shè)備的故障率,假定它已經(jīng)存活到t時刻。
遵循指數(shù)分布的隨機變量X的均值和方差為:
平均值 -> E(X) = 1/λ
方差 -> Var(X) = (1/λ)2
此外,速率越大,曲線下降越快,速率越慢,曲線越平坦。下面的圖很好地解釋了這一點。
為了簡化計算,下面給出一些公式。
P{X≤x} = 1 – e-λx 對應(yīng)于x左側(cè)曲線下的面積。
PP{X>x} = e-λx 對應(yīng)于x右側(cè)曲線下的面積。
P{x1-λx1 – e-λx2, corresponds to the area under the density curve between x1 and x2.
P{x1-λx1 – e-λx2 對應(yīng)于x1和x2之間地曲線下的面積。
04 各種分布之間的關(guān)系
伯努利與二項分布之間的關(guān)系
1.伯努利分布是具有單項試驗的二項式分布的特殊情況。2. 伯努利分布和二項式分布只有兩種可能的結(jié)果,即成功與失敗。3. 伯努利分布和
二項式分布都具有獨立的軌跡。
泊松與二項式分布之間的關(guān)系
泊松分布在滿足以下條件的情況下是二項式分布的極限情況:
1. 試驗次數(shù)無限大或n → ∞。
2. 每個試驗成功的概率是相同的,無限小的,或p → 0。
3. np = λ,是有限的。
正態(tài)分布關(guān)系
正態(tài)分布是在滿足以下條件的情況下二項分布的另一種限制形式:
1. 試驗次數(shù)無限大,n → ∞。
2. p和q都不是無限小。
正態(tài)分布也是參數(shù)λ → ∞的泊松分布的極限情況。
指數(shù)和泊松分布之間的關(guān)系
如果隨機事件之間的時間遵循速率為λ的指數(shù)分布,則時間長度t內(nèi)的事件總數(shù)遵循具有參數(shù)λt的泊松分布。
05 結(jié)束語
概率分布在許多領(lǐng)域都很常見,包括保險、物理、工程、計算機科學(xué)甚至社會科學(xué),如心理學(xué)和醫(yī)學(xué)。它易于應(yīng)用,并應(yīng)用很廣泛。本文重點介紹了日常生活中經(jīng)常能遇到的六個重要分布,并解釋了它們的應(yīng)用。現(xiàn)在,你已經(jīng)能夠識別、關(guān)聯(lián)和區(qū)分這些分布了。
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
6715瀏覽量
88316 -
概率
+關(guān)注
關(guān)注
0文章
17瀏覽量
13009
原文標(biāo)題:每個數(shù)據(jù)科學(xué)專家都應(yīng)該知道的六個概率分布
文章出處:【微信號:tyutcsplab,微信公眾號:智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論