目錄

零基礎機率入門:搞懂 Marginal、Joint 與 Conditional Probability 的差異

機率基本觀念:Joint、Marginal 與 Conditional 文章題圖
機率基本觀念:Joint、Marginal 與 Conditional 文章題圖 [source: Pixabay]

機率 (Probability) 是機器學習的地基。不管是 Naive Bayes、語言模型算下一個 token 的分佈,還是評估模型輸出的信心水準,背後都是同一套機率語言。地基沒打好,後面看到公式只能死背。

問題是,網路上大多數的機率教學都預設你已經有一些先備知識,開場就是一串符號,初學者常常第一段就卡住。這篇文章假設你完全沒有機率背景,從最基本的「表示法」(Notation) 開始,再帶到三種最常見的機率類型:Marginal、Joint 與 Conditional,最後用乘法法則把三者串起來。

機率的概念一定伴隨著某一個「事件」。這裡的事件 (Event) 沒有那麼玄,就只是在描述某一件「事情」。像是「今天的天氣是雨天」、「擲一顆骰子得到點數 3」、「從球袋中抽出一顆紅球」,這些都是事件。

我們用機率來描述某個事件發生的可能性有多大。以上面的例子來說,我們會說「『今天的天氣是雨天』的機率是 50%」、「『擲一顆骰子得到點數 3』的機率是 1/6」、「『從球袋中抽出一顆紅球』的機率是 30%」。

一個事件的結果通常不只一種,而且每一種結果都有可能發生。我們之所以需要用機率去描述,正是因為事先不知道哪一個結果會出現,這件事本身帶有隨機性。所以在數學上,用來描述事件所有可能結果的那個變數,就叫做隨機變數 (Random Variable)。

拿擲骰子當例子。骰子的結果可能是 1、2、3、4、5、6 其中一個,但擲之前沒人知道會是哪一個。在數學上,我們定義一個隨機變數 X={1,2,3,4,5,6} X = \{1, 2, 3, 4, 5, 6\} 來表示擲骰子的所有可能結果。

同一件事,用「言語」講是這樣:

  • 擲骰子的結果為 1、2、3、4、5、6 其中之一
  • 擲骰子的結果為 1 的機率

用「數學」寫是這樣:

  • X={1,2,3,4,5,6} X = \{1, 2, 3, 4, 5, 6\}
  • P(X=1) P(X=1)

對照之後就很清楚了:隨機變數 X X 負責描述一個事件的所有可能結果,而 P(X=1) P(X=1) 負責描述其中某一個結果發生的機率(P 就是 Probability 的縮寫)。之後所有的公式都是建立在這兩個符號上,先把它們讀順,後面會輕鬆很多。

有了隨機變數和 P(...) P(...) 的寫法之後,接著看三種最基本的機率類型:邊際機率 (Marginal Probability)、聯合機率 (Joint Probability) 與條件機率 (Conditional Probability)。

下面三種都用同一副撲克牌來舉例,這樣比較容易看出差別。一副撲克牌有 52 張,其中數字 6 有 4 張、紅色牌有 26 張。

  • Marginal Probability(邊際機率) 描述「某一個」事件單獨發生的機率。A 是一個事件,則 P(A) P(A) 就是 Marginal Probability。以撲克牌來說,假設 A =「從一副撲克牌中抽出一張 6」,則 P(A)=4/52 P(A) = 4/52 (52 張牌裡有 4 張 6)。

  • Joint Probability(聯合機率) 描述「兩個或多個」事件同時發生的機率。A 與 B 是兩個不同的事件,兩者同時發生的機率寫成 P(A∩B) P(A \cap B) 。「∩」符號叫做「交集」,白話一點就是「兩個條件都要成立」。以撲克牌來說,假設 A =「抽出一張 6」且 B =「抽出一張紅色的牌」,則 P(A∩B)=2/52 P(A \cap B) = 2/52 (52 張牌裡,同時是 6 又是紅色的只有 2 張)。

  • Conditional Probability(條件機率) 描述在某一個事件已經發生的「前提」之下,另一個事件發生的機率,寫成 P(A∣B) P(A \mid B) ,唸作「在 B 發生的前提下 A 發生的機率」。以撲克牌來說,B =「抽出紅色的牌」、A =「抽出數字 4 的牌」,則 P(A∣B)=2/26 P(A \mid B) = 2/26 。關鍵在於分母變了:既然已經確定抽到的是紅色牌,考慮範圍就從 52 張縮小到 26 張紅色牌,而這 26 張裡面數字 4 有 2 張。

三者的差別可以這樣記:Marginal 只看一個事件,Joint 要求多個事件同時成立,Conditional 則是先把範圍限縮到某個已知條件之內,再看事件發生的機率。

三種機率各自看完之後,接著看它們之間的關係,也就是機率裡的乘法法則 (Multiplication Rule)。

乘法法則的數學公式,說明條件機率、聯合機率與邊際機率三者之間的關係。
機率中的乘法法則

乘法法則的價值就在於它把前面三種機率類型整合進同一條式子裡。用文氏圖 (Venn diagram) 來看會更直覺。

以兩個部分重疊的圓圈組成的文氏圖,分別代表事件 A 與事件 B,重疊區域代表兩者同時發生。
透過文氏圖了解乘法法則

P(B) P(B) 是 B 事件發生的機率,對應圖中的 B 圓圈;P(A) P(A) 是 A 事件發生的機率,對應圖中的 A 圓圈。P(A∩B) P(A \cap B) 則是 A 與 B 同時發生的機率,對應兩個圓圈重疊的那一塊。

所以,在 B 已經發生的前提下 A 發生的機率 P(A∣B) P(A \mid B) ,就是「A 與 B 同時發生的機率 P(A∩B) P(A \cap B) 」除以「B 發生的機率 P(B) P(B) 」。直覺上就是:已知 B 發生,等於把整個世界縮小成 B 這個圓圈,這時候 A 還能發生的部分只剩下重疊區域,所以拿重疊區域去除以 B 圓圈。

用剛才的撲克牌例子驗算一次會更有感覺。A =「抽出數字 4」、B =「抽出紅色的牌」,P(A∩B)=2/52 P(A \cap B) = 2/52 、P(B)=26/52 P(B) = 26/52 ,相除之後得到 (2/52)÷(26/52)=2/26 (2/52) \div (26/52) = 2/26 ,和前面直接數紅色牌算出來的答案一致。

這篇文章從機率 (Probability)、事件 (Event) 與隨機變數 (Random Variable) 這幾個最基礎的概念談起,接著介紹三種基本的機率類型:

  • Marginal Probability:單一事件發生的機率
  • Joint Probability:多個事件同時發生的機率
  • Conditional Probability:在某個前提之下,另一個事件發生的機率

最後用乘法法則把三者接了起來:

P(A∣B)=P(A∩B)P(B) P(A \mid B) = \frac{P(A \cap B)}{P(B)}

下一篇「條件機率 vs 聯合機率」會補上其他基本觀念,更詳細地說明 Joint Probability 與 Conditional Probability 的差別,以及機率中 AND 與 OR 的概念。