零基礎機率入門:搞懂 Marginal、Joint 與 Conditional Probability 的差異

1 前言

機率 (Probability) 是機器學習的地基。不管是 Naive Bayes、語言模型算下一個 token 的分佈,還是評估模型輸出的信心水準,背後都是同一套機率語言。地基沒打好,後面看到公式只能死背。
問題是,網路上大多數的機率教學都預設你已經有一些先備知識,開場就是一串符號,初學者常常第一段就卡住。這篇文章假設你完全沒有機率背景,從最基本的「表示法」(Notation) 開始,再帶到三種最常見的機率類型:Marginal、Joint 與 Conditional,最後用乘法法則把三者串起來。
2 機率的表示法 (Notation)
機率的概念一定伴隨著某一個「事件」。這裡的事件 (Event) 沒有那麼玄,就只是在描述某一件「事情」。像是「今天的天氣是雨天」、「擲一顆骰子得到點數 3」、「從球袋中抽出一顆紅球」,這些都是事件。
我們用機率來描述某個事件發生的可能性有多大。以上面的例子來說,我們會說「『今天的天氣是雨天』的機率是 50%」、「『擲一顆骰子得到點數 3』的機率是 1/6」、「『從球袋中抽出一顆紅球』的機率是 30%」。
一個事件的結果通常不只一種,而且每一種結果都有可能發生。我們之所以需要用機率去描述,正是因為事先不知道哪一個結果會出現,這件事本身帶有隨機性。所以在數學上,用來描述事件所有可能結果的那個變數,就叫做隨機變數 (Random Variable)。
拿擲骰子當例子。骰子的結果可能是 1、2、3、4、5、6 其中一個,但擲之前沒人知道會是哪一個。在數學上,我們定義一個隨機變數 來表示擲骰子的所有可能結果。
同一件事,用「言語」講是這樣:
- 擲骰子的結果為 1、2、3、4、5、6 其中之一
- 擲骰子的結果為 1 的機率
用「數學」寫是這樣:
對照之後就很清楚了:隨機變數 負責描述一個事件的所有可能結果,而 負責描述其中某一個結果發生的機率(P 就是 Probability 的縮寫)。之後所有的公式都是建立在這兩個符號上,先把它們讀順,後面會輕鬆很多。
3 三種基本的機率類型
有了隨機變數和 的寫法之後,接著看三種最基本的機率類型:邊際機率 (Marginal Probability)、聯合機率 (Joint Probability) 與條件機率 (Conditional Probability)。
下面三種都用同一副撲克牌來舉例,這樣比較容易看出差別。一副撲克牌有 52 張,其中數字 6 有 4 張、紅色牌有 26 張。
Marginal Probability(邊際機率) 描述「某一個」事件單獨發生的機率。A 是一個事件,則 就是 Marginal Probability。以撲克牌來說,假設 A =「從一副撲克牌中抽出一張 6」,則 (52 張牌裡有 4 張 6)。
Joint Probability(聯合機率) 描述「兩個或多個」事件同時發生的機率。A 與 B 是兩個不同的事件,兩者同時發生的機率寫成 。「∩」符號叫做「交集」,白話一點就是「兩個條件都要成立」。以撲克牌來說,假設 A =「抽出一張 6」且 B =「抽出一張紅色的牌」,則 (52 張牌裡,同時是 6 又是紅色的只有 2 張)。
Conditional Probability(條件機率) 描述在某一個事件已經發生的「前提」之下,另一個事件發生的機率,寫成 ,唸作「在 B 發生的前提下 A 發生的機率」。以撲克牌來說,B =「抽出紅色的牌」、A =「抽出數字 4 的牌」,則 。關鍵在於分母變了:既然已經確定抽到的是紅色牌,考慮範圍就從 52 張縮小到 26 張紅色牌,而這 26 張裡面數字 4 有 2 張。
三者的差別可以這樣記:Marginal 只看一個事件,Joint 要求多個事件同時成立,Conditional 則是先把範圍限縮到某個已知條件之內,再看事件發生的機率。
4 把三種機率串起來:乘法法則
三種機率各自看完之後,接著看它們之間的關係,也就是機率裡的乘法法則 (Multiplication Rule)。

乘法法則的價值就在於它把前面三種機率類型整合進同一條式子裡。用文氏圖 (Venn diagram) 來看會更直覺。

是 B 事件發生的機率,對應圖中的 B 圓圈; 是 A 事件發生的機率,對應圖中的 A 圓圈。 則是 A 與 B 同時發生的機率,對應兩個圓圈重疊的那一塊。
所以,在 B 已經發生的前提下 A 發生的機率 ,就是「A 與 B 同時發生的機率 」除以「B 發生的機率 」。直覺上就是:已知 B 發生,等於把整個世界縮小成 B 這個圓圈,這時候 A 還能發生的部分只剩下重疊區域,所以拿重疊區域去除以 B 圓圈。
用剛才的撲克牌例子驗算一次會更有感覺。A =「抽出數字 4」、B =「抽出紅色的牌」,、,相除之後得到 ,和前面直接數紅色牌算出來的答案一致。
5 結論
這篇文章從機率 (Probability)、事件 (Event) 與隨機變數 (Random Variable) 這幾個最基礎的概念談起,接著介紹三種基本的機率類型:
- Marginal Probability:單一事件發生的機率
- Joint Probability:多個事件同時發生的機率
- Conditional Probability:在某個前提之下,另一個事件發生的機率
最後用乘法法則把三者接了起來:
下一篇「條件機率 vs 聯合機率」會補上其他基本觀念,更詳細地說明 Joint Probability 與 Conditional Probability 的差別,以及機率中 AND 與 OR 的概念。