摘要訊息 : 條件機率與獨立性.

0. 前言

在本文中, 我們將對帶有條件的機率模型進行分析, 並且分析條件機率之間的獨立性.

更新紀錄 :

• 2022 年 6 月 6 日進行第一次更新和修正.

1. 條件機率

假設箱中有 n 個球, 其中有 n_{1} 個白球和 n_{2} 個黑球. 其中, n_{1} + n_{2} = n. 那麼事件 A = \left \{ \text {隨意抽出一個球是白球} \right \} 的機率如何? 這個問題我們可以用事件的機率的概念來回答, 按照古典的機率, \mathop {\mathbf {P}}(A) = \frac {n_{1}}{n}. 但在不放回抽樣下, 對於第一次抽到白球的條件下, 第二次仍然抽到白球的機率如何?

要回答上面的疑問, 我們或許可以換種方法進行討論 : 假設第一次抽到白球, 那麼第二次抽箱之前, 還有 n - 1 個球, 其中 n_{1} - 1 個白球和 n_{2} 個黑球. 直觀上, 我們感興趣的事件 B = \left \{ \text {第二次抽到的球仍然是白球} \right \}, 其機率為 \mathop {\mathbf {P}}(B) = \frac {n_{1} - 1}{n - 1}.

定義 1. 設 (\Omega, \mathscr {A}, \mathbf {P}) 是有限機率空間, 事件 A \in \mathscr {A}, B \in \mathscr {A}, 稱 \displaystyle {\frac {\mathop {\mathbf {P}}(AB)}{\mathop {\mathbf {P}}(A)}} 為在事件 A 發生的情況下, 事件 B 發生的條件機率 (conditional probability), 記為 \mathop {\mathbf {P}}(B|A).

按古典的機率, 有 \displaystyle {\mathop {\mathbf {P}}(A) = \frac {\mathop {\mathrm {card}}{A}}{\mathop {\mathrm {card}}{\Omega}} \text { 和 } \mathop {\mathbf {P}}(AB) = \frac {\mathop {\mathrm {card}}{AB}}{\mathop {\mathrm {card}}{\Omega}}}. 則有 \displaystyle {\mathop {\mathbf {P}}(B|A) = \frac {\mathop {\mathbf {P}}(AB)}{\mathop {\mathbf {P}}(A)} = \frac {\mathop {\mathrm {card}}{AB}}{\mathop {\mathrm {card}}{A}}}. 於是, 我們可以得到一些條件機率的性質 :

1. \mathop {\mathbf {P}}(A | A) = 1;
2. \mathop {\mathbf {P}}(\emptyset | A) = 0;
3. 若 A \subseteq B, 則 \mathop {\mathbf {P}}(B|A) = 1;
4. \mathop {\mathbf {P}} \big ( (B_{1} + B_{2})|A \big ) = \mathop {\mathbf {P}}(B_{1}|A) + \mathop {\mathbf {P}}(B_{2}|A).

證明 :

對於性質 1, 性質 2 和性質 3 都比較顯然, 因此這裏僅對第四條進行證明.

\displaystyle {\begin {aligned} \mathop {\mathbf {P}} \big ( (B_{1} + B_{2})|A \big ) &= \frac {\mathop {\mathbf {P}} \big ( (B_{1} + B_{2})A \big )}{\mathop {\mathbf {P}}(A)} = \frac {\mathop {\mathbf {P}}(B_{1}A) + \mathop {\mathbf {P}}(B_{2}A)}{\mathop {\mathbf {P}}(A)} \\ &= \mathop {\mathbf {P}}(B_{1}|A) + \mathop {\mathbf {P}}(B_{2}|A). \end {aligned}}

\blacksquare

由這些性質可見, 對於固定的事件 A, 在機率空間 (\Omega \cap A, \mathscr {A} \cap A) 上的條件機率 \mathop {\mathbf {P}}(\cdot | A), 以及在空間 (\Omega, \mathscr {A}) 上的機率 \mathop {\mathbf {P}}(\cdot) 具有相同的性質. 其中, \mathscr {A} \cap A = \left \{ B \cap A : B \in A \right \}.

根據條件機率的性質 1 和性質 4, 顯然有 \displaystyle {\mathop {\mathbf {P}} \left ( (B + B^{C})|A \right ) = \mathop {\mathbf {P}}(B|A) + \mathop {\mathbf {P}}(B^{C}|A) = 1}. 需要注意的是, 一般而言 \displaystyle {\mathop {\mathbf {P}}(B|A) + \mathop {\mathbf {P}}(B|A^{C}) \neq 1, \mathop {\mathbf {P}}(B|A) + \mathop {\mathbf {P}}(B^{C}|A^{C}) \neq 1}.

例題 1. 考慮有兩個孩子的家庭, 若有條件

1. 歲數較大的是男孩;
2. 至少有一個是男孩,

那麼一家中有兩個男孩的機率如何?

解 :

記男孩為 \mathrm {B}, 女孩為 \mathrm {G}, 則基本事件空間為 \displaystyle {\Omega = \left \{ \mathrm {BB}, \mathrm {BG}, \mathrm {GB}, \mathrm {GG} \right \}}. 其中, ij 表示孩子 i 的年齡比孩子 j 大, i, j \in \left \{ \mathrm {G}, \mathrm {B} \right \}. 設事件 A = \left \{ \text {年長的是男孩} \right \}, 事件 B = \left \{ \text {年長的是男孩} \right \}. 那麼, 事件 A + B 表示至少有一個是男孩, 事件 AB 表示兩個都是男孩. 於是有 \displaystyle {\mathop {\mathbf {P}}(AB|A) = \frac {\mathop {\mathbf {P}}(ABA)}{\mathop {\mathbf {P}}(A)} = \frac {\mathop {\mathbf {P}}(AB)}{\mathop {\mathbf {P}}(A)} = \frac {\frac {1}{4}}{\frac {1}{2}} = \frac {1}{2}}, 和 \displaystyle {\begin {aligned} \mathop {\mathbf {P}}(AB|A + B) &= \frac {\mathop {\mathbf {P}} \big ( AB(A + B) \big )}{\mathop {\mathbf {P}}(A + B)} = \frac {\mathop {\mathbf {P}}(ABA + ABB)}{\mathop {\mathbf {P}}(A + B)} \\ &= \frac {\mathop {\mathbf {P}}(AB + AB)}{\mathop {\mathbf {P}}(A + B)} = \frac {\mathop {\mathbf {P}}(AB)}{\mathop {\mathbf {P}}(A + B)} \\ &= \frac {\frac {1}{4}}{\frac {3}{4}} = \frac {1}{3}. \end {aligned}}

\blacksquare

考慮基本事件空間 \Omega 的一個分割 \mathscr {D} = \left \{ A_{1}, A_{2}, ..., A_{n} \right \}. 我們稱這樣的分割為不相容的完全事件組. 那麼顯然, 對於事件 B, 有 \displaystyle {B = BA_{1} + BA_{2} + ... + BA_{n}}. 於是, \displaystyle {\mathop {\mathbf {P}}(B) = \sum \limits_{i = 1}\mathop {\mathbf {P}}(BA_{i})}. 根據條件機率的定義, 可得 \displaystyle {\mathop {\mathbf {P}}(BA_{i}) = \mathop {\mathbf {P}}(B|A_{i})\mathop {\mathbf {P}}(A_{i})}. 其中, i = 1, 2, …, n. 從而有 \displaystyle {\mathop {\mathbf {P}}(B) = \sum \limits_{i = 1}^{n}\mathop {\mathbf {P}}(B|A_{i})\mathop {\mathbf {P}}(A_{i})} 我們稱這個公式為全機率定理 (law of total probability). 特別地, 對於分割 \mathscr {D} = \left \{ A, A^{C} \right \}, 我們有 \displaystyle {\mathop {\mathbf {P}}(B) = \mathop {\mathbf {P}}(B|A)\mathop {\mathbf {P}}(A) + \mathop {\mathbf {P}}(B|A^{C})\mathop {\mathbf {P}}(A^{C})}.

例題 2. 箱中有 n 個球, 其中有 k 個 (k \leq n) 是幸運的球. 現在不放回地從中先後抽取量給去, 那麼第二個球是幸運的球的機率如何?

解 :

設事件 A = \left \{ \text {第一個球是幸運的球} \right \}, 事件 B = \left \{ \text {第二個球是幸運的球} \right \}. 事實上, 我們要求的是 \mathop {\mathbf {P}}(B). 容易地, 我們得到 \displaystyle {\mathop {\mathbf {P}}(A) = \frac {k}{n}, \mathop {\mathbf {P}}(AB) = \frac {k}{n} \cdot \frac {k - 1}{n - 1}, \mathop {\mathbf {P}}(A^{C}B) = \frac {n - k}{n} \cdot \frac {k}{n - 1}}, \displaystyle {\mathop {\mathbf {P}}(B|A) = \frac {\mathop {\mathbf {P}}(AB)}{\mathop {\mathbf {P}}(A)} = \frac {\frac {k(k - 1)}{n(n - 1)}}{\frac {k}{n}} = \frac {k - 1}{n - 1}} 和 \displaystyle {\mathop {\mathbf {P}}(B|A^{C}) = \frac {\mathop {\mathbf {P}}(A^{C}B)}{\mathop {\mathbf {P}}(A^{C})} = \frac {\frac {(n - k)k}{n(n - 1)}}{\frac {n - k}{n}} = \frac {k}{n - 1}}. 由全機率定理可得 \displaystyle {\mathop {\mathbf {P}}(B) = \mathop {\mathbf {P}}(B|A)\mathop {\mathbf {P}}(A) + \mathop {\mathbf {P}}(B|A^{C})\mathop {\mathbf {P}}(A^{C}) = \frac {k}{n}}.

\blacksquare

在例題 2 中有趣的是 : \mathop {\mathbf {P}}(A) = \mathop {\mathbf {P}}(B) = \frac {k}{n}. 儘管不知道先抽出的球的情況, 但是這並沒有改變之後抽出的球是否為幸運的球的機率.

由條件機率的定義可知, 當 \mathop {\mathbf {P}}(A) > 0, 有 \displaystyle {\mathop {\mathbf {P}}(AB) = \mathop {\mathbf {P}}(B | A)\mathop {\mathbf {P}}(A)}, 我們稱該式為機率論的乘法公式 (muitipiicatme formula of probability). 針對上式, 我們可以進行一些推廣.

推論 1. 假設有事件組 A_{1}, A_{2}, ..., A_{n}, 且 \mathop {\mathbf {P}}(A_{1}A_{2}...A_{n}) > 0, 則 \displaystyle {\mathop {\mathbf {P}}(A_{1}A_{2}...A_{n}) = \mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(A_{2}|A_{1})...\mathop {\mathbf {P}}(A_{n}|A_{1}A_{2}...A_{n - 1})}.

證明 :

我們使用歸納法進行證明.

當 n = 2 時, \mathop {\mathbf {P}}(A_{1}A_{2}) = \mathop {\mathbf {P}}(A_{2} | A_{1})\mathop {\mathbf {P}}(A_{1}). 根據條件機率的定義, 自然成立; 不妨假設當 n < k 時, 有 \mathop {\mathbf {P}}(A_{1}A_{2}...A_{n}) = \mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(A_{2} | A_{1})...\mathop {\mathbf {P}}(A_{n} | A_{1}A_{2}...A_{n - 1}) 成立; 當 n = k 時, 有 \displaystyle {\begin {aligned} \mathop {\mathbf {P}}(A_{1}A_{2}...A_{k}) &= \mathop {\mathbf {P}}(A_{k}|A_{1}A_{2}...A_{k - 1})\mathop {\mathbf {P}}(A_{1}A_{2}...A_{k - 1}) \\ &= \mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(A_{2}|A_{1})...\mathop {\mathbf {P}}(A_{k - 1}|A_{1}A_{2}...A_{k - 2})\mathop {\mathbf {P}}(A_{k}|A_{1}A_{2}...A_{k - 1}). \end {aligned}} 故當 n = k 時, \mathop {\mathbf {P}}(A_{1}A_{2}...A_{n}) = \mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(A_{2} | A_{1})...\mathop {\mathbf {P}}(A_{n} | A_{1}A_{2}...A_{n - 1}) 仍然成立.

綜上所述, 假設有事件組 A_{1}, A_{2}, ..., A_{n}, 則 \displaystyle {\mathop {\mathbf {P}}(A_{1}A_{2}...A_{n}) = \mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(A_{2}|A_{1})...\mathop {\mathbf {P}}(A_{n}|A_{1}A_{2}...A_{n - 1})}.

\blacksquare

設事件 A 和 B 滿足 \mathop {\mathbf {P}}(A) > 0 和 \mathop {\mathbf {P}}(B) > 0. 根據條件機率的定義, 我們又有 \displaystyle {\mathop {\mathbf {P}}(AB) = \mathop {\mathbf {P}}(A|B)\mathop {\mathbf {P}}(B)}. 結合機率論的乘法公式, 則有 \displaystyle {\mathop {\mathbf {P}}(A|B)\mathop {\mathbf {P}}(B) = \mathop {\mathbf {P}}(B|A)\mathop {\mathbf {P}}(A)} 等式兩側同乘以 \frac {1}{\mathop {\mathbf {P}}(B)}, 於是, \displaystyle {\mathop {\mathbf {P}}(A|B) = \frac {\mathop {\mathbf {P}}(B|A)\mathop {\mathbf {P}}(A)}{\mathop {\mathbf {P}}(B)}}.

推論 2. 設 \mathscr {D} = \left \{ A_{1}, A_{2}, ..., A_{n} \right \} 是基本事件空間 \Omega 上的一個分割, 那麼稱 \displaystyle {\mathop {\mathbf {P}}(A_{i}|B) = \frac {\mathop {\mathbf {P}}(A_{i})\mathop {\mathbf {P}}(B|A_{i})}{\sum \limits_{j = 1}^{n}\mathop {\mathbf {P}}(A_{j})\mathop {\mathbf {P}}(B|A_{j})}} 為 Bayes 定理 (Bayes' theorem). 其中, i = 1, 2, …, n.

證明 :

由全機率定理, 我們有 \displaystyle {\mathop {\mathbf {P}}(B) = \sum \limits_{i = 1}^{n}\mathop {\mathbf {P}}(B|A_{i})\mathop {\mathbf {P}}(A_{i})}. 將上式代換入 \mathop {\mathbf {P}}(A | B) = \frac {\mathop {\mathbf {P}}(B | A)\mathop {\mathbf {P}}(A)}{\mathop {\mathbf {P}}(B)} 可得 \displaystyle {\mathop {\mathbf {P}}(A|B) = \frac {\mathop {\mathbf {P}}(B|A)\mathop {\mathbf {P}}(A)}{\sum \limits_{i = 1}^{n}\mathop {\mathbf {P}}(B|A_{i})\mathop {\mathbf {P}}(A_{i})}}. 那麼對於任意 A_{i} \in \mathscr {D}, 置換後則有 \displaystyle {\mathop {\mathbf {P}}(A_{i}|B) = \frac {\mathop {\mathbf {P}}(A_{i})\mathop {\mathbf {P}}(B|A_{i})}{\sum \limits_{j = 1}^{n}\mathop {\mathbf {P}}(A_{j})\mathop {\mathbf {P}}(B|A_{j})}}. 其中, i = 1, 2, ..., n.

\blacksquare

在統計應用中, 事件 A_{1}, A_{2}, ..., A_{n} 組成事件組 A_{1} + A_{2} + ... + A_{n} = \Omega, 我們常稱 A_{i}\ (i = 1, 2, ..., n)) 為假設或者假說, 而 \mathop {\mathbf {P}}(A_{i}) 稱作假設 A_{i} 的事前機率 (prior probability, 又稱為先驗機率). 條件機率 \mathop {\mathbf {P}}(A_{i}|B) 稱作假設 A_{i} 在事件 B 出現後的事後機率 (posterior probability, 又稱為後驗機率).

例題 3. 假設匣子中有兩枚硬幣 : 硬幣 A_{1} 是對稱的硬幣, 硬幣 A_{2} 是不對稱的硬幣. 擲硬幣 A_{1} 得到正面 \mathrm {H} 的機率為 \frac {1}{2}, 擲硬幣 A_{2} 得到正面 \mathrm {H} 的機率為 \frac {1}{3}. 隨意選出一枚硬幣並且投擲, 其擲出的結果為正面, 那麼抽到硬幣為 A_{1} 的機率如何?

解 :

機率空間 \Omega = \left \{ A_{1}\mathrm {H}, A_{1}\mathrm {T}, A_{2}\mathrm {H}, A_{2}\mathrm {T} \right \} . 根據題描述, 可得 \displaystyle {\mathop {\mathbf {P}}(A_{1}) = \mathop {\mathbf {P}}(A_{2}) = \frac {1}{2}, \mathop {\mathbf {P}}(\mathrm {H}|A_{1}) = \mathop {\mathbf {P}}(\mathrm {T}|A_{1}) = \frac {1}{2}, \mathop {\mathbf {P}}(\mathrm {H}|A_{2}) = \frac {1}{3}, \mathop {\mathbf {P}}(\mathrm {T}|A_{2}) = \frac {2}{3}}. 根據條件機率的定義, 可知 \displaystyle {\mathop {\mathbf {P}}(A_{1}\mathrm {H}) = \mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(\mathrm {H}|A_{1}) = \frac {1}{4}, \mathop {\mathbf {P}}(A_{1}\mathrm {T}) = \mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(\mathrm {T}|A_{1}) = \frac {1}{4}} 和 \displaystyle {\mathop {\mathbf {P}}(A_{2}\mathrm {H}) = \mathop {\mathbf {P}}(A_{2})\mathop {\mathbf {P}}(\mathrm {H}|A_{2}) = \frac {1}{6}, \mathop {\mathbf {P}}(A_{2}\mathrm {T}) = \mathop {\mathbf {P}}(A_{2})\mathop {\mathbf {P}}(\mathrm {T}|A_{2}) = \frac {1}{3}}. 要求 \mathop {\mathbf {P}}(A_{1} | H), 結合推論 2, 即 Bayes 定理, 有 \displaystyle {\mathop {\mathbf {P}}(A_{1}|B) = \frac {\mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(B|A_{1})}{\sum \limits_{j = 1}^{n}\mathop {\mathbf {P}}(A_{j})\mathop {\mathbf {P}}(B|A_{j})} = \frac {\mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(B|A_{1})}{\mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(B|A_{1}) + \mathop {\mathbf {P}}(A_{2})\mathop {\mathbf {P}}(B|A_{2})} = \frac {3}{5}}.

\blacksquare

2. 獨立性

對於兩個事件 A 和 B, 如果事件 A 的出現對事件 B 出現的機率不產生任何影響, 那麼我們自然可以認為事件 B 不依賴於事件 A, 即事件 B 對事件 A 獨立. 根據條件機率的定義, 有 \displaystyle {\mathop {\mathbf {P}}(B|A) = \frac {\mathop {\mathbf {P}}(AB)}{\mathop {\mathbf {P}}(A)}}. 假設 \mathop {\mathbf {P}}(A) > 0, 那麼有 \displaystyle {\mathop {\mathbf {P}}(AB) = \mathop {\mathbf {P}}(B|A) = \mathop {\mathbf {P}}(A)}. 若事件 B 對事件 A 獨立, 則有 \mathop {\mathbf {P}}(B | A) = \mathop {\mathbf {P}}(B). 結合上式, 可得到當事件 B 對事件 A 獨立, 則有 \displaystyle {\mathop {\mathbf {P}}(AB) = \mathop {\mathbf {P}}(A)\mathop {\mathbf {P}}(B)}.

定義 2. 若對於事件 A 和 B, 有 \mathop {\mathbf {P}}(AB) = \mathop {\mathbf {P}}(A)\mathop {\mathbf {P}}(B), 那麼稱事件 A 和 B 關於機率 \mathop {\mathbf {P}} 為獨立的 (independent) 或統計獨立的 (statistically independent).

在機率論中, 往往不但需要考慮事件的獨立性, 還需要研究事件組的獨立性.

定義 3. 若 \Omega 子集族的代數 \mathscr {A}_{1} 和 \mathscr {A}_{2} 中, 任意 A_{1} \in \mathscr {A}_{1} 與 A_{2} \in \mathscr {A}_{2}, 都有 \displaystyle {\mathop {\mathbf {P}}(A_{1}A_{2}) = \mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(A_{2})}, 則稱代數 \mathscr {A}_{1} 和 \mathscr {A}_{2} 關於機率 \mathop {\mathbf {P}} 為獨立的 (或統計獨立的).

例題 4. 考慮兩個代數 \mathscr {A}_{1} = \left \{ A_{1}, A_{1}^{C}, \emptyset, \Omega \right \} 和 \mathscr {A}_{2} = \left \{ A_{2}, A_{2}^{C}, \emptyset, \Omega \right \}. 其中, A_{1} \in \mathscr {A}_{1}, A_{2} \in \mathscr {A}_{2}. 證明 : 代數 \mathscr {A}_{1} 和 \mathscr {A}_{2} 獨立若且唯若事件 A_{1} 和 A_{2} 獨立.

證明 :

要使得代數 \mathscr {A}_{1} 和 \mathscr {A}_{2} 相互獨立, 要求 A_{1}A_{2}, A_{1}A_{2}^{C}, ..., A_{1}\Omega 這十六個事件對相互獨立. 在事件 A_{1} 和事件 A_{2} 獨立後, 我們還需要驗證剩餘十五個事件對相互獨立. 現在驗證 A_{1} 與 A_{2}^{C} 相互獨立 : \displaystyle {\begin {aligned} \mathop {\mathbf {P}}(A_{1}A_{2}^{C}) &= \mathop {\mathbf {P}}(A_{1}(\Omega - A_{2})) = \mathop {\mathbf {P}}(A_{1}) - \mathop {\mathbf {P}}(A_{1}A_{2}) \\ &= \mathop {\mathbf {P}}(A_{1}) - \mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(A_{2}) = \mathop {\mathbf {P}}(A_{1})(1 - \mathop {\mathbf {P}}(A_{2})) \\ &= \mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(A_{2}^{C}). \end {aligned}}

利用相似的方法, 我們可以證明剩餘十四個事件對相互獨立. 於是, 代數 \mathscr {A}_{1} 和 \mathscr {A}_{2} 相互獨立.

\blacksquare

兩個集合以及兩個集合代數獨立的概念可以推廣到任意有限個集合以及集合代數上.

定義 4. 對於集合 A_{1}, A_{2}, ..., A_{n} 和任意 k = 1, 2, ..., n, 1 \leq i_{1} < i_{2} < ... < i_{k} \leq n, 若有 \displaystyle {\mathop {\mathbf {P}}(A_{i_{1}}A_{i_{2}}...A_{i_{k}}) = \mathop {\mathbf {P}}(A_{i_{1}})\mathop {\mathbf {P}}(A_{i_{2}})...\mathop {\mathbf {P}}(A_{i_{k}})}, 則稱集合 A_{1}, A_{2}, ..., A_{k} 關於機率 \mathop {\mathbf {P}} 全體獨立 (mutually independent) 或者全體統計獨立 (mutually statistically independent).

定義 5. 設有集合代數 \mathscr {A}_{1}, \mathscr {A}_{2}, ..., \mathscr {A}_{n}, 若對於任意集合 A_{1} \in \mathscr {A}_{1}, A_{2} \in \mathscr {A}_{2}, ..., A_{n} \in \mathscr {A}_{n} 獨立, 那麼稱集合代數 \mathscr {A}_{1}, \mathscr {A}_{2}, ..., \mathscr {A}_{n} 關於機率 \mathop {\mathbf {P}} 全體獨立或者全體統計獨立.

例題 5. 設基本事件空間 \Omega = \left \{ \omega_{1}, \omega_{2}, \omega_{3}, \omega_{4} \right \}, 所有基本事件都是等可能事件. 設事件 \displaystyle {A = \left \{ \omega_{1}, \omega_{2} \right \}, B = \left \{ \omega_{1}, \omega_{3} \right \}, C = \left \{ \omega_{1}, \omega_{4} \right \}}. 證明 : 事件 A, B 和 C 兩兩獨立但並非全體獨立.

證明 :

我們可以得到 \displaystyle {\mathop {\mathbf {P}}(AB) = \mathop {\mathbf {P}}(A) + \mathop {\mathbf {P}}(B) - \mathop {\mathbf {P}}(A + B) = \frac {1}{2} + \frac {1}{2} - \frac {3}{4} = \frac {1}{4}}, \displaystyle {\mathop {\mathbf {P}}(AC) = \mathop {\mathbf {P}}(A) + \mathop {\mathbf {P}}(C) - \mathop {\mathbf {P}}(A + C) = \frac {1}{4}}, \displaystyle {\mathop {\mathbf {P}}(BC) = \mathop {\mathbf {P}}(B) + \mathop {\mathbf {P}}(C) - \mathop {\mathbf {P}}(B + C) = \frac {1}{4}}, \displaystyle {\mathop {\mathbf {P}}(A)\mathop {\mathbf {P}}(B) = \frac {1}{4} = \mathop {\mathbf {P}}(AB)}, \displaystyle {\mathop {\mathbf {P}}(A)\mathop {\mathbf {P}}(C) = \frac {1}{4} = \mathop {\mathbf {P}}(AC)} 和 \displaystyle {\mathop {\mathbf {P}}(B)\mathop {\mathbf {P}}(C) = \frac {1}{4} = \mathop {\mathbf {P}}(BC)}. 可見, 事件 A, B 和 C 之間兩兩獨立.

又因 \displaystyle {\mathop {\mathbf {P}}(ABC) = \mathop {\mathbf {P}}(AB) + \mathop {\mathbf {P}}(AC + \mathop {\mathbf {P}}(BC) + \mathop {\mathbf {P}}(A + B + C) - \mathop {\mathbf {P}}(A) - \mathop {\mathbf {P}}(B) - \mathop {\mathbf {P}}(C) = \frac {1}{4}} 且 \displaystyle {\mathop {\mathbf {P}}(A)\mathop {\mathbf {P}}(B)\mathop {\mathbf {P}}(C) = \frac {1}{8} \neq \mathop {\mathbf {P}}(ABC)}, 故事件 A, B 和 C 之間兩兩獨立但並非全體獨立.

\blacksquare

由例題 5 我們知道, 事件之間兩兩獨立並不能代表事件全體獨立. 另外, 還需要指出, 對於某些事件 A_{1}, A_{2}, ..., A_{n}, 由 \displaystyle {\mathop {\mathbf {P}}(A_{1}A_{2}...A_{n}) = \mathop {\mathbf {P}}(A_{1})\mathop {\mathbf {P}}(A_{2})...\mathop {\mathbf {P}}(A_{n})} 一般也無法得出事件 A_{1}, A_{2}, ..., A_{n} 之間兩兩獨立.

例題 6. 設基本事件空間 \Omega = \left \{ \omega : \omega = (i, j), i, j = 1, 2, 3, 4, 5, 6 \right \}, 且 \Omega 中任意事件都是等可能事件. 對於事件 \displaystyle {A = \left \{ (i, j) : j = 1, 2, 5 \right \}, B = \left \{ (i, j) : j = 4, 5, 6 \right \}, C = \left \{ (i, j) : i + j = 9 \right \}}, 證明事件 A, B 和 C 並非兩兩獨立.

證明 :

我們可以得到 \displaystyle {\mathop {\mathbf {P}}(A) = \frac {1}{2}, \mathop {\mathbf {P}}(B) = \frac {1}{2}, \mathop {\mathbf {P}}(C) = \frac {2}{6} \times \frac {2}{6} = \frac {1}{9}} 和 \displaystyle {\mathop {\mathbf {P}}(AB) = \mathop {\mathbf {P}}(A) + \mathop {\mathbf {P}}(B) - \mathop {\mathbf {P}}(A + B) = 1 - \frac {5}{6} = \frac {1}{6} \neq \mathop {\mathbf {P}}(A)\mathop {\mathbf {P}}(B)}. 對於 \mathop {\mathbf {P}}(AC), 要想使得事件 A 和 C 同時發生, 若且唯若 j = 5 且 i = 4. 故 \displaystyle {\mathop {\mathbf {P}}(AC) = \frac {1}{6} \times \frac {1}{6} = \frac {1}{36} \neq \mathop {\mathbf {P}}(A)\mathop {\mathbf {P}}(C)}. 對於 \mathop {\mathbf {P}}(BC), 要想事件 B 和 C 同時發生, 當事件 B 發生時, C 中的 i 有且唯有一個值與之對應, 使得 i + j = 9 成立. 故 \displaystyle {\mathop {\mathbf {P}}(BC) = \frac {1}{2} \times \frac {1}{6} = \frac {1}{12} \neq \mathop {\mathbf {P}}(B)\mathop {\mathbf {P}}(C)}.

綜上所述, 事件 A, B 和 C 並非兩兩獨立

\blacksquare

對於例題 6, 我們有發現要使得事件 A, B 和 C 同時發生, 若且唯若 i = 5 且 j = 4. 此時, \mathop {\mathbf {P}}(ABC) = \frac {1}{6} \times \frac {1}{6} = \frac {1}{36} = \mathop {\mathbf {P}}(A)\mathop {\mathbf {P}}(B)\mathop {\mathbf {P}}(C). 因此, 這也印證了無法從全體獨立得到兩兩獨立.

從獨立性的概念出發, 對於導出二項分布的經典模型 (\Omega, \mathscr {A}, \mathbf {P}), 其中, \Omega = \left \{ \omega : \omega = (a_{1}, a_{2}, ..., a_{n}), a_{i} = 0, 1\ (i = 1, 2, ..., n) \right \}, \mathscr {A} = \left \{ A : A \subseteq \Omega \right \}, \mathop {\mathbf {P}}(\left \{ \omega \right \}) = p(\omega), p(\omega) = p^{\sum \limits_{i}a_{i}}(1 - p)^{n - \sum \limits_{i}a_{i}}. 考慮事件 A \subset \Omega, 如果事件 A 值決定於 a_{k} 的值, 則稱該事件依賴於 k 時的試驗, 即對於事件 A_{k} 和 A_{k}^{C}, 有 \displaystyle {A_{k} = \left \{ \omega : a_{k} = 1 \right \}, A_{k}^{C} = \left \{ \omega : a_{k} = 0 \right \}}. 其中, k = 1, 2, ..., n.

考慮代數序列 \mathscr {A}_{1}, \mathscr {A}_{2}, ..., \mathscr {A}_{n}, 其中, \mathscr {A}_{k} = \left \{ A_{k}, A_{k}^{C}, \emptyset, \Omega \right \}\ (k = 1, 2, ..., n), 有 \displaystyle {\begin {aligned} \mathop {\mathbf {P}}(A_{k}) &= \sum \limits_{\left \{ \omega : a_{k} = 1 \right \}}p(\omega) \\ &= \sum \limits_{\left \{ \omega : a_{k} = 1 \right \}}p^{\sum \limits_{i}a_{i}}q^{n - \sum \limits_{i}a_{i}} \\ &= p\sum \limits_{\left \{ a_{i} : i \neq k \right \}}p^{\sum \limits_{i \neq k}a_{i}}q^{(n - 1) - \sum \limits_{i \neq k}a_{i}}. \end {aligned}} 要計算 \sum \limits_{\left \{ a_{i} : i \neq k \right \}}p^{\sum \limits_{i \neq k}a_{i}}q^{(n - 1) - \sum \limits_{i \neq k}a_{i}}, 實際上就是將 1, 2, ..., n - 1 個 "1" 放入 n - 1 個位置, 屬於不放回無序抽樣, 共有 \binom {j}{n - 1} 中方法. 其中, j = 1, 2, ..., n - 1. 故有 \displaystyle {\begin {aligned} \mathop {\mathbf {P}}(A_{k}) &= p^{\sum \limits_{i \neq k}a_{i}}q^{(n - 1) - \sum \limits_{i \neq k}a_{i}} \\ &= p \sum \limits_{j = 1}^{n - 1}\binom {j}{n - 1}p^{j}q^{(n - 1) - j} \\ &= p. \end {aligned}} 通過類似的計算, 我們可以得到 \mathop {\mathbf {P}}(A_{k}^{C}) = q. 除此之外, 當 k \neq l 時, 有 \displaystyle {\mathop {\mathbf {P}}(A_{k}A_{l}) = p^{2}, \mathop {\mathbf {P}}(A_{k}A_{l}^{C}) = \mathop {\mathbf {P}}(A_{k}^{C}A_{l}) = pq, \mathop {\mathbf {P}}(A_{k}^{C}A_{l}^{C}) = q^{2}}. 於是, 代數 \mathscr {A}_{k} 與 \mathscr {A}_{l} 相互獨立. 其中, k \neq l. 類似地, 我們可以得到代數 \mathscr {A}_{1}, \mathscr {A}_{2}, ..., \mathscr {A}_{n} 獨立. 因此, 我們把模型 (\Omega, \mathscr {A}, \mathbf {P}) 稱為適用於具有兩種結局且成功地機率為 p 的 n 次獨立試驗的模型, 也稱為 Bernoulli 概型 (Bernoulli scheme).

3. 直積

假設有 n 個有限機率空間 (\Omega, \mathscr {B}_{1}, \mathbf {P}), (\Omega, \mathscr {B}_{2}, \mathbf {P}), ..., (\Omega, \mathscr {B}_{n}, \mathbf {P}) 組成的點 \omega = (a_{1}, a_{2}, ..., a_{n}) 的空間 \Omega = \Omega_{1} \times \Omega_{2} \times ... \Omega_{n}. 其中, a_{i} \in \Omega_{i}\ (i = 1, 2, ..., n). 記 \displaystyle {\mathscr {A} = \mathscr {B}_{1} \oplus \mathscr {B}_{2} \oplus ... \oplus \mathscr {B}_{n}} 是 \Omega 的子集的代數, 由形如 A = B_{1} \times B_{2} \times ... \times B_{n} 的集合構成. 其中, B_{i} \in \mathscr {B}_{i}, i = 1, 2, …, n. 最後, 對於 \omega = (a_{1}, a_{2}, ..., a_{n}), 令 p(\omega) = p_{1}(a_{1})p_{2}(a_{2})...p_{n}(a_{n}), 且把集合 A = B_{1} \times B_{2} \times ... \times B_{n} 的機率定義為 \displaystyle {\mathop {\mathbf {P}}(A) = \sum \limits_{\left \{ a_{1} \in B_{1}, a_{2} \in B_{2}, ..., a_{n} \in B_{n} \right \}}p_{1}(a_{1})p_{2}(a_{2})...p_{n}(a_{n})}. 顯然, \mathop {\mathbf {P}}(\Omega) = 1. 因此, (\Omega, \mathscr {A}, \mathbf {P}) 決定了某個機率空間, 稱作機率空間 \displaystyle {(\Omega, \mathscr {B}_{1}, \mathbf {P}), (\Omega, \mathscr {B}_{2}, \mathbf {P}), ..., (\Omega, \mathscr {B}_{n}, \mathbf {P})} 的直積 (direct product).

關於機率空間的直積, 有兩條顯然的性質 :

1. 事件 A_{1} = \left \{ \omega : a_{1} \in B_{1} \right \}, A_{2} = \left \{ \omega : a_{2} \in B_{2} \right \}, ..., A_{n} = \left \{ \omega : a_{n} \in B_{n} \right \} 關於機率 \mathop {\mathbf {P}} 獨立. 其中, B_{i} \in \mathscr {B}_{i}, i = 1, 2, ..., n;
2. 空間 \Omega 的子集代數 \mathscr {A}_{1} = \left \{ A_{1} : A_{1} = \left \{ \omega : a_{1} \in B_{1} \right \}, B_{1} \in \mathscr {B}_{1} \right \}, \mathscr {A}_{2} = \left \{ A_{2} : A_{2} = \left \{ \omega : a_{2} \in B_{2} \right \}, B_{2} \in \mathscr {B}_{2} \right \}, ..., \mathscr {A}_{n} = \left \{ A_{n} : A_{n} = \left \{ \omega : a_{n} \in B_{n} \right \}, B_{n} \in \mathscr {B}_{n} \right \} 獨立.

由上述討論, 我們可以得到滿足 \displaystyle {\begin {aligned} &\Omega = \left \{ \omega : \omega = (a_{1}, a_{2}, ..., a_{n}), a_{i} = 0, 1\ (i = 1, 2, ..., n) \right \}, \\ &\ \ \ \ \mathscr {A} = \left \{ A : A \subseteq \Omega \right \}, \mathop {\mathbf {P}}(\left \{ \omega \right \}) = p(\omega) = p^{\sum \limits_{i}a_{i}}q^{n - \sum \limits_{i}a_{i}} \end {aligned}} 的 Bernoulli 概型 (\Omega, \mathscr {A}, \mathbf {P}) 可以由機率空間 (\Omega, \mathscr {A}_{1}, \mathbf {P}), (\Omega, \mathscr {A}_{2}, \mathbf {P}), ..., (\Omega, \mathscr {A}_{n}, \mathbf {P}) 的直積得到. 其中, \Omega = \left \{ 0, 1 \right \}, \mathscr {A}_{i} = \left \{ \{ 0 \}, \{ 1 \}, \emptyset, \Omega \right \}, i = 1, 2, ..., n. 而根據機率空間直積的性質, 自然有 \displaystyle {\mathop {\mathbf {P}}_{i}(\left \{ 1 \right \}) = p, \mathop {\mathbf {P}}_{i}(\left \{ 0 \right \}) = q = 1 - p} 且代數序列 \mathscr {A}_{1}, \mathscr {A}_{2}, ..., \mathscr {A}_{n} 獨立.

4. 練習題

自主練習 1. 箱子中有 n 個球, 其中有 n_{1} 個白球. 考慮不放回地抽取容量為 m 的樣本. 以 B_{j} 表示事件 \left \{ \text {第 } j \text { 次抽到的是白球} \right \}, 以 A_{k} 表示事件 \left \{ \text {以容量為 } n \text { 的樣本中恰好有 } k \text { 個白球} \right \}. 證明 : 不論對於不放回抽樣還是放回抽樣, 都有 \displaystyle {\mathop {\mathbf {P}}(B_{j}|A_{k}) = \frac {k}{m}}.

自主練習 2. 設 A 和 B 是獨立事件. 通過 \mathop {\mathbf {P}}(A) 和 \mathop {\mathbf {P}}(B) 表示下列事件的機率 : 在 A 和 B 之中, 恰好出現 k 個事件, 至少出現 k 個事件, 以及最多出現 k 個事件.

自主習題 3. 證明 : 如果事件 A, B 和 C 滿足 \displaystyle {\mathop {\mathbf {P}}(A | C) > \mathop {\mathbf {P}}(B | C) \text { 且 } \mathop {\mathbf {P}}(A | C^{C}) > \mathop {\mathbf {P}}(B | C^{C})}, 則 \mathop {\mathbf {P}}(A) > \mathop {\mathbf {P}}(B).

自主習題 4. 設 A, B 和 C 是兩兩獨立的等機率事件, 且 ABC = \emptyset. 求機率 \mathop {\mathbf {P}}(A) 的最大值.

自主習題 5. 在箱子中原來有一個白球, 以相同的機率將一個白球或者黑球放入箱子中. 然後隨意取出一個球, 結果是白球. 問箱子中剩下那個球也是白球的機率如何?