摘要訊息 : 一些初等機率論中的經典模型和分佈.

0. 前言

在《【機率論】初等機率論——有限種結局試驗的機率模型》中, 我們對有限種結局試驗建立了機率論體系. 在本節中, 我們將要討論一些經典的機率模型和分佈.

更新紀錄 :

• 2022 年 6 月 6 日進行第一次更新和修正.

1. 二項分佈

假設將一枚硬幣接連擲 n 次, 觀測結果用有序陣列 (a_{1}, a_{2}, ..., a_{n}) 表示. 其中, 當第 i 次擲出現正面時, a_{i} = 1; 當第 i 次擲出現反面時, a_{i} = 0, i = 1, 2, ..., n. 那麼基本事件空間具有如下形式 : \displaystyle {\Omega = \{ \omega : \omega = (a_{1}, a_{2}, ..., a_{n}), a_{i} = 0 \text { 或者 } a_{i} = 1\ (i = 1, 2, ..., n) \}}. 賦予每一個基本事件 \omega = (a_{1}, a_{2}, ..., a_{n}) 以機率 \displaystyle {p(\omega) = p^{\sum \limits_{i : \left \{ a_{i} = 1 \right \}}a_{i}} \cdot q^{n - \sum \limits_{i : \left \{ a_{i} = 1 \right \}}a_{i}}}, 其中 p 與 q 為非負實數且 p + q = 1. 首先, 我們需要說明這樣去定義機率 p(\omega) 的合理性. 為此, 我們只需要驗證 \displaystyle {\sum \limits_{\omega \in \Omega}p(\omega) = 1}.

考慮所有滿足 \displaystyle {\sum \limits_{i\ :\ \{ a_{i} = 1 \}}a_{i} = k} 的基本事件 \omega = (a_{1}, a_{2}, ..., a_{n}). 其中, k = 0, 1, 2, ..., n. 這等同於將 k 個 1 分配至 n 個位置上, 屬於不放回無序抽樣. 因此, 對於任意的正整數 k\ (0 \leq k \leq n), 這樣的基本事件個數共有 \binom {k}{n}. 於是, \displaystyle {\begin {aligned} \sum \limits_{\omega \in \Omega}p(\omega) &= \sum \limits_{k = 0}^{n} \binom {k}{n}p^{k}q^{n - k} \\ &= \binom {0}{n}p^{0}q^{n} + \binom {1}{n}p^{1}q^{n - 1} + ... + \binom {n - 1}{n}p^{n - 1}q^{1} + \binom {n}{n}p^{n}q^{0} \\ &= q^{n} + npq^{n - 1} + ... + np^{n - 1}q + p^{n} \\ &= (p + q)^{n} \\ &= 1^{n} = 1. \end {aligned}} 設 \mathscr {A} 為空間 \Omega 的一切子集的代數, 在 \mathscr {A} 上定義了機率 \displaystyle {\mathop {\mathbf {P}}(A) = \sum \limits_{\omega \in \Omega}p(\omega), A \in \mathscr {A}}. 其中, p(\{ \omega \}) = p(\omega), \omega \in \Omega. 這樣, 我們就定義了描繪 n 次擲硬幣的機率模型.

事件 \displaystyle {A_{k} = \{ \omega : \omega = (a_{1}, a_{2}, ..., a_{n}), a_{1} + a_{2} + ... + a_{n} = k \}} 表示恰好有 k 次 "成功". 其中, k = 1, 2, ..., n. 由之前的討論, 我們知道 \mathop {\mathbf {P}}(A_{k}) = \binom {k}{n}p^{k}q^{n - k} 且 \sum \limits_{k = 0}^{n}\mathop {\mathbf {P}}(A_{k}) = 1. 機率組 (\mathop {\mathbf {P}}(A_{0}), \mathop {\mathbf {P}}(A_{1}), \mathop {\mathbf {P}}(A_{2}), ..., \mathop {\mathbf {P}}(A_{n})) 稱作二項分佈 (binomial distribution), 也稱在容量為 n 的樣本中, "成功" 的次數服從二項分佈.

例題 1. 對於投擲對稱硬幣的情形, 我們一般假定 p = \frac {1}{2}. 若我們投擲 n 次硬幣, 記 A_{k} 為 k 次正面朝上的情形 (k = 0, 1, 2, ..., n), 則 n 次投擲中共有 k 次正面朝上的機率即為 P_{n}(k) = \mathop {\mathbf {P}}(A_{k}).

解 :

當 n = 5 時, 有 \displaystyle {\begin {cases} P_{5}(0) = \binom {0}{5} \cdot \frac {1}{2^{0}} \cdot \frac {1}{2^{5}} = \frac {1}{32}, \\ P_{5}(1) = \binom {1}{5} \cdot \frac {1}{2^{1}} \cdot \frac {1}{2^{4}} = \frac {5}{32}, \\ P_{5}(2) = \binom {2}{5} \cdot \frac {1}{2^{2}} \cdot \frac {1}{2^{3}} = \frac {10}{32}, \\ P_{5}(3) = \binom {3}{5} \cdot \frac {1}{2^{3}} \cdot \frac {1}{2^{2}} = \frac {10}{32}, \\ P_{5}(4) = \binom {4}{5} \cdot \frac {1}{2^{4}} \cdot \frac {1}{2^{1}} = \frac {5}{32}, \\ P_{5}(5) = \binom {5}{5} \cdot \frac {1}{2^{5}} \cdot \frac {1}{2^{0}} = \frac {1}{32}. \end {cases}}

當 n = 10 時, 有 \displaystyle {\begin {cases} P_{10}(0) = \binom {0}{10} \cdot \frac {1}{2^{0}} \cdot \frac {1}{2^{10}} = \frac {1}{1024}, \\ P_{10}(1) = \binom {1}{10} \cdot \frac {1}{2^{1}} \cdot \frac {1}{2^{9}} = \frac {10}{1024}, \\ P_{10}(2) = \binom {2}{10} \cdot \frac {1}{2^{2}} \cdot \frac {1}{2^{8}} = \frac {45}{1024}, \\ P_{10}(3) = \binom {3}{10} \cdot \frac {1}{2^{3}} \cdot \frac {1}{2^{7}} = \frac {120}{1024}, \\ P_{10}(4) = \binom {4}{10} \cdot \frac {1}{2^{4}} \cdot \frac {1}{2^{6}} = \frac {210}{1024}, \\ P_{10}(5) = \binom {5}{10} \cdot \frac {1}{2^{5}} \cdot \frac {1}{2^{5}} = \frac {252}{1024}, \\ P_{10}(6) = \binom {6}{10} \cdot \frac {1}{2^{6}} \cdot \frac {1}{2^{4}} = \frac {210}{1024}, \\ P_{10}(7) = \binom {7}{10} \cdot \frac {1}{2^{7}} \cdot \frac {1}{2^{3}} = \frac {120}{1024}, \\ P_{10}(8) = \binom {8}{10} \cdot \frac {1}{2^{8}} \cdot \frac {1}{2^{2}} = \frac {45}{1024}, \\ P_{10}(9) = \binom {9}{10} \cdot \frac {1}{2^{9}} \cdot \frac {1}{2^{1}} = \frac {10}{1024}, \\ P_{10}(10) = \binom {10}{10} \cdot \frac {1}{2^{10}} \cdot \frac {1}{2^{0}} = \frac {1}{1024}. \end {cases}}

...

我們發現, 不論 n 的值如何, P_{n}(k) 的值會在 k 接近 \frac {1}{2} 時達到頂峰. 下面是二項分佈下, 幾個幾個不同的 n 最終在圖像上的表現 :

\blacksquare

例題 2. 設有一質點在直角座標系統的原點出發, 每經過單位時間就向上或者向下移動一步 :

於是, 經過 n 個單位時間後, 質點移動 n 步. 顯然, 質點運動的每一條軌跡 \omega 可以用序列 (s_{1}, s_{2}, ..., s_{n}) 來表示. 對於第 i 步, 若質點向上移動, 則 s_{i} = 1; 若質點向下移動, 則 s_{i} = -1. 其中, i = 1, 2, ..., n. 現賦予每一條軌跡 \omega 以機率 \displaystyle {p(\omega) = p^{\upsilon(\omega)}q^{n - \upsilon(\omega)}}, 其中 \upsilon(\omega) 表示序列 \omega 中 s_{i} = 1 的個數, 即 \upsilon(\omega) = \frac {\sum \limits_{i = 1}^{n}s_{i} + n}{2}. 除此之外, p 和 q 都為非負實數且 p + q = 1. 由於 \sum \limits_{\omega \in \Omega}p(\omega) = 1, 可見機率組 \left \{ p(\omega) \right \} 連同軌跡 \omega = (s_{1}, s_{2}, ..., s_{n}) 的空間 \Omega 及其子集確定了質點運動的機率模型. 那麼事件 A_{k} = \left \{ \text {質點經過 } n \text { 步到達縱座標為 } k \text { 的點} \right \} 的機率如何?

解 :

一切滿足 v(\omega) - (n - v(\omega)) = k, 即 v(\omega) = \frac {n + k}{2} 的軌跡都符合問題描述. 那麼上述問題可以化約為將 \frac {n + k}{2} 個 "1" 放置到 n 個位置上, 這樣, 符合描述的軌跡共有 \begin {pmatrix} \frac {n + k}{2} \\ 2 \end {pmatrix} 條, 故有 \displaystyle {\mathop {\mathbf {P}}(A_{k}) = \binom {\frac {n + k}{2}}{n}p^{\frac {n + k}{2}}q^{n - \frac {n + k}{2}} = \binom {\frac {n + k}{2}}{n}p^{\frac {n + k}{2}}q^{\frac {n - k}{2}}}.

\blacksquare

在例題 2 中, 我們可以認為二項分佈 \displaystyle {\left \{ \mathop {\mathbf {P}}(A_{-n}), \mathop {\mathbf {P}}(A_{-(n - 1)}), ..., \mathop {\mathbf {P}}(A_{-1}), \mathop {\mathbf {P}}(A_{0}), \mathop {\mathbf {P}}(A_{1}), \mathop {\mathbf {P}}(A_{2}), ..., \mathop {\mathbf {P}}(A_{n}) \right \}} 描繪了質點移動 n 步後位置的機率分佈. 特別地, 對於 p = \frac {1}{2} 的情形, 每條軌跡的機率為 \frac {1}{2^{n}}, 於是有 \displaystyle {\mathop {\mathbf {P}}(A_{k}) = \frac {\binom {\frac {n + k}{2}}{n}}{2^{n}}}. 其中, -n \leq k \leq n. 接著, 我們來討論當 n \to \infty 時, 這些機率的漸進性質.

若令移動步伐為 2n, 由二項式係數的性質可見, 在機率 \mathop {\mathbf {P}}(A_{k})\ (|k| \leq 2n) 中的最大機率為 \displaystyle {\mathop {\mathbf {P}}(A_{0}) = \binom {n}{2n}\frac {1}{2^{2n}} = \frac {(2n)!}{(n!)^{2}} \cdot \frac {1}{2^{2n}}}. 根據 Stirling 公式, 我們知道 n! \doteq \sqrt {2\pi n}\left ( \frac {n}{e} \right )^{n}. 因此, 對於充分大的 n, 有 \displaystyle {\mathop {\mathbf {P}}(A_{0}) \doteq \frac {1}{\sqrt {\pi n}}}.

2. 多項分佈

現在, 我們推廣二項分佈的機率模型. 假設基本事件空間有如下構造 : \displaystyle {\Omega = \left \{ \omega : \omega = (a_{1}, a_{2}, ..., a_{n}), a_{i} = b_{1}, b_{2}, ..., b_{r}\ (i = 1, 2, ..., n) \right \}}. 其中, b_{1}, b_{2}, ..., b_{r} 都是給定的數. 設 \upsilon_{i}(\omega) 是序列 \omega = (a_{1}, a_{2}, ..., a_{n}) 中等於 b_{i}\ (i = 1, 2, ..., r) 元素的數量, 而基本事件 \omega 有機率 \displaystyle {p(\omega) = p_{1}^{\upsilon_{1}(\omega)}p_{2}^{v_{2}(\omega)}...p_{r}^{\upsilon_{r}(\omega)}} 其中, p_{i} \geq 0\ (i = 1, 2, ..., r), p_{1} + p_{2} + ... + p_{r} = 1. 為了說明推廣後的情形仍然合理, 我們首先注意到 \displaystyle {\sum \limits_{\omega \in \Omega}p(\omega) = \sum \limits_{ \left \{ \begin {gathered} \scriptsize {n_{1} \geq 0, n_{2} \geq 0, ..., n_{r} \geq 0} \\ \scriptsize {n_{1} + n _{2} + ... + n_{r} = n} \end {gathered} \right \}} \binom {n_{1}, n_{2}, ..., n_{r}}{n}p_{1}^{n_{1}}p_{2}^{n_{2}}...p_{r}^{n_{r}}}. 上式中, \binom {n_{1}, n_{2}, ..., n_{r}}{n} 表示有序序列 (a_{1}, a_{2}, ..., a_{n}) 的數量. 其中, 元素 b_{1} 重複 n_{1} 次, 元素 b_{2} 重複 n_{2} 次, ..., 元素 b_{r} 重複 n_{r} 次. 由於共有 \binom {n_{1}}{n} 種方法將元素 b_{1} 放置在 n 個位置上, 共有 \binom {n_{2}}{n} 種方法將元素 b_{2} 放置在 n 個位置上, ..., 共有 \binom {n_{r}}{n} 種方法將元素 b_{r} 放置在 n 個位置上, 所以 \displaystyle {\begin {aligned} \binom {n_{1}, n_{2}, ..., n_{r}}{n} &= \binom {n_{1}}{n}\binom {n_{2}}{n - n_{1}}...\binom {n_{r}}{n - (n_{1} + n_{2} + ... n_{r - 1})} \\ &= \frac {n!}{n_{1}!(n - n_{1})!} \times \frac {n!}{n_{2}!(n - n_{1} - n_{2})!} \times ... \times 1 \\ &= \frac {n!}{n_{1}!n_{2}!...n_{r}!}. \end {aligned}} 故 \displaystyle {\begin {aligned} \sum \limits_{\omega \in \Omega}p(\omega) &= \sum \limits_{ \left \{ \begin {gathered} \scriptsize {n_{1} \geq 0, n_{2} \geq 0, ..., n_{r} \geq 0} \\ \scriptsize {n_{1} + n _{2} + ... + n_{r} = n} \end {gathered} \right \}} \binom {n_{1}, n_{2}, ..., n_{r}}{n}p_{1}^{n_{1}}p_{2}^{n_{2}}...p_{r}^{n_{r}} \\ &= (p_{1} + p_{2} + ... + p_{r})^{n} = 1. \end {aligned}} 因此, 針對二項分佈推廣後的分佈仍然是機率分佈.

設 \displaystyle {A_{n_{1}, n_{2}, ..., n_{r}} = \left \{ \omega : \upsilon_{1}(\omega) = n_{1}, \upsilon_{2}(\omega) = n_{2}, ..., \upsilon_{r}(\omega) = n_{r} \right \}}, 則 \displaystyle {\mathop {\mathbf {P}}(A_{n_{1}, n_{2}, ..., n_{r}}) = \binom {n_{1}, n_{2}, ..., n_{r}}{n}p_{1}^{n_{1}}p_{2}^{n_{2}}...p_{r}^{n_{r}}}. 機率組 \{ \mathop {\mathbf {P}}(A_{n_{1}, n_{2}, ..., n_{r}}) \} 稱為多項分佈 (multinomial distribution). 而二項分佈是 r = 2 時多項分佈的特例.

3. 多元超幾何分佈

例題 3. 假設一箱子中有編號為 1, 2, ..., n 的 n 個不同的球. 其中, n_{1} 個球具有顏色 c_{1}, n_{2} 個球具有顏色 c_{2}, ..., n_{r} 個球具有顏色 c_{r}, n_{1} + n_{2} + ... + n_{r} = n. 現在從箱中進行 m 次不放回抽樣 (m < n). 基本事件空間為 \displaystyle {\begin {aligned} \Omega = \{ &\omega : \omega = (a_{1}, a_{2}, ..., a_{m}), a_{k} \neq a_{l}, k, l = 1, 2, ..., m, k \neq l, \\ &\ \ \ \ a_{i} = 1, 2, ..., n \ (i = 1, 2, ..., m) \}. \end {aligned}} 顯然, \mathop {\mathrm {card}}{\Omega} = (n)_{m}. 假設基本事件都是等可能的, 而事件 B_{m_{1}, m_{2}, ..., m_{r}} = \{ m_{1} \text { 個球具有顏色 } c_{1}, m_{2} \text { 個球具有顏色 } c_{2}, ..., m_{r} \text { 個球具有顏色 } c_{r}, m_{1} + m_{2} + ... + m_{r} = m \} 的機率如何?

解 :

從 n_{i} 個具有顏色 c_{i} 的球中抽出 m_{i} 個, 共有 \binom {m_{i}}{n_{i}} 種可能的結局. 其中, i = 1, 2, ..., r. 故有 \displaystyle {\mathop {\mathrm {card}}{\left \{ B_{m_{1}, m_{2}, ..., m_{r}} \right \}} = \binom {m_{1}}{n_{1}}\binom {m_{2}}{n_{2}}...\binom {m_{r}}{n_{r}} }. 因此, \displaystyle {\mathop {\mathbf {P}}(B_{m_{1}, m_{2}, ..., m_{r}}) = \frac {\mathop {\mathrm {card}}{\left \{ B_{m_{1}, m_{2}, ..., m_{r}} \right \}}}{\mathop {\mathrm {card}}{\Omega}} = \frac {\binom {m_{1}}{n_{1}}\binom {m_{2}}{n_{2}}...\binom {m_{r}}{n_{r}}}{\binom {m}{n}}}

\blacksquare

機率組 \{ B_{m_{1}, m_{2}, ..., m_{r}} \} 稱為多元超幾何分布 (multivariate hypergeometric distribution). 當 r = 2 時, 多元超幾何分布退化為超幾何分布 (hypergeometric distribution), 其母函數為超幾何函數.

多元超幾何分布的構造相當複雜, 當 r = 2 時, \displaystyle {\mathop {\mathbf {P}}(B_{m_{1}}, B_{m_{2}}) = \frac {\binom {m_{1}}{n_{1}}\binom {m_{2}}{n_{2}}}{\binom {m_{1} + m _{2}}{n_{1} + n_{2}}}, n_{1} + n_{2} = n, m_{1} + m_{2} = m}. 其中包含了九階乘數. 當 n \to \infty, n_{1} \to \infty 且 \frac {n_{1}}{n} \to p 時, 有 \frac {n_{2}}{n} \to 1 - p. 根據斯特靈公式, 可以得到 \displaystyle {\mathop {\mathbf {P}}(B_{m_{1}}, B_{m_{2}}) \doteq \binom {m_{2}}{m_{1} + m_{2}} p^{m_{1}}(1 - p)^{m_{2}}}, 即當 n \to \infty, n_{1} \to \infty 且 \frac {n_{1}}{n} \to p 時, 超幾何分布逼近二項分布. 從直觀上來說, 這也是明顯的. 因為當 n 和 n_{1} 充分大但是有限時, 不放回抽樣得到的結果幾乎和放回抽樣時一樣的.

4. 練習題

自主習題 1. 證明 : 對於多項分布的機率, 若且唯若點 (k_{1}, k_{2}, ..., k_{r}) 在滿足 \displaystyle {np_{i} - 1 <k_{i} \leq (n + r - 1)p_{i}} 時達到最大值. 其中, i = 1, 2, ..., r.

自主習題 2. 假設 N 是某個總體的容量, 要求在對總體的全部元素沒有簡單重複計數的情況下, 以最少的成本去估計 N 的大小. 例如, 在估計某個地區或者國家的人口等類似問題. Pierre-Simon Laplace 在 1786 年法國人口為 N 時, 提出過以下方法 : 從總體中選擇 m 個元素, 並且做上標記. 然後將這 m 個元素放回原總體, 並且與無標記的元素均衡混合. 然後從混合後的總體中再抽取 n 個元素, 其中有 x 個元素帶有標記.

1. 證明 : 由超幾何分布的公式 \mathop {\mathbf {P}}(B_{m_{1}}, B_{m_{2}}) = \frac {\binom {m_{1}}{n_{1}}\binom {m_{2}}{n_{2}}}{\binom {m_{1} + m _{2}}{n_{1} + n_{2}}}, n_{1} + n_{2} = n, m_{1} + m_{2} = m, 相應的機率 \mathop {\mathbf {P}}_{N, m, n} \{ X = m \} 可以表示為 \displaystyle {\mathop {\mathbf {P}}_{N, m, n} \left \{ X = M \right \} = \frac {\binom {n}{m}\binom {n - M}{N - M}}{\binom {n}{N}}}.
2. 假設 m, n 和 m 固定, 對 N 求上面機率的最大值, 即求總體的極大概似 (maximum likelihood) 容量 N, 使得對於給定的 m 和 n, 有標記的元素個數 X = M.
3. 證明 : 對總體容量的極大概似估計值, 不妨記為 \hat {N}, 有 \displaystyle {\hat {N} = \left \lfloor \frac {nm}{M} \right \rfloor}.

這樣得到的估計量 \hat {N} 稱作 N 的極大概似估計 (maximum likelihood estimation).