摘要訊息 : 在進行大量試驗的情況下, 試驗結果的平均值大致等於其期望.

0. 前言

在《【機率論】初等機率論——條件機率與獨立性》中我們介紹了 Bernoulli 概型, 在本節中我們將要分析 Bernoulli 概型的性質, 並且導出在機率論中非常重要的大數法則.

更新紀錄 :

• 2022 年 6 月 9 日進行第一次更新和修正.

1. 大數法則

對於 Bernoulli 概型 $\displaystyle {\begin {aligned} &\Omega = \left \{ \omega : \omega = (a_{1}, a_{2}, ..., a_{n}), a_{i} = 0, 1 \ (i = 1, 2, ..., n) \right \}, \\ &\mathscr {A} = \left \{ A : A \subseteq \Omega \right \}, \mathop {\mathbf {P}}(\left \{ \omega \right \}) = p(\omega) = p^{\sum \limits_{i}a_{i}}(1 - p)^{n - \sum \limits_{i}a_{i}}, \end {aligned}}$ 我們引入隨機變數 $\xi_{1}, \xi_{2}, ..., \xi_{n}$. 其中, $\xi_{i} = \xi_{i}(\omega) = a_{i}, i = 1, 2, ..., n$, 而 $\omega = (a_{1}, a_{2}, ..., a_{n})$. 顯然, $\displaystyle {\mathop {\mathbf {P}} \left \{ \xi_{i} = 1 \right \} = p \text { 且 } \mathop {\mathbf {P}} \left \{ \xi_{i} = 0 \right \} = 1 - p = q, i = 1, 2, ..., n,}$ 隨機變數 $\xi_{i}$ 表示了在時刻 $i$ 時的 Bernoulli 試驗結果.

設 $S_{0}(\omega) = 0$, $\displaystyle {S_{k} = \xi_{1} + \xi_{2} + ... + \xi_{k}.}$ 其中, $k = 1, 2, …, n$. 由《【機率論】初等機率論——隨機變數及其特徵》例題 5, 我們已經知道 $\mathop {\mathrm {E}}(S_{n}) = np$. 那麼根據期望的性質, 有 $\displaystyle {\frac {1}{n}\mathop {\mathrm {E}}(S_{n}) = \mathop {\mathrm {E}} \left ( \frac {S_{n}}{n} \right ) = p}.$ 換句話說, "成功" 的頻率 $\frac {S_{n}}{n}$ 的平均值等於成功的機率 $p$. 由此自然產生了一個問題 : "成功" 的頻率 $\frac {S_{n}}{n}$ 對 "成功" 的機率 $p$ 的絕對偏差的大小如何?

我們首先指出, 對於充分小的 $\varepsilon > 0$ 和充分大的 $n$, 都不能使得對於任意事件 $\omega$, 頻率 $\frac {S_{n}}{n}$ 對 "成功" 機率 $p$ 的絕對偏差都小於 $\varepsilon$. 即對於任意事件 $\omega$, $\displaystyle {\left |\frac {S_{n}(\omega)}{n} - p \right | < \varepsilon, \omega \in \Omega \ \ \ \ \ \ \ \ \ \ (\mathrm {I})}$ 並不一定成立. 事實上, 對於 $0 < p < 1$, 由 $\displaystyle {\mathop {\mathbf {P}} \left \{ \frac {S_{n}}{n} = 1 \right \} = \mathop {\mathbf {P}} \left \{ \xi_{1} = 1, \xi_{2} = 1, ..., \xi_{n} = 1 \right \} = p^{n}}$ 和 $\displaystyle {\mathop {\mathbf {P}} \left \{ \frac {S_{n}}{n} = 0 \right \} = \mathop {\mathbf {P}} \left \{ \xi_{1} = 0, \xi_{2} = 0 …, \xi_{n} = 0 \right \} = q^{n}}$ 可見, $p^{n}$ 和 $q^{n}$ 都是固定的值, 對於充分小的 $\varepsilon > 0$, $\left | \frac {S_{n}(\omega)}{n} - p \right |$ 是一個常數, 並不能使其任意小. 此時, 不等式 $(\mathrm {I})$ 不成立. 但是, 從直觀上來看, $\left | \frac {S_{n}(\omega)}{n} - p \right | < \varepsilon$ 是應當成立的 (雖然實際不成立). 因為當 $n$ 很大的時候, 事件 $\left \{ \frac {S_{n}}{n} = 1 \right \}$ 和 $\left \{ \frac {S_{n}}{n} = 0 \right \}$ 發生的機率都非常小. 但是, 這仍然沒有辦法證明 $\left | \frac {S_{n}(\omega)}{n} - p \right | < \varepsilon$ 的成立, 因為數學是嚴謹的. 因此, 我們自然想到, 當 $n$ 充分大的時候, 使得 $\displaystyle {\left | \frac {S_{n}(\omega)}{n} - p \right | \geq \varepsilon}$ 成立的 "結局 $\omega$ 的全體" 的機率也比較小. 故實際上我們可以設法估計事件 $\displaystyle {\left \{ \omega : \left | \frac {S_{n}(\omega)}{n} - p \right | \geq \varepsilon \right \}}$ 的機率 $\mathop {\mathbf {P}} \left \{ \omega : \left | \frac {S_{n}(\omega)}{n} - p \right | \geq \varepsilon \right \}$.

引理 1. (P. L. Chebyshev 不等式) 設 $(\Omega, \mathscr {A}, \mathbf {P})$ 是某一機率空間, $\xi = \xi(\omega)$ 是非負隨機變數. 那麼對於任意 $\varepsilon > 0$, 有 $\displaystyle {\mathop {\mathbf {P}} \left \{ \xi \geq \varepsilon \right \} \leq \frac {1}{\varepsilon}\mathop {\mathrm {E}}(\xi)}.$

$證明$ :

我們首先注意到 $\displaystyle {\begin {aligned} \xi &= \xi\mu_{A \subseteq \mathscr {A}}(\xi \geq \varepsilon) + \xi\mu_{A \subseteq \mathscr {A}}(\xi < \varepsilon) \\ &\geq \xi\mu_{A \subseteq \mathscr {A}}(\xi \geq \varepsilon) \\ &\geq \varepsilon\mu_{A \subseteq \mathscr {A}}(\xi \geq \varepsilon). \end {aligned}}$ 於是, 根據期望的性質和定義, 有 $\displaystyle {\mathop {\mathrm {E}}(\xi) \geq \varepsilon \mathop {\mathrm {E}}(\mu_{A \subseteq \mathscr {A}}(\xi \geq \varepsilon)) = \varepsilon \mathop {\mathbf {P}} \left \{ \xi \geq \varepsilon \right \}}.$ 變換後可得 $\displaystyle {\mathop {\mathbf {P}} \left \{ \xi \geq \varepsilon \right \} \leq \frac {1}{\varepsilon}\mathop {\mathrm {E}}(\xi)}.$

$\blacksquare$

另外, 設 $\xi$ 是任意隨機變數, 則對任意 $\varepsilon > 0$, 我們可以根據引理 1 作出如下推導 : $\displaystyle {\begin {aligned} \mathop {\mathbf {P}} \left \{ \xi \geq \varepsilon \right \} \leq \frac {1}{\varepsilon}\mathop {\mathrm {E}}(\xi) &\Rightarrow \mathop {\mathbf {P}} \left \{ |\xi| \geq \varepsilon \right \} \leq \frac {1}{\varepsilon}\mathop {\mathrm {E}}(|\xi|) \\ &\Rightarrow \mathop {\mathbf {P}} \left \{ |\xi| \geq |\varepsilon| \right \} = \mathop {\mathbf {P}} \left \{ \xi^{2} \geq \varepsilon^{2} \right \} \leq \frac {1}{\varepsilon^{2}}\mathop {\mathrm {E}}(\xi^{2}) \\ &\Rightarrow \mathop {\mathbf {P}} \left \{ |\xi - \mathop {\mathrm {E}}(\xi)| \geq \varepsilon \right \} = \mathop {\mathbf {P}} \left \{ (\xi - \mathop {\mathrm {E}}(\xi))^{2} \geq \varepsilon^{2} \right \} \\ &\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \leq \frac {1}{\varepsilon^{2}}\mathop {\mathrm {E}} \left ( (\xi - \mathop {\mathrm {E}}(\xi))^{2} \right ) = \frac {1}{\varepsilon^{2}}\mathop {\mathrm {Var}}(\xi). \end {aligned}}$

引理 2. 若 $\xi_{1}, \xi_{2}, ..., \xi_{n}$ 是獨立的 Bernoulli 隨機變數, 且 $S_{n} = \xi_{1} + \xi_{2} + ... + \xi_{n}$, 則 $\displaystyle {\mathop {\mathrm {Var}}(S_{n}) = npq}.$ 其中, $\xi_{i}$ 以 $p$ 和 $q$ 的機率分別取 $1$ 和 $0$ 為值, $i = 1, 2, ..., n$.

$證明$ :

設 $\xi$ 是 Bernoulli 隨機變數, 以 $p$ 和 $q$ 的機率分別取 $1$ 和 $0$ 為值. 則 $\displaystyle {\mathop {\mathrm {Var}}(\xi) = \mathop {\mathrm {E}}(\xi^{2}) - \mathop {\mathrm {E}}^{2}(\xi)}.$ 根據期望的定義, 有 $\displaystyle {\mathop {\mathrm {E}}(\xi^{2}) = \sum \limits_{i = 1}^{k}x_{i}^{2}P_{\xi}(x_{i}) = 0^{2} \times P_{\xi}(0) + 1^{2} \times P_{\xi}(1) = p}$ 和 $\displaystyle {\mathop {\mathrm {E}}^{2}(\xi) = (0 \times P_{\xi}(0) + 1 \times P_{\xi}(1))^{2} = p^{2}},$ 故 $\mathop {\mathrm {Var}}(\xi) = p - p^{2} = p(1 - p) = pq$. 顯然, 對於任意 $i = 1, 2, ..., n$, 都有 $\displaystyle {\mathop {\mathrm {Var}}(\xi_{i}) = pq}.$ 由於 $\mathop {\mathrm {Var}}(\xi + \eta) = \mathop {\mathrm {Var}}(\xi) + \mathop {\mathrm {Var}}(\eta) + 2\mathop {\mathrm {E}}(\xi\eta) - 2\mathop {\mathrm {E}}(\xi)\mathop {\mathrm {E}}(\eta)$, 當隨機變數 $\xi$ 和 $\eta$ 相互獨立時, 有 $\mathop {\mathrm {Var}}(\xi + \eta) = \mathop {\mathrm {Var}}(\xi) + \mathop {\mathrm {Var}}(\eta)$. 於是, $\displaystyle {\mathop {\mathrm {Var}}(\xi_{1} + \xi_{2} + ... + \xi_{n}) = \mathop {\mathrm {Var}} \left ( \sum \limits_{i = 1}^{n}\xi_{i} \right ) = \sum \limits_{i = 1}^{n}\mathop {\mathrm {Var}}(\xi_{i})}.$

綜上所述, $\mathop {\mathrm {Var}}(S_{n}) = npq$.

$\blacksquare$

結合引理 1 的推導和引理 2, 設隨機變數 $\xi = \frac {S_{n}}{n}$, 有 $\displaystyle {\begin {aligned} \mathop {\mathbf {P}} \left \{ \left | \frac {S_{n}}{n} - p \right | \geq \varepsilon \right \} &\leq \frac {\mathop {\mathrm {Var}} \left ( \frac {S_{n}}{n} \right )}{\varepsilon^{2}} = \frac {\mathop {\mathrm {Var}}(S_{n})}{n^{2}\varepsilon^{2}} = \frac {npq}{n^{2}\varepsilon^{2}} = \frac {pq}{n\varepsilon^{2}} \\ &= \frac {p(1 - p)}{n\varepsilon^{2}} = \frac {p - p^{2}}{n\varepsilon^{2}} \leq \frac {p - p^{2}}{n\varepsilon^{2}} \\ &\leq \frac {1}{4n\varepsilon^{2}} \ \left ( \text {函數 } f(p) = p - p^{2} \text { 在 } p = \frac {1}{2} \text { 時取得最大值} \frac {1}{4} \right ). \end {aligned}}$ 由此可見, 當 $n$ 充分大的時候, 儘管無法保證 "成功" 頻率 $\frac {S_{n}}{n}$ 對 "成功" 機率 $p$ 的絕對偏差小於任意充分小的 $\varepsilon > 0$, 但是 "成功" 頻率 $\frac {S_{n}}{n}$ 對 "成功" 機率 $p$ 的絕對偏差大於任意給定的 $\varepsilon > 0$ 這個事件的機率充分小.

對於一切的 $n$ 和 $k$ ($1 \leq k \leq n$), 記 $\displaystyle {P_{n}(k) = \binom {k}{n}p^{k}q^{n - k}},$ 則 $\displaystyle {\mathop {\mathbf {P}} \left \{ \left | \frac {S_{n}}{n} - p \right | \geq \varepsilon \right \} = \sum \limits_{\left \{ k : \left | \frac {k}{n} - p \right | \geq \varepsilon \right \}}P_{n}(k) \leq \frac {pq}{n\varepsilon^{2}} \leq \frac {1}{4n\varepsilon^{2}}}.$ 我們視 $n$ 為試驗次數, $k$ 為 "成功" 次數. 由此可見, 我們運用機率論中的知識進行分析, 同樣得到了 $\mathop {\mathbf {P}} \left \{ \left |\frac {S_{n}}{n} - p \right | \geq \varepsilon \right \} \leq \frac {1}{4n\varepsilon^{2}}$. 於是, 我們可以得到, $\displaystyle {\sum \limits_{\left \{ k : \left | \frac {k}{n} - p \right | \geq \varepsilon \right \}}P_{n}(k) \to 0 \ (n \to \infty).\ \ \ \ \ \ \ \ \ \ (\mathrm {II})}$

對於二項分佈 $\left \{ P_{n}(k), 0 \leq k \leq n \right \}$ ($p = \frac {1}{2}$), 作圖可知

結合《【機率論】初等機率論——某些經典模型和分佈》中的例題 1, 我們可以得到機率 $P_{n}(k)$ 在 $k = np$ 處達到最大值 $P_{m} = \frac {1}{\sqrt {\frac {n}{2}\pi}}$. 另外, Figure 1 還顯示 : 若將機率 $P_{n}(k)$ 對 $k$ 求和, 對於 $n(p - \varepsilon) \leq k \leq n(p + \varepsilon)$, 其機率接近 $1$. 我們把一系列隨機變數 $S_{0}, S_{1}, S_{2}, ..., S_{n}$ 視為某游動的質點, 對於式 $(\mathrm {II})$ 可以作如下解釋 : 過原點引入三條直線 : $k(p - \varepsilon), kp, k(p + \varepsilon)$, 那麼質點軌道總的趨勢是沿直線運動. 對於任意 $\varepsilon > 0$, 可以斷定對於充分大的 $n$, 表示質點在時刻 $n$ 位置的點 $S_{n}$ 位於區間 $[n(p - \varepsilon), n(p + \varepsilon)]$.

根據之前的討論, 我們將 $(\mathrm {II})$ 又可以表示為 $\displaystyle {\mathop {\mathbf {P}} \left \{ \left | \frac {S_{n}}{n} - p \right | \geq \varepsilon \right \} \to 0\ (n \to \infty). \ \ \ \ \ \ \ \ \ \ (\mathrm {III})}$ 此處存在一個細節, 若機率 $\mathop {\mathbf {P}}$ 在某空間 $(\Omega, \mathscr {A})$ 上, 空間 $(\Omega, \mathscr {A})$ 上定義了無窮多個獨立的 Bernoulli 隨機變數 $\xi_{1}, \xi_{2}, ...$, 那麼 $(\mathrm {III})$ 式依然正確.

設 $\left ( \Omega^{(n)}, \mathscr {A}^{(n)}, \mathop {\mathbf {P}}^{(n)} \right )$, $n \geq 1$ 是 Bernoulli 概型序列 : $\displaystyle {\begin {aligned} &\Omega^{(n)} = \left \{ \omega^{(n)} : \omega^{(n)} = \left ( a_{1}^{(n)}, a_{2}^{(n)}, ..., a_{n}^{(n)} \right ), a_{i}^{(n)} = 0, 1 \ (i = 1, 2, ..., n) \right \}, \\ &\ \ \ \ \mathscr {A}^{(n)} = \left \{ A : A \subseteq \Omega^{(n)} \right \}, \mathop {\mathbf {P}}^{(n)} \left (\left \{ \omega^{(n)} \right \} \right) = p^{\sum \limits_{i}a_{i}^{(n)}}q^{n - \sum \limits_{i}a_{i}^{(n)}}. \end {aligned}}$ 而 $\displaystyle {S_{k}^{(n)} \left ( \omega^{(n)} \right ) = \left ( \xi_{1}^{(n)}(\omega), \xi_{2}^{(n)}(\omega), ..., \xi_{k}^{(n)}(\omega) \right )}.$ 其中, 對於 $n \geq 1$, $\xi_{1}^{(n)}, \xi_{2}^{(n)}, ..., \xi_{n}^{(n)}$ 是獨立同分佈的 Bernoulli 隨機變數序列, 則 $\displaystyle {\begin {aligned}&\mathop {\mathbf {P}}^{(n)} \left \{ \omega^{(n)} : \left | \frac {S_{n}^{(n)}(\omega^{(n)})}{n} - p \right | \geq \varepsilon \right \} \\ &= \sum \limits_{\left \{ k : \left |\frac {k}{n} - p \right | \geq \varepsilon \right \}}P_{n}(k) \to 0\ (n \to \infty). \end {aligned}} \ \ \ \ \ \ \ \ \ \ (\mathrm {IV})$ 我們統稱式 $(\mathrm {II}), (\mathrm {III})$ 和 $(\mathrm {IV})$ 的命題為 Bernoulli 大數法則 (Bernoulli’s law of large numbers).

對於充分大的 $n$, 二項分佈 "尾部" 機率 $\sum \limits_{\left \{ k : \left | \frac {k}{n} - p \right | \geq \varepsilon \right \}}P_{n}(k)$ 的計算相當困難, 況且所得 "頻率 $\frac {S_{n}}{p}$ 對機率 $\mathop {\mathbf {P}}$ 的絕對偏差小於任意給定的 $\varepsilon > 0$" 事件的機率估計式也難以實際應用. 我們指出, 對於充分大的 $n$ 和至少滿足了 $k \doteq np$ 的 $k$, 有 $\displaystyle {P_{n}(k) \doteq \frac {1}{\sqrt {2\pi npq}}\mathrm {e}^{-\frac {(k - np)^{2}}{2npq}}},$ 而 $\displaystyle {\sum \limits_{\left \{ k : \left | \frac {k}{n} - p \right | \geq \varepsilon \right \}}P_{n}(k) \doteq \frac {1}{\sqrt {2\pi}} \int_{-\varepsilon\sqrt {\frac {n}{pq}}}^{\varepsilon\sqrt {\frac {n}{pq}}}\mathrm {e}^{-\frac {x^{2}}{2}}\mathrm {d}{x}}.$

2. 大數法則的意義

假設進行大量例如 $N$ 系列試驗的試驗, 而每一系列試驗包括 "$n$ 次獨立試驗, 而每次試驗都以機率 $p$ 出現事件 $C$". 設 $\frac {S_{n}^{i}}{n}$ 是事件 $C$ 在第 $i$ 系列試驗中出現的頻率, $N_{\varepsilon}$ 是 "頻率對機率的絕對偏差不大於 $\varepsilon$" 系列數, 即 $N_{\varepsilon}$ 等於使得 $\left | \frac {S_{n}^{i}}{n} - p \right | \leq \varepsilon$ 的 $i$ 個數, 亦即滿足 $\left | \frac {S_{n}^{i}}{n} - p \right | \leq \varepsilon$ 的 $i$ 的數量. 那麼, 由大數法則可見 $\displaystyle {\frac {N_{\varepsilon}}{N} \doteq P_{\varepsilon}}.$ 其中, $P_{\varepsilon} = \mathop {\mathbf {P}} \left \{ \left | \frac {S_{n}^{1}}{n} - p \right | \leq \varepsilon \right \}$. 這便是大數法則的意義.

3. 觀測次數

考慮上面得到的估計 $\displaystyle {\mathop {\mathbf {P}} \left \{ \left | \frac {S_{n}^{i}}{n} - p \right | \geq \varepsilon \right \} = \sum \limits_{\left \{ k : \left | \frac {k}{n} - p \right | \geq \varepsilon \right \}}P_{n}(k) \leq \frac {1}{4n\varepsilon^{2}}. \ \ \ \ \ \ \ \ \ \ (\mathrm {V})}$ 我們由此產生一個問題 : 對於任意 $0 < p < 1$, 保證不等式 $\displaystyle {\mathop {\mathbf {P}} \left \{ \left | \frac {S_{n}}{n} - p \right | \leq \varepsilon \right \} \geq 1 - \alpha. \ \ \ \ \ \ \ \ \ \ (\mathrm {VI})}$ 成立的最小觀測次數 $n$ 如何? 其中, $\alpha$ 是給定的通常較小的常數.

給定式 $(\mathrm {V})$ 和 $(\mathrm {VI})$, 我們可以得到, 當 $n \geq \frac {1}{4\varepsilon^{2}\alpha}$ 時, 我們便可以得到最小觀測次數 $\left \lceil \frac {1}{4\varepsilon^{2}\alpha} \right \rceil$. 上面的估計是基於 Chebyshev 不等式的. 需要指出的是, 基於 Chebyshev 不等式的估計較為粗略.

4. 熵

記 $\displaystyle {C(n, \varepsilon) = \left \{ \omega : \left | \frac {S_{n}(\omega)}{n} - p \right | \leq \varepsilon \right \}},$ 由大數法則可見, 對於任意 $\varepsilon > 0$, 當 $n$ 充分大時, $\mathop {\mathbf {P}}(C(n, \varepsilon))$ 接近於 $1$. 這時, $C(n, \varepsilon)$ 中的軌道實現的 $\omega$ 稱作經典的或者 $C(n, \varepsilon)$ -典型的. 那麼典型實現的條數 $\mathop {\mathrm {card}}{C(n, \varepsilon)}$ 以及每一條經典實現的權 $p(\omega)$ 如何?

顯然, 基本事件空間 $\Omega$ 中的事件總數為 $2^{n}$ 個, 即 $\mathop {\mathrm {card}}{\Omega} = 2^{n}$. 對於 $p = 0$ 或者 $p = 1$, 典型軌道分別有且唯有一條 : $(1, 1, ..., 1)$ 或 $(0, 0, ..., 0)$. 此時, $\mathop {\mathrm {card}}{C(n, \varepsilon)} = 1$. 但是, 假如 $p = \frac {1}{2}$, 則直觀上顯然, 幾乎一切軌道 (除了上面提到的兩條之外) 都是經典的. 因此, 直觀上來說, $\mathop {\mathrm {card}}{C(n, \varepsilon)}$ 接近於 $2^{n}$.

我們指出, 對於 $0 < p < 1$, 無論是典型軌道數量還是權重 $p(\omega)$, 都取決於 $p$ 的某一特定函數——熵 (entropy).

設 $(p_{1}, p_{2}, ..., p_{r})$ 是一有限機率分佈, 即滿足條件 $p_{1} + p_{2} + ... + p_{r} = 1$, 且 $p_{i}$ 為非負實數. 其中, $i = 1, 2, ..., r$. 稱 $\displaystyle {H = -\sum \limits_{i = 1}^{r}p_{i}\ln {p_{i}}}$ 為機率分佈 $(p_{1}, p_{2}, ..., p_{r})$ 的熵. 同時我們規定當 $p_{i} = 0$ 時, 令 $p_{i}\ln {p_{i}} = 0$ ($i = 1, 2, …, r$).

顯然, $H \geq 0$, 且 $H = 0$ 若且唯若 $p_{1}, p_{2}, ..., p_{r}$ 中有一個值為 $1$, 其餘值為 $0$. 記函數 $f(x) = -x\ln {x}\ (0 < x < 1)$, 則根據 $f''(x) = -\frac {1}{x}$ 可知 $f(x)$ 在 $(0, 1)$ 上時凸函數. 由凸函數的性質, 有 $\displaystyle {\frac {f(x_{1}) + f(x_{2}) + ... + f(x_{r})}{r} \leq f \left ( \frac {x_{1} + x_{2} + ... + x_{r}}{r} \right )}.$ 從而有 $\displaystyle {\begin {aligned} H &= -\sum \limits_{i = 1}^{r}p_{i} \ln {p_{i}} = -p_{1}\ln {p_{1}} - p_{2}\ln {p_{2}} - ... - p_{r}\ln {p_{r}} \\ &= r \cdot \frac {-p_{1}\ln {p_{1}} - p_{2}\ln {p_{2}} - ... - p_{r}\ln {p_{r}}}{r} \\ &= r \cdot \frac {f(p_{1}) + f(p_{2}) + ... + f(p_{r})}{r} \leq r \cdot f \left ( \frac {p_{1} + p_{2} + ... + p_{r}}{r} \right ) \\ &= -r \cdot \frac {p_{1} + p_{2} + ... + p_{r}}{r} \ln {\frac {p_{1} + p_{2} + ... + p_{r}}{r}} \\ &= -(p_{1} + p_{2} + ... + p_{r})\ln {\frac {p_{1} + p_{2} + ... + p_{r}}{r}}. \end {aligned}}$ 由於 $p_{1} + p_{2} + ... + p_{r} = 1$, 於是有 $H \leq \ln {r}$. 要使得熵取到最大值, 即 $H = \ln {r}$, 若且唯若 $p_{1} = p_{2} = ... = p_{r} = \frac {1}{r}$ 時成立.

如果把 $p_{1}, p_{2}, ..., p_{r}$ 視為事件 $A_{1}, A_{2}, ..., A_{r}$ 出現的機率, 那麼某事件發生的不確定性程度對於不同的分佈來說是不同的. 例如 $p_{1} = 1, p_{2} = p_{3} = ... = p_{r} = 0$, 那麼我們可以說事件 $A_{1}$ 必然發生. 對於 $p_{1} = p_{2} = ... = p_{r} = \frac {1}{r}$, 我們沒辦法肯定某個事件必然發生, 這樣的分佈具有最大的不確定性. 為了比較不同分佈的不確定性, 需要有不同的不確定性的數字度量, 這便是熵.

假設 $\displaystyle {\Omega = \left \{ \omega : \omega = (a_{1}, a_{2}, ..., a_{n}), a_{i} = 1, 2, ..., r \ (i = 1, 2, ..., n) \right \}}$ 是基本事件空間, 其中 $p(\omega) = p_{1}^{\upsilon_{1}(\omega)}p_{2}^{\upsilon_{2}(\omega)}...p_{r}^{\upsilon_{r}(\omega)}$, $\upsilon_{i}(\omega)$ 是序列 $\omega$ 中第 $i$ 個元素 $a_{i}$ 的數量, $i = 1, 2, ..., r$, 而 $(p_{1}, p_{2}, ..., p_{r})$ 是某一機率分佈. 對於任意 $\varepsilon > 0$, 設 $\displaystyle {C(n, \varepsilon) = \left \{ \omega : \left | \frac {\upsilon_{i}(\omega)}{n} - p_{i} \right | < \varepsilon, i = 1, 2, ..., r \right \}}.$ 顯然, $\displaystyle {\mathop {\mathbf {P}}(C(n, \varepsilon)) \geq 1 - \sum \limits_{i = 1}^{r}\mathop {\mathbf {P}} \left \{ \omega : \left | \frac {\upsilon_{i}(\omega)}{n} - p_{i} \right | \geq \varepsilon, i = 1, 2, ..., r \right \}}.$ 並且, 由大數法則可知, 該式也適用於隨機變數 $\displaystyle {\xi_{k}(\omega) = \begin {cases} 1 & {a_{k} = i} \\ 0 & {a_{k} \neq i} \end {cases}, k = 1, 2, ..., n}.$ 機率 $\mathop {\mathbf {P}} \left \{ \omega : \left |\frac {\upsilon_{i}(\omega)}{n} - p_{i} \right | \geq \varepsilon, i = 1, 2, ..., r \right \}$ 充分地小. 因此, 對於充分大的 $n$, $C(n, \varepsilon)$ 的機率接近於 $1$. 進入 $C(n, \varepsilon)$ 的軌道也被稱為典型的.

如果對於所有 $p_{i} > 0\ (i = 1, 2, ..., r)$, 則對於任何 $\omega \in \Omega$, 權重 $p(\omega)$ 被定義為 $\displaystyle {p(\omega) = \exp \left \{ -n\sum \limits_{k = 1}^{r} \left ( -\frac {\upsilon_{k}(\omega)}{n}\ln {p_{k}} \right ) \right \}}.$ 其中, $\exp \left \{ \cdot \right \} = \mathrm {e}^{\cdot}$. 因此, 如果 $\omega$ 是典型軌道, 由熵的定義, 有 $\displaystyle {\left | \sum \limits_{i = 1}^{r} \left ( -\frac {\upsilon_{i}(\omega)}{n} \ln {p_{i}} \right ) - H \right | \leq -\sum \limits_{i = 1}^{r}\left | \frac {\upsilon_{i}(\omega)}{n} - p_{i} \right |\ln {p_{i}} \leq -\varepsilon\sum \limits_{i = 1}^{r}\ln {p_{i}}}.$ 由此可見, 典型軌道的機率 $p(\omega)$ 接近於 $\mathrm {e}^{-nH}$. 因為由於大數法則當 $n$ 充分大的時候, 典型軌道的條數幾乎尋訪了 $\Omega$ 中所有的點, 而 $\Omega$ 中軌道的條數是 $\mathrm {e}^{nH}$ 數量級的. 我們將上述討論歸納一下.

定理 1. (B. McMillan 定理) 設 $p_{i} > 0\ (i = 1, 2, ..., r), 0 < \varepsilon < 1$, 則存在一個自然數 $n_{0} = n_{0}(\varepsilon_{i}p_{1}, p_{r}, ..., p_{r})$, 使得對於一切的 $n > n_{0}$, 有

1. $\mathrm {e}^{n(H - \varepsilon)} \leq \mathop {\mathrm {card}}{C(n, \varepsilon_{1})} \leq \mathrm {e}^{n(H + \varepsilon)}$;
2. $\mathrm {e}^{-n(H + \varepsilon)} \leq p(\omega) \leq \mathrm {e}^{-n(H - \varepsilon)}$, 其中, $\omega \in C(n, \varepsilon_{1})$;
3. $\mathop {\mathbf {P}}(C(n, \varepsilon)) = \sum \limits_{\left \{ \omega \in C(n, \varepsilon_{1}) \right \}}p(\omega) \to 1$. 其中 $n \to \infty$.

其中, $\varepsilon_{1} = \min \left \{ \varepsilon, -\frac {\varepsilon}{2\sum \limits_{k = 1}^{r}\ln {p_{k}}} \right \}$.

$證明$ :

大數法則顯示, (3) 顯然正確.

(3) $\square$

注意到, 若 $\omega \in C(n, \varepsilon_{1})$, 則 $\displaystyle {np_{k} - \varepsilon_{1}n < \upsilon_{k}(\omega) < np_{k} + \varepsilon_{1}n \ (k = 1, 2, ..., r)}$ 因此, $\displaystyle {\begin {aligned} p(\omega) &= \exp \left \{ -\sum \limits_{k}\upsilon_{k}\ln {p_{k}} \right \} \\ &< \exp \left \{ -n\sum \limits_{k}\upsilon_{k}\ln {p_{k}} - \varepsilon_{1}n\sum \limits_{k}\ln {p_{k}} \right \} \\ &\leq \exp \left \{ -n \left ( H - \frac {\varepsilon}{2} \right ) \right \}. \end {aligned}}$ 同理, 有 $\displaystyle {p(\omega) \geq \exp \left \{ -n \left ( H + \frac {\varepsilon}{2} \right ) \right \}}.$ 綜上, 於是有 $\mathrm {e}^{-n(H + \varepsilon)} \leq p(\omega) \leq \mathrm {e}^{-n(H - \varepsilon)}, \omega \in C(n, \varepsilon_{1})$.

(2) $\square$

由於 $\mathop {\mathbf {P}}(C(n, \varepsilon_{1})) \geq \mathop {\mathrm {card}}{C(n, \varepsilon_{1})} \times \min \limits_{\left \{ \omega \in C(n, \varepsilon_{1}) \right \}}p(\omega)$, 則 $\displaystyle {\mathop {\mathrm {card}}{C(n, \varepsilon_{1})} \leq \frac {\mathop {\mathbf {P}}(C(n, \varepsilon_{1}))}{\min \limits_{\left \{ \omega \in C(n, \varepsilon_{1}) \right \}}p(\omega)} < \frac {1}{\mathrm {e}^{-n \left ( H + \frac {\varepsilon}{2} \right )}} = \mathrm {e}^{n \left ( H + \frac {\varepsilon}{2} \right )}}.$ 類似地, $\displaystyle {\mathop {\mathrm {card}}C(n, \varepsilon_{1}) \geq \frac {\mathop {\mathbf {P}}(C(n, \varepsilon_{1}))}{\max \limits_{\left \{ \omega \in C(n, \varepsilon_{1}) \right \}}p(\omega)} > \mathop {\mathbf {P}}(C(n, \varepsilon_{1}))\mathrm {e}^{n \left ( H - \frac {\varepsilon}{2} \right )}}.$ 由於 $\mathop {\mathbf {P}}(C(n, \varepsilon_{1})) \to 1 \ (n \to \infty)$, 可見, 存在 $n$ 使得當 $n > n_{1}$ 時, 有 $\displaystyle {\mathop {\mathbf {P}}(C(n, \varepsilon_{1})) > 1 - \varepsilon}.$ 故 $\displaystyle {\mathop {\mathrm {card}}{C(n, \varepsilon_{1})} \geq (1 - \varepsilon)\mathrm {e}^{n \left ( H - \frac {\varepsilon}{2} \right )} = \mathrm {e}^{n(H - \varepsilon) + \left ( \frac {n\varepsilon}{2} + \ln {(1 - \varepsilon)} \right )}}.$ 若 $n_{2}$ 滿足對於 $n > n_{2}$, 有 $\frac {n\varepsilon}{2} + \ln {(1 - \varepsilon)} > 0$, 則對於 $n \geq n_{0} = \max \left \{ n_{1}, n_{2} \right \}$, 有 $\displaystyle {\mathop {\mathrm {card}}{C(n, \varepsilon_{1})} \geq \mathrm {e}^{n(H - \varepsilon)}}.$ 綜上, $\mathrm {e}^{n(H - \varepsilon)} \leq \mathop {\mathrm {card}}{C(n, \varepsilon_{1})} \leq \mathrm {e}^{n(H + \varepsilon)}$ 成立.

(3) $\square$

$\blacksquare$

利用 Bernoulli 概型的大數法則, 可以給予 K. T. W. Wierstrass 定理 "以多項式逼近連續函數" 以簡單雅致的證明 :

$證明$ :

設 $f(p)$ 是線段 $[0, 1]$ 上的連續函數. 引入 Bernstein 多項式 $\displaystyle {B_{n}(p) = \sum \limits_{k = 0}^{n}f \left ( \frac {k}{n} \right )\binom {k}{n}p^{k}(1 - p)^{n - k}, 0 \leq p \leq 1, n \geq 0}.$ 若 $\xi_{1}, \xi_{2}, ..., \xi_{n}$ 是獨立 Bernoulli 隨機變速序列, 且 $\mathop {\mathbf {P}} \left \{ \xi_{i} = 1 \right \} = p$, $\mathop {\mathbf {P}} \left \{ \xi_{1} = 0 \right \} = q$. 設 $S_{n} = \xi_{1} + \xi_{2} + ... + \xi_{n}$, 則 $\displaystyle {\mathop {\mathrm {E}}\left ( f \left ( \frac {S_{n}}{n} \right ) \right ) = B_{n}(p)}.$

由於在閉區間 $[0, 1]$ 上的連續函數 $f = f(p)$ 一致連續, 可見對於任意 $\varepsilon > 0$, 存在 $\delta > 0$, 使得當 $\left | x - y \right | \leq \delta$ 時, $\left | f(x) - f(y) \right | \leq \varepsilon$. 顯然, 這樣的函數有界 : $|f(x)| \leq M$. 其中, $M$ 為常數且 $M \geq 0$. 由不等式 $\mathop {\mathbf {P}} \left \{ \left |\frac {S_{n}}{n} - p \right | \geq \varepsilon \right \} \leq \frac {p(1 - p)}{n\varepsilon^{2}} \leq \frac {1}{4n\varepsilon^{2}}$ 可知, $\displaystyle {\begin {aligned} \left | f(p) - B_{n}(p) \right | &= \left | \sum \limits_{k = 0}^{n} \left ( f(p) - f \left ( \frac {k}{n} \right ) \right )\binom {k}{n}p^{k}(1 - p)^{n - k} \right | \\ &\leq \sum \limits_{\left \{ k : \left | \frac {k}{n} - p \right | \leq \delta \right \}}\left | f(p) - f \left ( \frac {k}{n} \right ) \right | \binom {k}{n}p^{k}(1 - p)^{n - k} + \\ &\ \ \ \ \ \sum \limits_{\left \{ k : \left | \frac {k}{n} - p \right | > \delta \right \}}\left | f(p) - f \left ( \frac {k}{n} \right ) \right | \binom {k}{n}p^{k}(1 - p)^{n - k} \\ &\leq \varepsilon + 2M\sum \limits_{\left \{ k : \left | \frac {k}{n} - p \right | > \delta \right \}}\binom {k}{n}p^{k}(1 - p)^{n - k} \\ &\leq \varepsilon + \frac {2M}{4n\varepsilon^{2}} = \varepsilon + \frac {M}{2n\delta^{2}}. \end {aligned}}$

於是有 $\lim \limits_{n \to \infty} \max \limits_{0 \leq p \leq 1} \left | f(p) - B_{n}(p) \right | = 0$.

$\blacksquare$

5. 練習題

自主習題 1. 設隨機變數 $\xi$ 和 $\eta$ 的相關係數為 $\rho$. 證明 : 對於任意 $\varepsilon > 0$, 有 $\displaystyle {\mathop {\mathbf {P}} \left \{ \left | \xi - \mathop {\mathrm {E}}(\xi) \right | \geq \varepsilon\sqrt {\text {Var}(\xi)} \text { 或 } \left | \eta - \mathop {\mathrm {E}}(\eta) \right | \geq \varepsilon\sqrt {\mathop {\mathrm {Var}}(\eta)} \right \}}.$

自主習題 2. 設 $f = f(x)$ 為非負偶函數, 且當 $x > 0$ 時單調非減. 設 $\xi = \xi(\omega)$ 是非負隨機變數, 且 $\left | \xi(\omega) \right | \leq C$. 證明 : 對於任意 $\varepsilon > 0$, 有 $\displaystyle {\mathop {\mathbf {P}} \left \{ | \xi| \geq \varepsilon \right \} \geq \frac {\mathop {\mathrm {E}}(f(\xi)) - f(\varepsilon)}{f(C)}}.$ 其中, $C$ 是任意正數. 特別地, 對於 $f(x) = x^{2}$, 有 $\displaystyle {\frac {\mathop {\mathrm {E}}(\xi^{2}) - \varepsilon^{2}}{C^{2}} \leq \mathop {\mathbf {P}} \left \{ \left | \xi - \mathop {\mathrm {E}}(\xi) \right | \geq \varepsilon \right \} \leq \frac {\mathop {\mathrm {Var}}(\xi)}{\varepsilon^{2}}}.$

自主習題 3. 設 $\xi_{1}, \xi_{2}, ..., \xi_{n}$ 是獨立隨機變數序列, 且 $\mathop {\mathrm {Var}}(\xi_{i}) \leq C$. 證明 : $\displaystyle {\mathop {\mathbf {P}} \left \{ \left | \frac {\xi_{1} + \xi_{2} + ... + \xi_{n}}{n} - \frac {\mathop {\mathrm {E}}(\xi_{1} + \xi_{2} + ... + \xi_{n})}{n} \right | \geq \varepsilon \right \} \leq \frac {C}{n\varepsilon^{2}}}.$ 其中, $C$ 是任意正數.

自主習題 4. 設 $\xi_{1}, \xi_{2}, ..., \xi_{n}$ 是獨立的 Bernoulli 隨機變數, 且 $\mathop {\mathbf {P}} \left \{ \xi_{1} = 1 \right \} = p, \mathop {\mathbf {P}} \left \{ \xi = -1 \right \} = q$. 證明 : 對於任意 $a > 0$, 有 $\displaystyle {\mathop {\mathbf {P}} \left \{ \left | \frac {S_{n}}{n} - (2p - 1) \right | \geq \varepsilon \right \} \leq 2\mathrm {e}^{-a\varepsilon^{2}n}}.$ 其中, $S_{n} = \xi_{1} + \xi_{2} + ... + \xi_{n}$, $\varepsilon > 0$.

自主習題 5. 設 $\xi$ 是非負的隨機變數, 而 $a > 0$. 若

1. $\mathop {\mathrm {E}}(\xi) = 20$;
2. $\mathop {\mathrm {E}}(\xi) = 20$, $\mathop {\mathrm {Cov}}(\xi) = 20$;
3. $\mathop {\mathrm {E}}(\xi) = 20, \mathop {\mathrm {Cov}}(\xi) = 25$, 且 $\xi$ 關於期望對稱;

在上述三種情況下, 機率 $\mathop {\mathbf {P}} \left \{ \xi \leq a \right \}$ 的上確界分別如何?