PRML上巻 P15-17 - 一日坊主

前回の続き．

確率論の概念を単純な例を使って導入する．

いま，赤と青の2つの箱があり，赤の箱にはりんごが2個とオレンジが6個，青の箱にはりんごが3個とオレンジが1個入っているとする．箱の1つをランダムに選び，果物をランダムに1個取り出す．そしてどの果物だったかを記録して元の箱に戻す．この試行を多数繰り返す．その際，赤の箱を40％，青の箱を60％選び，箱の中の果物は同じ確からしさで選ぶ．

赤か青の箱を選ぶ確率は，

$\begin{align*} p(B=r)=\frac{4}{10} \tag{1.14} \\ p(B=b)=\frac{6}{10} \tag{1.15} \\ \end{align*}$

で与えられる．これらは $p(B=r)+p(B=b)=1$ という関係を満たす．

箱をランダムに選び，青い箱だったとする，するとりんごを選ぶ確率は単に青い箱の中のりんごの個数の比率で $\frac{3}{4}$ である．

箱の種類が与えられた下での果物の条件付き確率を書き下すと以下のとおりとなる．

$\begin{align*} p(F=a|B=r)=\frac{1}{4} \tag{1.16} \\ p(F=o|B=r)=\frac{3}{4} \tag{1.17} \\ p(F=a|B=b)=\frac{3}{4} \tag{1.18} \\ p(F=o|B=b)=\frac{1}{4} \tag{1.19} \\ \end{align*}$

これらの確率も規格化されており，

$\begin{align*} p(F=a|B=r)+p(F=o|B=r)=1\tag{1.20} \\ p(F=a|B=b)+p(F=o|B=b)=1\tag{1.21} \\ \end{align*}$

が成り立つ．

ここで確率の加法・乗法定理を使うと，りんごを選ぶ確率を計算することができて，

$\begin{align*} p(F=a)&=p(F=a|B=r)p(B=r)+p(F=a|B=b)p(B=b) \\ &= \frac{1}{4}\times\frac{4}{10}+\frac{3}{4}\times\frac{6}{10}=\frac{11}{20}\tag{1.22} \end{align*}$

となる．また加法定理から $p(B=b|F=o)=1-\frac{2}{3}=\frac{1}{3}$ が成り立つ．

ここで，ベイズの定理の重要な解釈を考える．

選んだ果物の種類を教えられる前にどの箱を選んだかを尋ねられたら，我々のもつ最も完全な情報は $p(B)$ という確率値で与えられる．これを事前確率（prior probability）と呼ぶ．なぜなら，どの果物を選んだかを観測するより事前に得られる確率値だからである．一旦果物がオレンジだと分かれば，ベイズの定理を使って，確率 $p(B|F)$ を計算できる．これを事後確率（posterior probability）と呼ぶ．なぜなら，これは $F$ を観測した事後の確率だからである．

2つの変数の同時分布がその周辺分布の積に分解できるとき（ $p(X,Y)=p(X)p(Y)$ ）， $X$ と $Y$ は独立（independent）であるという．乗法定理から $p(Y|X)=p(Y)$ であることがわかり， $X$ が与えられた下での $Y$ の条件付き確率は実際に $X$ の値に独立になる．

果物の箱の例で言えば，各箱に同じ比率でりんごとオレンジが入っていれば， $p(F|B)=P(F)$ となって，りんごが選ばれる確率はどの箱が選ばれたかに独立となる．

今日はここまで．