PRML上巻 P14 - 一日坊主

昨日の続き

確率変数 $B$ の確率分布を単に $p(B)$ と書き，その分布が特定の値 $r$ を取る確率を $p(r)$ と書くことにする．このような簡潔な記法を使うと，確率論の2つの基本法則を以下のように書くことができる．

確率の基本法則

$\begin{align*} &\textbf{加法定理}\qquad &p(X)&=\sum_{Y}p(X,Y) \tag{1.10}\\ &\textbf{乗法定理}\qquad &p(X,Y)&=p(Y | X)p(X) \tag{1.11}\\ \end{align*}$

ここで， $p(X,Y)$ は同時確率， $p(Y|X)$ は条件付き確率， $p(X)$ は周辺確率（単に $X$ の確率）である．

乗法定理及び対称性 $p(X,Y)=p(Y,X)$ から，条件付き確率の間の以下の関係を得る．

$\displaystyle{ p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)}\tag{1.12} }$

これはベイズの定理（Bayes' theorem）と呼ばれ，パターン認識や機械学習において中心的役割保果たす．

加法定理を使えば，ベイズの定理の分母は分子に現れる量を使って表すことができる．

$\displaystyle{ p(X)=\sum_{Y}p(X|Y)p(Y)\tag{1.13} }$

すなわち，

$\displaystyle{ p(Y|X)=\frac{p(X|Y)p(Y)}{\sum_{Y}p(X|Y)p(Y)} }$

と表せる．

すべての $Y$ について和を取ると，

$\begin{align*} \sum_{Y}p(Y|X)&=\frac{\sum_{Y}p(X|Y)p(Y)}{\sum_{Y}p(X|Y)p(Y)}\\ &=1 \end{align*}$

となる．

つまり，ベイズの定理の分母は $(1.12)$ 式の左辺の条件付き確率をすべての $Y$ について和をとったものが1になることを保証するための規格化（正規化）定数とみなすことができる．

今日はここまで．