一日坊主

雰囲気でやっている

PRML上巻 P11-13

prml

1.2 確率論

確率論(probability theory)は，不確実性に関する定量化と操作に関して一貫した枠組みを与え，パターン認識の基礎の中心を担っている．

確率に関する２つの基本的な法則がある．

確率の加法定理(sum rule of probability)
確率の乗法定理(product rule of probability)

2つの確率変数 $X, Y$ を考える． $X$ は任意の値 $x_i (i=1,\ldots,M)$ ， $Y$ は任意の値 $y_j (j=1,\ldots,L)$ を取れるものとする． $X$ と $Y$ の両方についてサンプルを取り，全部で $N$ 回の試行を行う．そのうち $X=x_i,Y=y_j$ となる試行の数を $n_{ij}$ とする．また， $X$ が値 $x_i$ を取る試行の数を $c_i$ ， $Y$ が値 $y_j$ を取る試行の数を $r_j$ とする．

このとき， $X$ が $x_i$ ， $Y$ が $y_j$ を取る確率を $p(X=x_i,Y=y_j)$ と書き， $X=x_i$ と $Y=y_j$ の同時確率（結合確率; joint probability）と呼ぶ．

これは， $i,j$ という枠内の中にある点の個数を点の総数で割った数であるため，

$\displaystyle{ p(X=x_i,Y=y_j)=\frac{n_{ij}}{N}\tag{1.5} }$

で与えられる．

同様に， $X$ が $x_i$ を取る確率を $p(X=x_i)$ と書くと， $i$ 列にある点の数を点の総数で割った数で，

$\displaystyle{ p(X=x_i)=\frac{c_i}{N}\tag{1.6} }$

となる．

眠いのでここまで．