PRML上巻 P13 - 一日坊主

昨日の続き．

$i$ 列の事例数は，その列にある枠内の事例数の総和のため， $c_i=\sum_j n_{ij}$ である． $(1.5)$ と $(1.6)$ より，

$\displaystyle{ p(X=x_i)=\sum_{j=1}^{L}p(X=x_i,Y=y_j)\tag{1.7} }$

が成り立つ．これが確率の加法定理(sum rule)である．

$p(X=x_i)$ は他の変数についての周辺化，すなわち $Y$ についての足し合わせであるため，周辺確率(marginal probability)と呼ばれることもある．

$X=x_i$ の事例だけを考え，その中での $Y=y_j$ の事例の比率を $p(Y=y_j|X=x_i)$ と書き， $X=x_i$ が与えられた下での $Y=y_j$ の条件付き確率 (conditional probability)と呼ぶ．

これは $i$ 列の点の中で $i, j$ の枠内にある点の数の比率であるため，

$\displaystyle{ p(Y=y_j|X=x_i)=\frac{n_{ij}}{c_i}\tag{1.8} }$

となる．

$(1.5)$ , $(1.6)$ および $(1.8)$ から次の関係を得る．

$\begin{align*} p(X=x_i,Y=y_j)&=\frac{n_{ij}}{N} \\ &=\frac{n_{ij}}{c_i}\cdot\frac{c_i}{N} \\ &=p(Y=y_j|X=x_i)p(X=x_i) \tag{1.9} \end{align*}$

これは確率の乗法定理(product rule)である．

今日はここまで．