PRML上巻 P19-20 - 一日坊主

1.2.2 期待値と分散

ある関数 $f(x)$ の，確率分布 $p(x)$ のもとでの平均値を $f(x)$ の期待値(expectation)と呼び， $\mathbb{E}[f$ ]と書く．離散分布に対しては，

$\begin{align*} \mathbb{E}[f]=\sum_{x}p(x)f(x)\tag{1.33} \end{align*}$

で与えられる．

連続変数の場合の期待値は対応する確率密度に関する積分で表される．

$\begin{align*} \mathbb{E}[f]=\int p(x)f(x)\mathrm{d}x\tag{1.34} \end{align*}$

期待値は，有限個の $N$ 点の有限和で近似できる．

$\begin{align*} \mathbb{E}[f]=\frac{1}{N}\sum_{n=1}^{N}f(x_n)\tag{1.35} \end{align*}$

多変数関数の期待値の場合は，どの変数について平均を取るかを示すのに添え字を使う．例えば，

$\begin{align*} \mathbb{E}_x\left[f(x,y)\right]\tag{1.36} \end{align*}$

は関数 $f(x,y)$ の $x$ の分布に関する平均を表す．

条件付き分布についても条件付き期待値を考えることができ，

$\begin{align*} \mathbb{E}_{x}[f|y]=\sum_{x}p(x|y)f(x)\tag{1.37} \end{align*}$

となる．

$f(x)$ の分散(variance)は，

$\begin{align*} \mathrm{var}[f]=\mathbb{E}\left[(f(x)-\mathbb{E}[f(x)])^2\right]\tag{1.38} \end{align*}$

で定義される．2乗を展開すると，

$\begin{align*} \mathrm{var}[f]=\mathbb{E}[f(x)^2]-\mathbb{E}[f(x)]^2\tag{1.39} \end{align*}$

と書くこともできる．

確率変数 $x$ 自身の分散を考えることができ，

$\begin{align*} \mathrm{var}[x]=\mathbb{E}[x^2]-\mathbb{E}[x]^2\tag{1.40} \end{align*}$

となる．

2つの確率変数 $x$ と $y$ の共分散(covariance)は

$\begin{align*} \mathrm{cov}[x,y]&=\mathbb{E}_{x,y}\left[\{x-\mathbb{E}[x]\}\{y-\mathbb{E}[y]\}\right]\\ &=\mathbb{E}_{x,y}[xy]-\mathbb{E}[x]\mathbb{E}[y]\tag{1.41} \end{align*}$

と定義され， $x$ と $y$ が同時に変動する度合いを表す．

2つの確率変数ベクトル $\mathbf{x},\mathbf{y}$ に関する共分散は，行列

$\begin{align*} \mathrm{cov}[\mathbf{x},\mathbf{y}]&=\mathbb{E}_{\mathbf{x},\mathbf{y}}\left[\{\mathbf{x}-\mathbb{E}[\mathbf{x}]\}\{\mathbf{y}^\mathrm{T}-\mathbb{E}[\mathbf{y}^\mathrm{T}]\}\right]\\ &=\mathbb{E}_{\mathbf{x},\mathbf{y}}[\mathbf{xy}^\mathrm{T}]-\mathbb{E}[\mathbf{x}]\mathbb{E}[\mathbf{y}^\mathrm{T}]\tag{1.42} \end{align*}$

となる．