PRML上巻 P5 - 一日坊主

昨日の続きをやっていく．

$\displaystyle{ y(x, \mathbf{w}) = w_0 + w_1 x + w_2 x^2 + \cdots + w_M x^M = \sum_{j=0}^{M}w_j x^j \tag{1.1} }$

この関数と

$\displaystyle{ E(\mathbf{w})=\frac{1}{2}\sum_{n=1}^{N}\left\{y(x_n, \mathbf{w}) - t_n \right\}^2\tag{1.2} }$

この誤差関数について考える．

演習問題 1.1

関数 $y(x, \mathbf{w})$ が多項式 $(1.1)$ で与えられたときの $(1.2)$ の二乗和誤差関数を考える．この誤差関数を最小にする係数 $\mathbf{w}=\{w_i\}$ は以下の線形方程式の解として与えられることを示せ．

$\displaystyle{ \sum_{j=0}^{M}A_{ij}w_j=T_i\tag{1.122} }$

ただし，

$\displaystyle{ A_{ij}=\sum_{n=1}^{N}(x_n)^{i+j}, T_i=\sum_{n=1}^{N}(x_n)^{i}t_n \tag{1.123} }$

ここで，下付き添字の $i$ や $j$ は成分を表し， $(x)^ i$ は $x$ の $i$ 乗を表す．

演習問題 1.1 解答

式 $(1.2)$ に式 $(1.1)$ を代入する．

$\displaystyle{ E(\mathbf{w})=\frac{1}{2}\sum_{n=1}^{N}\left\{\sum_{j=0}^{M}w_j(x_n)^j - t_n\right\}^2 }$

式 $(1.2)$ が最小のとき，上式の $w_i$ についての偏微分が0となる．

$\begin{aligned} \frac{\partial}{\partial w_i}E(\mathbf{w})&=2\cdot\frac{1}{2}\sum_{n=1}^{N}\left\{\sum_{j=0}^{M}w_j(x_n)^j-t_n\right\}(x_n)^i \\ &=\sum_{j=0}^{M}\sum_{n=1}^{N}(x_n)^{(i+j)}w_j-\sum_{n=1}^{N}(x_n)^it_n \\ &=\sum_{j=0}^{M}A_{ij}w_j-T_i \\ &=0 \end{aligned}$

上式の $T_i$ を移項すると，式 $(1.122)$ が得られる．

$\displaystyle{ \sum_{j=0}^{M}A_{ij}w_j=T_i }$

本日は以上．（はてなで数式をいじっていたら終わった）