一日坊主

雰囲気でやっている

PRML上巻演習問題1.4

prml

演習問題1.4

連続変数 $x$ 上で定義された確率密度 $p_x(x)$ を考える． $x=g(y)$ により非線形変換を施すと密度は $(1.27)$ の変換を受ける．

$\begin{align*} p_y(y)&=p_x(x)\left|\frac{\mathrm{d}x}{\mathrm{d}y}\right| \\ &=p_x(g(y))\left|g'(y)\right| \tag{1.27} \\ \end{align*}$

$(1.27)$ を微分して， $y$ に関する密度を最大にする位置 $\hat{y}$ と $x$ に関する密度を最大にする位置 $\hat{x}$ とが，ヤコビ因子の影響により一般には単純な $\hat{x}=g(\hat{y})$ という関係にないことを示せ．これは確率密度の最大値が，（通常の関数と異なり）変数の選択に依存することを示している．線形変換の場合には最大値の位置が変数自身と同じ変換を受けることを確かめよ．

演習問題1.4 解答

$(1.27)$ の両辺を $y$ について微分する

$\begin{align*} p_y'(y)&=p_x'(g(y))g'(y)\left|g'(y)\right|+p_x(g(y))\left|g''(y)\right| \end{align*}$

ここで， $y$ に関する密度を最大にする $\hat{y}$ について，

$\begin{align*} p_y'(\hat{y})&=p_x'(g(\hat{y}))g'(\hat{y})\left|g'(\hat{y})\right|+p_x(g(\hat{y}))\left|g''(\hat{y})\right| \\ &= 0 \end{align*}$

が成り立つ．いま， $\hat{x}=g(\hat{y})$ が成り立つと仮定すると，

$\begin{align*} p_x'(\hat{x})g'(\hat{y})\left|g'(\hat{y})\right|+p_x(\hat{x})\left|g''(\hat{y})\right| = 0 \end{align*}$

となる． $\hat{x}$ は $x$ に関する密度を最大にする位置であるから， $p_x'(\hat{x})=0$ が成り立つ．よって上式の第一項はゼロとなり，

$\begin{align*} p_x(\hat{x})\left|g''(\hat{y})\right| = 0 \end{align*}$

となる．いま， $x=g(y)$ は非線形変換（ $g(y)$ が二次以上の項をもつ）であるから， $g''(\hat{y})\neq 0$ となり，上式が成り立つには $p_x(\hat{x})=0$ でなければならない．

しかし，確率密度の定義から， $\hat{x}$ が $x$ に関する密度を最大にする位置であるためには， $p_x(\hat{x})>0$ でなければならない．よって矛盾する．（証明終わり）

一方，線形変換の場合， $g''(\hat{y})=0$ となるため，上式は成り立つ．

以上．Google先生ありがとう．