演習問題1.6 2つの変数が独立なら，それらの共分散は0になることを示せ． 演習問題1.6 解答 2つの変数の共分散は， ここで，は独立のため， が成り立つ．したがって， となる． （これで良いのか？）

が区間に入る確率は累積分布関数(cumulative distribution function) で定義される． いくつかの連続変数があるとき，これをまとめてベクトルで表すと，同時分布を定義することができ，がを含む無限小の体積要素に入る確率はで与えられる．この多変数確率密…

演習問題1.4 連続変数上で定義された確率密度を考える．により非線形変換を施すと密度はの変換を受ける． を微分して，に関する密度を最大にする位置とに関する密度を最大にする位置とが，ヤコビ因子の影響により一般には単純なという関係にないことを示せ．…

1.2.1 確率密度 連続変数についての確率を考える． 実数値を取る変数が区間に入る確率が，のときで与えられるとき，を上の確率密度（probability density）とよぶ． このとき，が区間にある確率は で与えられる． 確率は非負では実数上のどこかの値をとらな…

前回の続き． 確率論の概念を単純な例を使って導入する． いま，赤と青の2つの箱があり，赤の箱にはりんごが2個とオレンジが6個，青の箱にはりんごが3個とオレンジが1個入っているとする． 箱の1つをランダムに選び，果物をランダムに1個取り出す．そしてど…

一昨日の続き． 図に，2変数に対する同時分布の単純な例を使って，周辺分布および条件付き分布の概念を図示する． 左上の図は，同時分布からの生成を模して生成した個のサンプルデータ点をプロットしてある． 残りの図は周辺分布と，左上の図の下側の行に対…

昨日の続き 確率変数の確率分布を単にと書き，その分布が特定の値を取る確率をと書くことにする． このような簡潔な記法を使うと，確率論の2つの基本法則を以下のように書くことができる． 確率の基本法則 ここで，は同時確率，は条件付き確率，は周辺確率（…

昨日の続き． 列の事例数は，その列にある枠内の事例数の総和のため，である．とより， が成り立つ．これが確率の加法定理(sum rule)である． は他の変数についての周辺化，すなわちについての足し合わせであるため， 周辺確率(marginal probability)と呼ば…

1.2 確率論 確率論(probability theory)は，不確実性に関する定量化と操作に関して一貫した枠組みを与え，パターン認識の基礎の中心を担っている． 確率に関する２つの基本的な法則がある． 確率の加法定理(sum rule of probability) 確率の乗法定理(product…

昨日の続き． 多項式曲線フィッティングの線形方程式verを作成した． 動作確認のため，図を再描画してみる． %matplotlib inline import matplotlib.pyplot as plt import numpy as np import numpy.polynomial.polynomial as poly np.random.seed(42) # tes…

昨日の続き． 過学習を制御するためによく使われるテクニックに正則化(regularization)がある． これは誤差関数にpenalty項を付加することにより係数が大きな値になることを防ごうとするものである． 最も単純なものは，係数を二乗して和をとったもの（L2正…

昨日の続き． いろいろな次数の多項式について得られた係数の値を検証してみる． （コードは省略） 0.09 -1.36 21.09 524.49 0.77 -31.88 -8747.08 10.88 30200.27 0.01 -46656.18 38429.23 -17576.78 4319.81 -522.06 28.31 0.10 の増加に伴って，係数の多…

昨日の続き． figure 1.4 図をみると，次数のケースは関数の表現としては明らかに不適切であることがわかる． このような振る舞いは過学習(over-fitting)として知られている． 我々の目標は，新たなデータに対して正確な予測を行える高い汎化性能の達成であ…

昨日の多項式フィッティングのコードは流石に汚すぎたので，ライブラリを使うことにする． numpy に numpy.polyfit というそのものズバリな機能があるようだ． ドキュメントによると v1.4 以降は非推奨らしいが，簡単なので，これを使って再度図を作成してみ…

昨日の続きをやっていく． の多項式の字数を選ぶ問題は，モデル比較(model comparioson)あるいはモデル選択(model selection)と呼ばれる． 例として，次数の多項式を当てはめてみる． 以下，コード（めちゃくちゃ汚いので後日修正する）． %matplotlib inlin…

昨日の続きをやっていく． この関数と この誤差関数について考える． 演習問題 1.1 関数が多項式で与えられたときのの二乗和誤差関数を考える．この誤差関数を最小にする係数は以下の線形方程式の解として与えられることを示せ． ただし， ここで，下付き添…

とりあえず， PRML を頭から読み直すやつをやることにした． 今日は「1.1 多項式曲線フィッティング」をやってみる． 訓練集合として，個の観測値を並べたと， それぞれに対応する観測値を並べたが与えられる． 我々の目標は，この訓練集合を利用して，新た…