1.2 確率論 確率論(probability theory)は，不確実性に関する定量化と操作に関して一貫した枠組みを与え，パターン認識の基礎の中心を担っている． 確率に関する２つの基本的な法則がある． 確率の加法定理(sum rule of probability) 確率の乗法定理(product…

昨日の続き． 多項式曲線フィッティングの線形方程式verを作成した． 動作確認のため，図を再描画してみる． %matplotlib inline import matplotlib.pyplot as plt import numpy as np import numpy.polynomial.polynomial as poly np.random.seed(42) # tes…

昨日の続き． 過学習を制御するためによく使われるテクニックに正則化(regularization)がある． これは誤差関数にpenalty項を付加することにより係数が大きな値になることを防ごうとするものである． 最も単純なものは，係数を二乗して和をとったもの（L2正…

昨日の続き． いろいろな次数の多項式について得られた係数の値を検証してみる． （コードは省略） 0.09 -1.36 21.09 524.49 0.77 -31.88 -8747.08 10.88 30200.27 0.01 -46656.18 38429.23 -17576.78 4319.81 -522.06 28.31 0.10 の増加に伴って，係数の多…

昨日の続き． figure 1.4 図をみると，次数のケースは関数の表現としては明らかに不適切であることがわかる． このような振る舞いは過学習(over-fitting)として知られている． 我々の目標は，新たなデータに対して正確な予測を行える高い汎化性能の達成であ…

昨日の多項式フィッティングのコードは流石に汚すぎたので，ライブラリを使うことにする． numpy に numpy.polyfit というそのものズバリな機能があるようだ． ドキュメントによると v1.4 以降は非推奨らしいが，簡単なので，これを使って再度図を作成してみ…

昨日の続きをやっていく． の多項式の字数を選ぶ問題は，モデル比較(model comparioson)あるいはモデル選択(model selection)と呼ばれる． 例として，次数の多項式を当てはめてみる． 以下，コード（めちゃくちゃ汚いので後日修正する）． %matplotlib inlin…

昨日の続きをやっていく． この関数と この誤差関数について考える． 演習問題 1.1 関数が多項式で与えられたときのの二乗和誤差関数を考える．この誤差関数を最小にする係数は以下の線形方程式の解として与えられることを示せ． ただし， ここで，下付き添…

とりあえず， PRML を頭から読み直すやつをやることにした． 今日は「1.1 多項式曲線フィッティング」をやってみる． 訓練集合として，個の観測値を並べたと， それぞれに対応する観測値を並べたが与えられる． 我々の目標は，この訓練集合を利用して，新た…

元ネタは以下の記事． www.forbes.com これによると， Research has shown that when employees spent just 15 minutes per day reflecting on what they learned that day, they began to perform 23% better after just 10 days. とのことらしい． そこで…