知的学習システム 其の三 20180423
はじめに
今回は,最小二乗法から入っていって,最終的に最尤推定までやっていきました.
最小二乗法について
データがあるならまずは見ろ
しっかりとデータがあるならば,散布図を見てデータを観察することから始めること.
そのほか,機械学習のみならず,あらゆる分野ではまず人工データでシステムを試す.人工データで成功してから実データを入力してみる.人工データでうまくいかないものが,実データでうまくいくはずもない.
最初の妄想
最小二乗法を用いていくにあたって,まずは自分の目でデータを見て,フィッティングをしていく必要がある.今回の講義では,すべて直線フィッティングできるものとし,進めていく.つまり,データ群が
で表現することができるという過程に基づいて進めていく.このとを決めるゲームこそが回帰問題と呼ばれ,その手法として最小二乗法が存在する.
回帰問題の難しいところ
箇条書きにしていく
- 原理
- 信頼度
- サンプル数
- フィッティング関数の形
ここら辺のことをしっかりと見て考えることが学生の苦手とする範囲だという.そして,このようなことを考えることこそが「本当にデータを見ること」だという.
原理
原理についてですが,結局フィッティング関数とデータ群の誤差の絶対値の二乗が最小になるようにの値を変えていくわけです.
がデータとして与えられているとき,
で推定していきます.データ点に対応すると,真のデータ値の差を誤差とみなしで表すと次のように記述できる.
これらの値が小さくなるほどうれしいので,微分を使って求めていく.その際,絶対値があると微分不可能になって厄介なので二乗する.これが二乗になるゆえん.最小化に使える武器は,案外少なくて,微分法くらいしかないとも言っていた.それはさておき,二乗したものの平均を求めると,
ここで質問.このは変数として何を持っているでしょう.
正解はと.とは既知の値として得られているので,変数にはなりえない.
このをとそれぞれについて偏微分して,傾きの部分が最も誤差が小さくなっているとの組み合わせ.
この原理を統計的推定に落とし込んでいくのが今回の主題です.
統計的推測
統計的推測とは,得られたデータから確率モデルを推測することをいう.今回はデータ群が正規分布に基づくと仮定して進めていくので,推定するのはとになる.さっきの話と似ている.
さっきは誤差関数を最小化していたが,ここでは,尤度関数を最大化することを考えていく.データが独立に得られたときの尤度関数は,
になる.独立なので,かけてOK.これを微分して極値を求めていくわけだが,このままの形では面倒くさい.そこで,頭にをつけて掛け算を足し算に変換していきます.
この対数を絡めてやった尤度関数のことを,「対数尤度関数」と呼ぶ.実際にとの推定値を求めてあげると
これは,得られたデータから求められる平均値と分散値.