マエカワの備忘録的な何か

思い立ったが吉日

知的学習システム 其の二 20180416

はじめに

 今回は数理的準備について一通りという感じでした.最後に少しだけガウス分布について出てきましたが,学部2年の「確率論」「統計学」の範疇です.端的に書いていきますのでよろしくお願いいたします.
 あと,提供されている資料は拡張子なしpdfファイルとしてダウンロードされるので,拡張子つけて閲覧してねということも連絡事項.自分はこれにはまって悶々としてしまっていた.最終的に連絡して解決.今に至るというわけです.

確立

わかりにくかったら2次元マトリックスにしてみろ

 条件付確率・周辺化など,ぱっと見では理解しにくいようなもの,特に多次元になったときにはもうお手上げ...なんて物もとりあえずマトリックスに落とし込んで理解しろとのこと.確率の基本的な原理は「数え上げ」なので,とりあえず2次元で考えていきましょうとのことでした.
 例えば,次のような確率変数からなる場合を考えてみる.

   \displaystyle 
\begin{cases}
\begin{eqnarray}
X&=&\{x_i|i=1,...,M\}\\
Y&=&\{y_j|j=1,...,L\}
\end{eqnarray}
\end{cases}

これをマトリックスに落とし込んでいくと,次のような形になる.

合計 N回施行した結果 \displaystyle \left(x_i,y_j\right)をとる回数を n_{ij}としたとき,同時確立と周辺確立を考えていく.次のように表すことができる.

   \displaystyle 同時確率 P\left(X=x_i,Y=y_j\right)=\frac{n_{ij}}{N}
   \displaystyle 周辺確率 P\left(X=x_i\right)=\sum_{Y=y_1}^{y_L}{P\left(X=x_i,Y\right)}

 周辺確率に関しては,点じゃなくて面でみるといった感じですかね.あくまでイメージですけど.
 条件付確率については,母数を Nではなく,確定値をとりうる状態数 cにすることで分かりやすくなります.つまり,

   \displaystyle 
\begin{eqnarray}
P\left(Y=y_j|X=x_i\right)&=&\frac{n_{ij}}{c}\\
&=&\frac{P\left(X=x_i,Y=y_j\right)}{P\left(X=x_i\right)}
\end{eqnarray}

こんな感じですね.いわゆる乗法定理と呼ばれるものです.
 では,いったいなぜこんな条件付確率が必要なのか.データの性質を最も直接的に理解できる方法は散布図を見ることです.しかし,多変量になればなるほど多次元空間を把握しなければならないため散布図で理解することは困難になります.そこで条件付確率を使い,多変数の分布をみることによりデータの特徴が把握できるというわけです.

ベイズの定理

 データから結論を導くために,結論から得られたデータを使う...説明が難しいですね.「原因→結果」の関係を求める際に「結果→原因」の関係を使うことができる,そんな関係式.導出自体はとても簡単で.

   \displaystyle 
\begin{eqnarray}
P\left(X,Y\right)&=&P\left(Y|X\right)P\left(X\right)\\
&=&P\left(X|Y\right)P\left(Y\right)
\end{eqnarray}

したがって,
   \displaystyle 
P\left(Y|X\right)=\frac{P\left(X|Y\right)P\left(Y\right)}{P\left(X\right)}

みたいな感じ.

事前確率・事後確率・尤度

 結果が分かる前段階で得られる確率のことを「事前確率」.結果が得られた後の原因の選択確立のことを「事後確率」と呼んでいる.例えば箱から果物をとるといった場合,箱の選択確率が事前確率で,果物が確定した後から箱の選択確率を計算したものは事後確率になる.また,箱が確定したうえで果物の選択確率のことを「尤度」と呼ぶ.尤度は,得られたデータの確からしさを示す値で,確率のようにふるまうが実質確率ではないらしい.

連続確率

 これまでは離散的に確立をとらえていたが,連続関数として確率を考えていく.これが,後で出てくる分布の考え方のもとになってくる.
 さすがに連続値として確率をとらえることができないので,微小距離 dxに区切って考えていく.すると,さっきまでシグマだったものがインテグラルに変化.積分計算で,ある範囲の事象が起こる確率が求まる.これのことを確率密度という.

   \displaystyle 
P\left(x\in \left(a,b\right)\right)=\int_a^bP\left(x\right)dx

ただし,

   \displaystyle 
P\left(x\right)\ge 0 , \int_{-\infty}^{\infty}P\left(x\right)dx=1

が成立している必要がある.
 また,連続確率空間における変数変換やヤコビ行列を用いることで実現できる.

分布について

 ここで,正規分布についての話が出てきました.正規分布はご存知の通り,

   \displaystyle 
\mathcal{N}\left(x|\mu,\sigma^2\right)=\frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\frac{1}{2\sigma^2}\left(x-\mu\right)^2\right)

で定義される分布のことです.ガウス分布とは,正規分布の別名のこと.
 また,ガウス分布において x x^2の期待値は次のように求めることができる.

   \displaystyle
E[x]=\int_{-\infty}^{\infty}x\mathcal{N}\left(x|\mu,\sigma^2\right)=\mu

   \displaystyle
E[x^2]=\int_{-\infty}^{\infty}x^2\mathcal{N}\left(x|\mu,\sigma^2\right)=\mu^2+\sigma^2

また, \displaystyle \mathrm{var}[x]=E[x^2]-\left(E[x]\right)^2の関係式より

   \displaystyle
\mathrm{var}[x]=\sigma^2

を導くことができる.