情報通信システム　其の六　20170525 - マエカワの備忘録的な何か

今回は情報源符号化定理の小テスト＆情報量についてのお話

情報量というものを定義するにあたって、確率を用いる．
　⇒ $\displaystyle a$ の情報量は $\displaystyle a$ の生起確率 $\displaystyle p(a)$ に依存する．つまり、
　　　 $\displaystyle I(a)=f(p(a))$

また、次のような性質を持つことが求められる
　① $\displaystyle f(p)$ は単調減少で $\displaystyle p(a)$ が小さいほど情報量は大きくなる
　②情報量の加法性
　　　生起確率 $\displaystyle p_1,p_2$ が互いに独立しているとき
　　　　 $\displaystyle f(p_1p_2)=f(p_1)+f(p_2)$
　　　が成り立つということ．
　　　⇒このことが示す意味は、「二つの事象を一気に知るのと別々に知るのとでは取得する情報量に差がない」ということ．

上の二つの条件を満たす関数は
　 $\displaystyle f(p)=-k\log p$
しかない．ただし、 $\displaystyle k$ は正定数．

自己情報量

　生起確率 $\displaystyle p(a)$ の事象 $\displaystyle a$ が生起した時に得ることのできる情報量は
　　 $\displaystyle I(a)=-\log p(a)$
　で定義することができ、この $\displaystyle I(a)$ こそが事象 $\displaystyle a$ の自己情報量になる．

　　⇒底が2の時、ビット．ネイピア数 $\displaystyle e$ の時ナット．10の時ハートレーと呼び方が変わるらしい．

平均情報量

　背反確率情報源 $\displaystyle A=\{ a_1,...,a_M\}$ において事象が一つ生起するときの情報源の期待値
　　 $\displaystyle H(a)=\sum_{i=1}^Mp(a_i)I(a_i)=-\sum_{i=1}^Mp(a_i)\log p(a_i)$
　を確率事象系の平均情報量と呼ぶ．

　この形は情報源符号化定理におけるエントロピーと同じ形になっている．つまり、平均情報量とは確率事象系 $\displaystyle A$ を情報源としたときの平均符号長の下限といえる．

　注意したいのは $\displaystyle p(a)=0$ の時．この時の平均情報量は
　　 $\displaystyle 0\times \log 0=0$
　で平均情報量は0。イメージで言えば、「なんだこいつw何馬鹿なこと言ってんだwwww」くらいでしょうか．

エントロピーの定義について

　熱力学でも出てきたエントロピーという概念．熱力学では無秩序さの尺度だったが、情報分野では「教えてもらう以前の $\displaystyle A$ に関する我々の持つ知識のあいまいさ」というもの．結局何が言いたいのかというと、知らないことは情報量が大きくて、知ってることに関しては情報量が少ないということ．
　また、情報量＝「その事象を知った時のエントロピーの変化量」ともとることができる．これも何を言いたいのかというと、「その事象を知ってどれだけ疑問が解けたか」ってことを言っている．