情報通信システム 其の六 20170525
今回は情報源符号化定理の小テスト&情報量についてのお話
情報量というものを定義するにあたって、確率を用いる.
⇒の情報量はの生起確率に依存する.つまり、
また、次のような性質を持つことが求められる
①は単調減少でが小さいほど情報量は大きくなる
②情報量の加法性
生起確率が互いに独立しているとき
が成り立つということ.
⇒このことが示す意味は、「二つの事象を一気に知るのと別々に知るのとでは取得する情報量に差がない」ということ.
上の二つの条件を満たす関数は
しかない.ただし、は正定数.
自己情報量
生起確率の事象が生起した時に得ることのできる情報量は
で定義することができ、このこそが事象の自己情報量になる.
平均情報量
背反確率情報源において事象が一つ生起するときの情報源の期待値
を確率事象系の平均情報量と呼ぶ.
この形は情報源符号化定理におけるエントロピーと同じ形になっている.つまり、平均情報量とは確率事象系を情報源としたときの平均符号長の下限といえる.
注意したいのはの時.この時の平均情報量は
で平均情報量は0。イメージで言えば、「なんだこいつw何馬鹿なこと言ってんだwwww」くらいでしょうか.
エントロピーの定義について
熱力学でも出てきたエントロピーという概念.熱力学では無秩序さの尺度だったが、情報分野では「教えてもらう以前のに関する我々の持つ知識のあいまいさ」というもの.結局何が言いたいのかというと、知らないことは情報量が大きくて、知ってることに関しては情報量が少ないということ.
また、情報量=「その事象を知った時のエントロピーの変化量」ともとることができる.これも何を言いたいのかというと、「その事象を知ってどれだけ疑問が解けたか」ってことを言っている.
の上下限
がすべて同じ確率で生起するとき、平均情報量は最大になる.
この証明は補助定理2.2より導出できる.