情報通信システム　其の七　20170601 - マエカワの備忘録的な何か

結合エントロピー

$A=\{a_1,...,a_M\}$ と $B=\{b_1,...,b_N\}$ の結合確立を $p(a_i,b_j)$ とするとき、 $A$ と $B$ の結合エントロピー $H(AB)$ は

　 $\displaystyle H(AB)=-\sum_{i=0}^M\sum_{j=1}^N p(a_i,b_j)\log p(a_i,b_j)$

で表される．これは、 $A$ と $B$ が同時に生起したときに得られる情報量．
また、

　 $H(AB)\le H(A)+H(B)$

が成立する． $A$ と $B$ が独立しているとき、等号．

$\displaystyle b_j$ が生起したとき $\displaystyle a_i$ が生起する確率を $\displaystyle p(a_i|b_j)$ とすると、 $\displaystyle B$ が起こった時 $\displaystyle A$ が生起するときの条件付きエントロピー $\displaystyle H(A|B)$ は
　 $\displaystyle H(A|B)=-\sum_{i=0}^M\sum_{j=1}^N p(a_i,b_j)\log p(a_i|b_j)$
で表すことができる． $\displaystyle \log$ の中に入っていないのは結合確立になっていることに注意する．

ちょっくら導出をしましょうか…。

　 $\displaystyle H(A|B)=-\sum_{j=1}^N p(b_j)\left\{\sum_{i=0}^M p(a_i|b_j)\log p(a_i|b_j)\right\}$

　 $\displaystyle p(a_i,b_j)=p(a_i|b_j)p(b_j)$ より

　 $\displaystyle H(A|B)=-\sum_{i=0}^M\sum_{j=1}^N p(a_i,b_j)\log p(a_i|b_j)$

ベン図で書くと

　 $\displaystyle H(AB)=H(A|B)+H(B)=H(B|A)+H(A)$

$\displaystyle H(A|B)$ は $\displaystyle B$ を知った後 $\displaystyle A$ が起きた時に得られる情報量のため、 $\displaystyle B$ に入っている $\displaystyle A$ に関する情報以外の領域ということになる．
では、集合の分野でいう「 $\displaystyle A$ かつ $\displaystyle B$ 」のところはどのように表現できるのか？ $\displaystyle B$ がわかった時に得られる $\displaystyle A$ の情報量ないしは $\displaystyle A$ がわかった時に得られる $\displaystyle B$ の情報量と表現することができる．この情報量のことを相互情報量と呼び、 $\displaystyle I(A;B)$ (これは $\displaystyle B$ がわかった時に得られる $\displaystyle A$ の情報量)で表す．

　 $\displaystyle I(A;B)=I(B;A)=H(B)-H(B|A)=H(A)-H(A|B)$

(ベン図はあとで載せます)

問題3.4(あとで回答を載せます)

f:id:maekawa_yoshimiki_1119:20170624142158j:plain

ゆっくり考えたらわかった!!やっぱり確率計算苦手です…。

相互情報量についてもうちょい( $i,j$ 省略してます)

　 $\displaystyle \begin{eqnarray}I(A;B)&=&H(A)-H(A|B)\\&=&-\left(\sum p(a)\log p(a)-\sum\sum p(a,b)\log p(a|b)\right)\\&=&-\sum\sum\left( p(a)\log p(a)-p(a,b)\log \frac{p(a,b)}{p(b)}\right)\\&=&\sum\sum\left(p(a,b)\log \frac{p(a,b)}{p(b)}-p(a)\log p(a)\right)\\&=&\sum\sum\left(p(a,b)\log \frac{p(a,b)}{p(b)}-\frac{p(a,b)}{p(b|a)}\log p(a)\right)\end{eqnarray}$

今、確率事象系 $\displaystyle B$ が起こった時に得られる $\displaystyle A$ の情報量なので、 $\displaystyle A$ に関係なく $\displaystyle B$ は必ず起こる前提になっている．したがって

　 $\displaystyle p(B|A)=1$

なので、先ほどの式は

　 $\displaystyle \begin{eqnarray}I(A;B)&=&\sum\sum\left(p(a,b)\log \frac{p(a,b)}{p(b)}-\frac{p(a,b)}{p(b|a)}\log p(a)\right)\\&=&\sum\sum\left(p(a,b)\log\frac{p(a,b)}{p(b)}-p(a,b)\log p(a)\right)\\&=&\sum\sum\left( p(a,b)\log \frac{p(a,b)}{p(a)p(b)}\right)\end{eqnarray}$