マエカワの備忘録的な何か

思い立ったが吉日

情報通信システム　其の八　20170608

3年科目情報通信システム

通信路符号化に入っていきます

通信の途中でノイズがはいいてくることを前提としている．
　⇒これがなかったら送った信号を相手が100％正しく復号できてしまう．通信路符号化をやる意義がなくなってしまう．

ということで、通信路符号化によって信頼性を保証したい．そのためにはどうするか．余分な情報を付加して誤りを検出しやすくすればいい．

4章では通信路のモデル化、通信路容量についてやっていく．

モデル化

ノイズのために入力と出力が必ず一致するとは限らない．このノイズについては確率的な振る舞いで近似することができる．つまり、ある確率で間違った符号を復号してしまうということ．
これから扱う通信路については、定常性通信、つまり、時間がたっても確率的な振る舞いが変わらないものを前提としていく．
確率的な振る舞いは入力系列 $\displaystyle \vec{x}$ と出力系列 $\displaystyle \vec{y}$ の条件付確率で表すことができる．

　 $\displaystyle \forall \vec{x},\forall\vec{y},p(y_0,y_1,...,y_{n-1}|x_0,x_1,...,x_{n-1})$

また、この確率的な振る舞いにも「記憶のあるなし」が存在している．これに関しては情報源符号化定理の時に扱ったマルコフ符号化法などと同じようなイメージを持っておくといい．

定常無記憶通信路

この時、無記憶性より

続きを読む

情報通信システム　其の七　20170601

情報通信システム 3年科目

結合エントロピー

$A=\{a_1,...,a_M\}$ と $B=\{b_1,...,b_N\}$ の結合確立を $p(a_i,b_j)$ とするとき、 $A$ と $B$ の結合エントロピー $H(AB)$ は

　 $\displaystyle H(AB)=-\sum_{i=0}^M\sum_{j=1}^N p(a_i,b_j)\log p(a_i,b_j)$

で表される．これは、 $A$ と $B$ が同時に生起したときに得られる情報量．
また、

　 $H(AB)\le H(A)+H(B)$

が成立する． $A$ と $B$ が独立しているとき、等号．

条件付きエントロピー

$\displaystyle b_j$ が生起したとき $\displaystyle a_i$ が生起する確率を $\displaystyle p(a_i|b_j)$ とすると、 $\displaystyle B$ が起こった時 $\displaystyle A$ が生起するときの条件付きエントロピー $\displaystyle H(A|B)$ は
　 $\displaystyle H(A|B)=-\sum_{i=0}^M\sum_{j=1}^N p(a_i,b_j)\log p(a_i|b_j)$
で表すことができる． $\displaystyle \log$ の中に入っていないのは結合確立になっていることに注意する．

ちょっくら導出をしましょうか…。

　 $\displaystyle H(A|B)=-\sum_{j=1}^N p(b_j)\left\{\sum_{i=0}^M p(a_i|b_j)\log p(a_i|b_j)\right\}$

　 $\displaystyle p(a_i,b_j)=p(a_i|b_j)p(b_j)$ より

　 $\displaystyle H(A|B)=-\sum_{i=0}^M\sum_{j=1}^N p(a_i,b_j)\log p(a_i|b_j)$

ベン図で書くと

　 $\displaystyle H(AB)=H(A|B)+H(B)=H(B|A)+H(A)$

続きを読む