情報通信システム　其の八　20170608 - マエカワの備忘録的な何か

通信路符号化に入っていきます

通信の途中でノイズがはいいてくることを前提としている．
　⇒これがなかったら送った信号を相手が100％正しく復号できてしまう．通信路符号化をやる意義がなくなってしまう．

ということで、通信路符号化によって信頼性を保証したい．そのためにはどうするか．余分な情報を付加して誤りを検出しやすくすればいい．

4章では通信路のモデル化、通信路容量についてやっていく．

モデル化

ノイズのために入力と出力が必ず一致するとは限らない．このノイズについては確率的な振る舞いで近似することができる．つまり、ある確率で間違った符号を復号してしまうということ．
これから扱う通信路については、定常性通信、つまり、時間がたっても確率的な振る舞いが変わらないものを前提としていく．
確率的な振る舞いは入力系列 $\displaystyle \vec{x}$ と出力系列 $\displaystyle \vec{y}$ の条件付確率で表すことができる．

　 $\displaystyle \forall \vec{x},\forall\vec{y},p(y_0,y_1,...,y_{n-1}|x_0,x_1,...,x_{n-1})$

また、この確率的な振る舞いにも「記憶のあるなし」が存在している．これに関しては情報源符号化定理の時に扱ったマルコフ符号化法などと同じようなイメージを持っておくといい．

定常無記憶通信路

この時、無記憶性より

　 $\displaystyle \forall \vec{x},\forall\vec{y},p(y_0,y_1,...,y_{n-1}|x_0,x_1,...,x_{n-1})=\prod_{i=0}^{n-1}p(y_i|x_i)$

が成り立つ．これは出力系列 $\displaystyle y_i$ はその時の入力系列 $\displaystyle x_i$ にしか依存しないことを表している．また、入力を $\displaystyle a_i$ 出力を $\displaystyle b_j$ とすると

　 $\displaystyle \sum_{j=1}^s p(b_j|a_i)=1$

が成立する．
ココでの言い回しは少しわかりにくいが、それぞれの対応を図で表すと下のようになる．

f:id:maekawa_yoshimiki_1119:20170624163109j:plain

これから入出力集合ともに $\{0,1\}$ を要素とするものと仮定して話を進めていく．

記憶あり通信路

基本的に上で上げた無記憶通信路以外のものを指す．バースト誤り通信路という種類があるが、これはあとで説明する．

とりあえず無記憶通信路について．

2元対称通信路

ビット誤り確率(誤り発生確率)を $p$ とする．仕組みは下の図を参考に．

f:id:maekawa_yoshimiki_1119:20170624190142j:plain

2元対称消失通信路

誤り発生確率 $p$ に加えて、消失してしまう(0でも1でもないものになってしまう)確率を $p_x$ としたときの通信路．仕組みは下に．

f:id:maekawa_yoshimiki_1119:20170624190158j:plain

入出力確率分布の関係

入力の確率分布を $\vec{p}$ 、出力の確率分布を $\vec{q}$ とすると、通信路行列 $T$ を用いて

　 $\displaystyle \vec{q}=\vec{p}T$

という関係が成り立つ．
この関係式はとても重要．通信路容量を求めるときとか絶対に必要になってくるので要記憶．

誤り源による2元通信路の表現

これまでただ単純に復号するときに間違いが生じると書いてきたが、その仕組みを誤り源という方法で表現する．この誤り源はある確率的な振る舞いで $\{0,1\}$ を発生する．この値と入力 $X$ の値との排他的論理和をとることによって、 $0$ を出力した時は正しく復号、 $1$ を出力した時は誤ってしまう性質が見えてくる．つまり、誤り源 $E$ が $1$ を出力する確立こそ、この通信路の誤り発生確率といえる．言葉で書いてもわからないので図で表します．