情報通信システム　其の九　20170615 - マエカワの備忘録的な何か

加法二元通信路の通信路容量

前回紹介した誤り源からの信号と入力信号との排他的論理和を出力信号にするという通信路モデルにおける通信路容量を考えていきます．
結論から言うと

　 $\displaystyle C=1-H(E)$

になります．
ではその証明を…

　 $\displaystyle \begin{eqnarray} I(X;Y)&=&H(X)-H(X|Y)\\&=&H(Y)-H(Y|X)\\&=&H(Y)-H(X+E|X)\\&=&H(Y)-H(E|X)\\&=&H(Y)-H(E)\end{eqnarray}$

こんな感じに式変形ができます．ここで、 $\displaystyle H(Y)$ の最大値を考えることにより、通信路容量がわかります．
では、最大値は何なのか…？
$\displaystyle \vec{p}=(\frac{1}{2},\frac{1}{2})$ とするならば、誤り確率 $\displaystyle E$ がどんな値をとろうとも出力確率分布は $\displaystyle \vec{q}=(\frac{1}{2},\frac{1}{2})$ になり一定．このとき $\displaystyle H(Y)$ は最大値 $1$ をとるので、

　 $\displaystyle C=1-H(E)$

と求めることができる．

情報伝達速度

$\displaystyle M(=r^K)$ 個の符号語からなる符号 $\displaystyle C$ の情報伝達速度、情報速度 $\displaystyle R$ は

　 $\displaystyle R=\frac{\log_2 M}{N}\left(=\frac{K}{N}\log_2 r\right)$

で表すことができる．(もとの符号長が $K$ 、符号化した後の符号長が $N$ です)
この情報伝達速度の最大値は、何も加工せずに送った場合．すなわち、冗長性なし( $N=K$ )の時です．

　 $\displaystyle R_{max}=\log_2 r$

この情報伝達速度を用いることによって通信路符号化の特徴を表す二つの値を求めることができる．

符号化率 $\eta$ と冗長度 $\rho$

　 $\displaystyle \eta=\frac{R}{R_{max}}=\frac{R}{\log_2 r}$

　 $\displaystyle \rho=1-\eta$

これは定義なんで、覚えるしかない．

組織符号

$K$ 個の情報記号に一定の方法で求められた検査記号を付加した符号長 $N$ の符号のことを組織符号という．
例えば、1の個数が偶数個になるように検査記号を付加した「単一パリティ符号」だったり、もともとの情報記号を繰り返して付加させるなんてのも組織符号として成り立つ．

復号誤り率

ここでは最尤複合を用いたものをやっていく．
ビット誤り確率が $\displaystyle p(0\le p\le 1/2)$ で、各符号語は等確率に生起するものとする．また、正しく復号できる確率を $\displaystyle P_u$ 、誤りが検出される確率が $\displaystyle P_d$ 、復号誤りの確率を $\displaystyle P_e$ として話を進めていく．
ちょっと書くのはめんどいんで画像にして乗っけていきます．