マエカワの備忘録的な何か

思い立ったが吉日

情報通信システム 其の八 20170608

通信路符号化に入っていきます

通信の途中でノイズがはいいてくることを前提としている.
 ⇒これがなかったら送った信号を相手が100%正しく復号できてしまう.通信路符号化をやる意義がなくなってしまう.

ということで、通信路符号化によって信頼性を保証したい.そのためにはどうするか.余分な情報を付加して誤りを検出しやすくすればいい.

4章では通信路のモデル化、通信路容量についてやっていく.

モデル化

ノイズのために入力と出力が必ず一致するとは限らない.このノイズについては確率的な振る舞いで近似することができる.つまり、ある確率で間違った符号を復号してしまうということ.
これから扱う通信路については、定常性通信、つまり、時間がたっても確率的な振る舞いが変わらないものを前提としていく.
確率的な振る舞いは入力系列 \displaystyle \vec{x}と出力系列 \displaystyle \vec{y}の条件付確率で表すことができる.

  \displaystyle \forall \vec{x},\forall\vec{y},p(y_0,y_1,...,y_{n-1}|x_0,x_1,...,x_{n-1})

また、この確率的な振る舞いにも「記憶のあるなし」が存在している.これに関しては情報源符号化定理の時に扱ったマルコフ符号化法などと同じようなイメージを持っておくといい.

定常無記憶通信路

この時、無記憶性より

続きを読む

情報通信システム 其の七 20170601

結合エントロピー

 A=\{a_1,...,a_M\} B=\{b_1,...,b_N\}の結合確立を p(a_i,b_j)とするとき、 A B結合エントロピー H(AB)

  \displaystyle H(AB)=-\sum_{i=0}^M\sum_{j=1}^N p(a_i,b_j)\log p(a_i,b_j)

で表される.これは、 A Bが同時に生起したときに得られる情報量.
また、

  H(AB)\le H(A)+H(B)

が成立する. A Bが独立しているとき、等号.

条件付きエントロピー

 \displaystyle b_jが生起したとき \displaystyle a_iが生起する確率を \displaystyle p(a_i|b_j)とすると、 \displaystyle Bが起こった時 \displaystyle Aが生起するときの条件付きエントロピー \displaystyle H(A|B)
  \displaystyle H(A|B)=-\sum_{i=0}^M\sum_{j=1}^N p(a_i,b_j)\log p(a_i|b_j)
で表すことができる. \displaystyle \logの中に入っていないのは結合確立になっていることに注意する.

ちょっくら導出をしましょうか…。

  \displaystyle H(A|B)=-\sum_{j=1}^N p(b_j)\left\{\sum_{i=0}^M p(a_i|b_j)\log p(a_i|b_j)\right\}

  \displaystyle p(a_i,b_j)=p(a_i|b_j)p(b_j)より

  \displaystyle H(A|B)=-\sum_{i=0}^M\sum_{j=1}^N p(a_i,b_j)\log p(a_i|b_j)

ベン図で書くと

  \displaystyle H(AB)=H(A|B)+H(B)=H(B|A)+H(A)

続きを読む

インタラクティブシステム論 其の四 20170518

コンボリューション

出力を周波数領域ではなくて、時間領域でしたい!!
ということで… \displaystyle X(\omega)=H(\omega)F(\omega)を時間領域に直してやる.

 \displaystyle \begin{eqnarray}x(t)&=&\int_{-\infty}^\infty X(\omega)\exp(j\omega t)d\omega\\&=&\int_{-\infty}^\infty H(\omega)F(\omega)\exp(j\omega t)d\omega\\ &=&\int_{-\infty}^\infty \left(\int_{-\infty}^\infty f(\tau)\exp(-j\omega t)d\tau\right)\exp(j\omega t)d\omega\\&=&\int_{-\infty}^\infty f(\tau)\left(\int_{-\infty}^\infty H(\omega)\exp(j\omega (t-\tau))d\omega\right)d\tau\\&=&\int_{-\infty}^\infty f(\tau)h(t-\tau)d\tau\end{eqnarray}

出てきたこいつをコンボリューション(重畳積分)という.また、コンボリューションは

  \displaystyle x(t)=f(t)*h(t)=h(t)*f(t)

で表し、演算子は" \displaystyle *".
つまり、フーリエ変換して伝達関数をかけて…といった周波数領域での処理は時間領域ではコンボリューションを取ればいいことがわかった.

コンボリューションとは何か

フーリエ変換の時間領域verがコンボリューションだということはわかったが、これはそもそもどんなものなのだろうか??

続きを読む