マエカワの備忘録的な何か

思い立ったが吉日

情報通信システム

情報通信システム 其の九 20170615

加法二元通信路の通信路容量 前回紹介した誤り源からの信号と入力信号との排他的論理和を出力信号にするという通信路モデルにおける通信路容量を考えていきます. 結論から言うと になります. ではその証明を… こんな感じに式変形ができます.ここで、の最…

情報通信システム 其の八 20170608

通信路符号化に入っていきます 通信の途中でノイズがはいいてくることを前提としている. ⇒これがなかったら送った信号を相手が100%正しく復号できてしまう.通信路符号化をやる意義がなくなってしまう.ということで、通信路符号化によって信頼性を保証し…

情報通信システム 其の七 20170601

結合エントロピー との結合確立をとするとき、との結合エントロピーは で表される.これは、とが同時に生起したときに得られる情報量. また、 が成立する.とが独立しているとき、等号. 条件付きエントロピー が生起したときが生起する確率をとすると、が…

情報通信システム 其の六 20170525

今回は情報源符号化定理の小テスト&情報量についてのお話情報量というものを定義するにあたって、確率を用いる. ⇒の情報量はの生起確率に依存する.つまり、 また、次のような性質を持つことが求められる ①は単調減少でが小さいほど情報量は大きくなる ②情…

情報通信システム 其の五 20170518

記憶のある情報源について これまで扱ってきたのはすべて記憶のない、独立した情報源集合.ここからは過去の状態に従属している情報源集合の扱い方について書いていく. 重マルコフ情報源 任意の時点での生起確率が直前個の出力に依存して決まる情報源 状態…

情報通信システム 其の四 20170511

前回出てきた平均符号長の限界値であるエントロピー.なぜそうなるのかの証明. 命題平均符号長は まで短くすることができる. 補助定理2.2 を満たすとき、 が成立.等号は 証明(補助定理2.2) 指数関数のマクローリン展開から得られると低の変換公式より よ…

情報通信システム 其の三 20170427

命題「ハフマン符号化法によりコンパクト符号になる(2元)」の証明 まず補助定理を証明して本筋に適用する ・コンパクト符号の符号の木の性質 ①根から最も遠い位置にある葉は二つある ②この二つの葉に生起確率の小さいものから二つが割り当てられている ①の証…

情報通信システム 其の二 20170420

平均符号長とは で表すことができる。 瞬時複合:境界で瞬時にどの符号を表しているのかがわかる複合 一意複合よりも瞬時複合のほうが嬉しい そもそも2章でやっていくのは下の写真のところ 一意複合の下に瞬時複合がある理由はこの後説明していく 符号につい…

情報通信システム 其の一 20170413

この講義でやること ・シャノンの情報理論 ・符号理論 ・情報を記号列(ディジタル情報)としてとらえる(何か意味を持つものとしては扱わない) ・情報をいかに効率よく(情報理論)、信頼性高く(符号理論)伝達するか ⇒符号化することによってこの課題の解決をは…