(7,4)ハミング符号の続き、いきます． こんな規則で検査記号が付加されることを思い出しとく． シンドローム 上の式を右辺を0にするように変形しましょう． とかとかややこしいので、全部でおいてしまいましょう．

いきなり定理から入っていきます． 定理4.1 通信路符号化定理 通信路容量があり、この時であれば任意の正定数に関して にすることができる情報速度の符号が存在．大数の法則から証明できるものだが、完全にわかっていないので割愛．後で更新いたします．とい…

加法二元通信路の通信路容量 前回紹介した誤り源からの信号と入力信号との排他的論理和を出力信号にするという通信路モデルにおける通信路容量を考えていきます． 結論から言うと になります． ではその証明を… こんな感じに式変形ができます．ここで、の最…

通信路符号化に入っていきます 通信の途中でノイズがはいいてくることを前提としている． ⇒これがなかったら送った信号を相手が100％正しく復号できてしまう．通信路符号化をやる意義がなくなってしまう．ということで、通信路符号化によって信頼性を保証し…

結合エントロピー との結合確立をとするとき、との結合エントロピーは で表される．これは、とが同時に生起したときに得られる情報量． また、 が成立する．とが独立しているとき、等号． 条件付きエントロピー が生起したときが生起する確率をとすると、が…

今回は情報源符号化定理の小テスト＆情報量についてのお話情報量というものを定義するにあたって、確率を用いる． ⇒の情報量はの生起確率に依存する．つまり、 また、次のような性質を持つことが求められる ①は単調減少でが小さいほど情報量は大きくなる ②情…

記憶のある情報源について これまで扱ってきたのはすべて記憶のない、独立した情報源集合．ここからは過去の状態に従属している情報源集合の扱い方について書いていく． 重マルコフ情報源 任意の時点での生起確率が直前個の出力に依存して決まる情報源 状態…

前回出てきた平均符号長の限界値であるエントロピー．なぜそうなるのかの証明． 命題平均符号長は まで短くすることができる． 補助定理2.2 を満たすとき、 が成立．等号は 証明(補助定理2.2) 指数関数のマクローリン展開から得られると低の変換公式より よ…

命題「ハフマン符号化法によりコンパクト符号になる(2元)」の証明 まず補助定理を証明して本筋に適用する ・コンパクト符号の符号の木の性質 ①根から最も遠い位置にある葉は二つある ②この二つの葉に生起確率の小さいものから二つが割り当てられている ①の証…

平均符号長とは で表すことができる。 瞬時複合：境界で瞬時にどの符号を表しているのかがわかる複合 一意複合よりも瞬時複合のほうが嬉しい そもそも2章でやっていくのは下の写真のところ 一意複合の下に瞬時複合がある理由はこの後説明していく 符号につい…

この講義でやること ・シャノンの情報理論 ・符号理論 ・情報を記号列(ディジタル情報)としてとらえる(何か意味を持つものとしては扱わない) ・情報をいかに効率よく(情報理論)、信頼性高く(符号理論)伝達するか ⇒符号化することによってこの課題の解決をは…