情報
はじめての情報理論
本書は，高専および学部生を主な読者に想定し，授業や自学自習で活用できるテキストとして，情報理論の基礎やエッセンスを分かり易くまとめた．また，高度な数学的知識は必要せず，最も基本となる確率論に関する知識については，最初の章で必要にして十分なものに限ってまとめてあるため,初習者にも抵抗なく読み進められる．
本書の特徴は,各章に「STEP」を創りステップ バイ ステップで学べるよう工夫してある.具体的には次の通りである。
STEP 1．クイズ／STEP 2．学びのポイント／STEP 3．学びの実践：本文／STEP 4．章のまとめ／STEP 5．実力チェック：演習問題（A 基本問題・B チャレンジ問題・C 実践問題．／A とB については，巻末に極力完全解を示している．）
電子書籍¥2,420 小売希望価格（税込）
紙の書籍¥2,420定価（税込）
基本情報
| 発売日 | 2011年10月5日 |
|---|---|
| 本体価格 | 2,200円 |
| サイズ | B5 |
| ISBN | 9784764904132 |
| ジャンル | 情報 |
| タグ | 情報理論, 教科書 |
| 電子書籍形式 | 固定型 |
主要目次
第 1 章 確率論の復習
1.1 情報理論と確率論
1.2 確率と確率分布
1.3 条件付分布と同時分布
1.4 確率変数の期待値
第 2 章 エントロピー
2.1 エントロピーとは
2.2 エントロピーの計算
2.3 エントロピーの最大値と最小値
第 3 章 エントロピーのチェイン則
3.1 同時エントロピー
3.2 条件付エントロピー
3.3 エントロピーのチェイン則
第 4 章 ダイバージェンス
4.1 ダ イバージェンス
4.2 ダ イバージェンスと距離の公理
4.3 ダ イバージェンスの非負性
第 5 章 ダイバージェンスの応用
5.1 エントロピーの性質
5.2 ダ イバージェンスのその他の性質
第 6 章 符号の定義と正則性
6.1 固定長符号と可変長符号
6.2 符号の数学的定義と平均符号語長
6.3 符号の正則性と分節可能符号
第 7 章 分節可能符号と語頭符号
7.1 分節可能符号判別アルゴリズム
7.2 語頭符号
7.3 符号のクラス
第 8 章 符号の表現とクラフトの不等式
8.1 符号木
8.2 符号の数直線による表現
8.3 クラフトの不等式
第 9 章 最適な符号
9.1 D 進分布と最適な符号化
9.2 最適な符号語長
9.3 情報源分布の推定誤りの影響
第 10 章 符号化アルゴリズム
10.1 シャノン–ファノ符号
10.2 シャノン–ファノ–イライアス符号
10.3 ハフマン符号
第 11 章 相互情報量
11.1 相互情報量
11.2 相互情報量の非負性
第 12 章 相互情報量の応用
12.1 条件付相互情報量とチェイン則
12.2 相互情報量と通信路
12.3 相互情報量の凸性
第 13 章 情報処理不等式とファノの不等式
13.1 マルコフ連鎖
13.2 情報処理不等式
13.3 ファノの不等式
第 14 章 通信路符号化と通信理論
14.1 通信路モデル
14.2 通信路符号化定理と通信路容量
14.3 誤り訂正符号
第 15 章 情報理論の応用
15.1 情報理論とマルチメディア
15.2 情報理論とワイヤレス通信
15.3 情報理論とセキュリティ技術
付録 A エントロピーの凸性の証明
付録 B ダ イバージェンスの凸性の証明
付録 C クラフトの不等式の別証明
付録 D 条件付相互情報量とチェイン則
付録 E 相互情報量の凸性
付録 F 演習問題の解答
参考文献
索 引
1.1 情報理論と確率論
1.2 確率と確率分布
1.3 条件付分布と同時分布
1.4 確率変数の期待値
第 2 章 エントロピー
2.1 エントロピーとは
2.2 エントロピーの計算
2.3 エントロピーの最大値と最小値
第 3 章 エントロピーのチェイン則
3.1 同時エントロピー
3.2 条件付エントロピー
3.3 エントロピーのチェイン則
第 4 章 ダイバージェンス
4.1 ダ イバージェンス
4.2 ダ イバージェンスと距離の公理
4.3 ダ イバージェンスの非負性
第 5 章 ダイバージェンスの応用
5.1 エントロピーの性質
5.2 ダ イバージェンスのその他の性質
第 6 章 符号の定義と正則性
6.1 固定長符号と可変長符号
6.2 符号の数学的定義と平均符号語長
6.3 符号の正則性と分節可能符号
第 7 章 分節可能符号と語頭符号
7.1 分節可能符号判別アルゴリズム
7.2 語頭符号
7.3 符号のクラス
第 8 章 符号の表現とクラフトの不等式
8.1 符号木
8.2 符号の数直線による表現
8.3 クラフトの不等式
第 9 章 最適な符号
9.1 D 進分布と最適な符号化
9.2 最適な符号語長
9.3 情報源分布の推定誤りの影響
第 10 章 符号化アルゴリズム
10.1 シャノン–ファノ符号
10.2 シャノン–ファノ–イライアス符号
10.3 ハフマン符号
第 11 章 相互情報量
11.1 相互情報量
11.2 相互情報量の非負性
第 12 章 相互情報量の応用
12.1 条件付相互情報量とチェイン則
12.2 相互情報量と通信路
12.3 相互情報量の凸性
第 13 章 情報処理不等式とファノの不等式
13.1 マルコフ連鎖
13.2 情報処理不等式
13.3 ファノの不等式
第 14 章 通信路符号化と通信理論
14.1 通信路モデル
14.2 通信路符号化定理と通信路容量
14.3 誤り訂正符号
第 15 章 情報理論の応用
15.1 情報理論とマルチメディア
15.2 情報理論とワイヤレス通信
15.3 情報理論とセキュリティ技術
付録 A エントロピーの凸性の証明
付録 B ダ イバージェンスの凸性の証明
付録 C クラフトの不等式の別証明
付録 D 条件付相互情報量とチェイン則
付録 E 相互情報量の凸性
付録 F 演習問題の解答
参考文献
索 引