前言
第1章 概論
1.1 信息論的基本內(nèi)容--信息理論所關(guān)注的信息特征
1.2 信息論簡(jiǎn)史
1.3 關(guān)于控制論、信息論與系統(tǒng)論
1.4 信息論的應(yīng)用
1.5 有關(guān)的常用不等式
習(xí)題1


第2章 信息的度量與熵
2.1 自信息
2.2 熵、條件熵、聯(lián)合熵及其性質(zhì)
2.3 互信息與相對(duì)熵
2.4 凸函數(shù)與熵的凸性
2.5 微分熵
2. 5.1 連續(xù)信源的微分熵.
2.5.2 聯(lián)合微分熵、條件微分熵
2.5.3 連續(xù)信源的相對(duì)熵與互信息
2.5.4 具有最大微分熵的連續(xù)信源一一最大熵原理
2.5.5 信息功率
習(xí)題2


第3章 隨機(jī)過(guò)程的信息量與熵率、漸近等分性質(zhì)
3.1 隨機(jī)過(guò)程的基本概念
3.2 熵率
3.3 冗余度與相對(duì)冗余度
3.4 數(shù)據(jù)處理不等式
3.5 平穩(wěn)Gauss隨機(jī)過(guò)程的熵率
3.6 漸近等分性質(zhì)
3.7 漸近等分性質(zhì)在數(shù)據(jù)壓縮中的應(yīng)用--信源編碼定理
3.7.1 無(wú)記憶信源的等長(zhǎng)編碼定理
3.7.2 一般離散信源的等長(zhǎng)編碼定理
習(xí)題3


第4章 信源編碼
4.1 等長(zhǎng)編碼
4.2 變長(zhǎng)編碼
4.2.1 Kraft不等式
4.2.2 離散信源的變長(zhǎng)編碼定理
4.3 Huffman編碼
4.4 算術(shù)碼
4.4.1 Shannon碼
4.4.2 Shannon-Fano-Elias碼
4.4.3 算術(shù)碼
4.5 通用信源編碼-LZ碼
習(xí)題4


第5章 通信信道與信道容量
5.1 離散無(wú)記憶信道與信道容量
5.2 信道容量的計(jì)算
5. 2.1 按定義計(jì)算的方法
5.2.2 拉格朗日乘子法
5.2.3 特征方程法
……
第6章 信息幾何學(xué)