信息論是現(xiàn)代信息通信領(lǐng)域的基礎(chǔ)理論,是研究信息傳輸和信息處理的一般規(guī)律的科學(xué)。我們?cè)诮梃b了國內(nèi)外眾多的信息論優(yōu)秀教材和參考資料之后編寫了《信息論基礎(chǔ)教程》。李梅、李亦農(nóng)、王玉皞編著的《信息論基礎(chǔ)教程》為第3版,以香農(nóng)的三個(gè)編碼定理為中心,重點(diǎn)講述了相關(guān)的基本概念、基本原理和基本方法。鑒于目前各大專院校都在削減學(xué)時(shí),教材只是講述經(jīng)典信息論的內(nèi)容,沒有涉及過多的分支。
本書可作為通信及電子信息類相關(guān)專業(yè)高年級(jí)本科生和研究生教材,也可作為相關(guān)專業(yè)科研人員的參考書。
李梅,女,1969年7月生,博士,副教授,碩士生導(dǎo)師。
2003年至今在中國地質(zhì)大學(xué)(北京)工作,主要研究領(lǐng)域是信號(hào)采集與信息處理、大數(shù)據(jù)挖掘、物聯(lián)網(wǎng)技術(shù)、通信與網(wǎng)絡(luò)技術(shù)。
目前擔(dān)任北京物聯(lián)網(wǎng)研究會(huì)副理事長,兼任海淀區(qū)科委及中關(guān)村管委會(huì)海淀園科技項(xiàng)目評(píng)審專家、北京市科協(xié)科技人才評(píng)審專家、中國采購與招標(biāo)網(wǎng)評(píng)標(biāo)專家、中關(guān)村云平臺(tái)與數(shù)據(jù)應(yīng)用產(chǎn)業(yè)聯(lián)盟專家委員會(huì)委員、IEEE會(huì)員、中國電子學(xué)會(huì)高級(jí)會(huì)員、北京科學(xué)技術(shù)普及創(chuàng)作協(xié)會(huì)會(huì)員,同時(shí)是科技部、北京市科委、北京市科技咨詢中心專家?guī)斐蓡T。
第1章 緒論
1.1 信息的概念
1.2 信息論的研究對(duì)象、目的和內(nèi)容
習(xí)題1
第2章 信息的度量
2.1 自信息和互信息
2.1.1 自信息
2.1.2 互信息
2.2 平均自信息
2.2.1 平均自信息的概念
2.2.2 熵函數(shù)的性質(zhì)
2.2.3 聯(lián)合熵與條件熵
2.3 平均互信息
2.3.1 平均互信息的概念
2.3.2 平均互信息的性質(zhì)
2.3.3 數(shù)據(jù)處理定理
習(xí)題2
第3章 信源及信源熵
3.1 信源的分類及其數(shù)學(xué)模型
3.2 離散單符號(hào)信源
3.3 離散多符號(hào)信源
3.3.1 離散平穩(wěn)無記憶信源
3.3.2 離散平穩(wěn)有記憶信源
3.3.3 馬爾可夫信源
3.3.4 信源的相關(guān)性和剩余度
3.4 連續(xù)信源
3.4.1 連續(xù)信源的微分熵
3.4.2 連續(xù)信源的最大熵
3.4.3 連續(xù)信源的熵功率
習(xí)題3
第4章 信道及信道容量
4.1 信道的分類
4.2 離散單符號(hào)信道及其信道容量
4.2.1 離散單符號(hào)信道的數(shù)學(xué)模型
4.2.2 信道容量的概念
4.2.3 幾種特殊信道的信道容量
4.2.4 離散對(duì)稱信道的信道容量
4.2.5 一般離散信道的信道容量
4.2.6 信道容量定理
4.2.7 信道容量的迭代算法
4.3 離散多符號(hào)信道及其信道容量
4.4 組合信道及其信道容量
4.4.1 獨(dú)立并聯(lián)信道
4.4.2 級(jí)聯(lián)信道
4.5 連續(xù)信道及其信道容量
4.5.1 連續(xù)隨機(jī)變量的互信息
4.5.2 高斯加性信道的信道容量
4.5.3 多維高斯加性信道的信道容量
4.6 波形信道及其信道容量
習(xí)題4
第5章 無失真信源編碼
5.1 信源編碼的相關(guān)概念
5.1.1 編碼器
5.1.2 碼的分類
5.2 定長碼及定長信源編碼定理
5.3 變長碼及變長信源編碼定理
5.3.1 Kraft不等式和McMillan不等式
5.3.2 唯一可譯碼的判別準(zhǔn)則
5.3.3 緊致碼平均碼長界限定理
5.3.4 無失真變長信源編碼定理(香農(nóng)第一定理)
5.4 變長碼的編碼方法
5.4.1 香農(nóng)編碼
5.4.2 香農(nóng)一費(fèi)諾一埃利斯編碼
5.4.3 二元霍夫曼碼
5.4.4 г元霍夫曼碼
5.4.5 費(fèi)諾碼
5.5 實(shí)用的無失真信源編碼方法
5.5.1 游程編碼
5.5.2 算術(shù)編碼
5.5.3 LZW編碼
習(xí)題5
第6章 有噪信道編碼
6.1 信道編碼的相關(guān)概念
6.1.1 錯(cuò)誤概率和譯碼規(guī)則
6.1.2 錯(cuò)誤概率與編碼方法
6.2 有噪信道編碼定理
6.3 糾錯(cuò)編碼
6.3.1 糾錯(cuò)碼分類
6.3.2 糾錯(cuò)碼的基本概念
6.3.3 線性分組碼
6.3.4 卷積碼
習(xí)題6
第7章 限失真信源編碼
7.1 失真測(cè)度
7.1.1 失真函數(shù)
7.1.2 平均失真
7.2 信息率失真函數(shù)
7.2.1 D失真許可信道
7.2.2 信息率失真函數(shù)的定義
7.2.3 信息率失真函數(shù)R(D)的性質(zhì)
7.3 限失真信源編碼定理
7.4 信息率失真函數(shù)的計(jì)算
7.4.1 應(yīng)用參量表示式計(jì)算R(D)
7.4.2 率失真函數(shù)的迭代算法
7.5 常用的限失真信源編碼方法
7.5.1 量化編碼
7.5.2 子帶編碼
7.5.3 預(yù)測(cè)編碼
7.5.4 變換編碼
習(xí)題7
附錄A 數(shù)學(xué)預(yù)備知識(shí)
A.1 概率論與隨機(jī)過程
A.1.1 概率論的基本概念
A.1.2 隨機(jī)變量及其分布
A.1.3 多維隨機(jī)變量及其分布
A.1.4 隨機(jī)變量的數(shù)字特征
A.1.5 隨機(jī)過程
A.2 凸函數(shù)及Jensen不等式
A.3 信道容量定理引理
A.4 漸進(jìn)等分割性和ε典型序列
附錄B 上機(jī)作業(yè)
B.1 信道容量的迭代算法
B.2 唯一可譯碼判決準(zhǔn)則
B.3 Shannon編碼
B.4 Huffman編碼
B.5 Fano編碼
B.6 LZW編碼
B.7 BSC模擬器
B.8 Hamming(7,4)編譯碼器
B.9 通信系統(tǒng)仿真
附錄C 習(xí)題解答
C.1第1章 習(xí)題解答
C.2第2章 習(xí)題解答
C.3第3章 習(xí)題解答
C.4第4章 習(xí)題解答
C.5第5章 習(xí)題解答
C.6第6章 習(xí)題解答
C.7第7章 習(xí)題解答
參考文獻(xiàn)