定 價(jià):25 元
叢書(shū)名:21世紀(jì)全國(guó)本科院校電氣信息類創(chuàng)新型應(yīng)用人才培養(yǎng)規(guī)劃教材
- 作者:范九倫 ,等 編
- 出版時(shí)間:2010/8/1
- ISBN:9787301173824
- 出 版 社:北京大學(xué)出版社
- 中圖法分類:O236
- 頁(yè)碼:195
- 紙張:膠版紙
- 版次:1
- 開(kāi)本:16開(kāi)
《離散信息論基礎(chǔ)》從離散概率人手,對(duì)離散信息論的基本知識(shí)進(jìn)行了介紹,主要內(nèi)容包括:緒論,離散信息的度量,數(shù)據(jù)壓縮,離散信源,數(shù)據(jù)糾錯(cuò),離散信道,數(shù)據(jù)保密,算法信息論與通用信源編碼,微分熵與最大熵原理。為拓寬讀者視野,培養(yǎng)學(xué)習(xí)興趣,提高人文素養(yǎng),《離散信息論基礎(chǔ)》融人了一些歷史知識(shí),還補(bǔ)充了信息論實(shí)驗(yàn)內(nèi)容。
《離散信息論基礎(chǔ)》可供信息安全、信息與計(jì)算科學(xué)、計(jì)算機(jī)科學(xué)與技術(shù)等本科專業(yè)的高年級(jí)學(xué)生使用,也可供從事相關(guān)專業(yè)的教學(xué)、科研和工程技術(shù)人員參考。
人們通常將Shannon在1948年10月發(fā)表于.Bell System Technical Journal上的論文A Mathematical Theory of Communication作為信息論研究的開(kāi)端。信息論發(fā)展至今,可分為狹義信息論和廣義信息論,本書(shū)則主要介紹狹義信息論的一些基本知識(shí)。狹義信息論運(yùn)用概率論與數(shù)理統(tǒng)計(jì)方法研究信息的表示、度量、存儲(chǔ)、傳遞等問(wèn)題,是高等院校很多本科專業(yè)的一門(mén)專業(yè)基礎(chǔ)課,我國(guó)眾多高校也在相關(guān)專業(yè)開(kāi)設(shè)了信息論課程。
在為信息安全、信息與計(jì)算科學(xué)等本科專業(yè)講授信息論課程時(shí),我們深刻體會(huì)到,要使大學(xué)生較好地理解和領(lǐng)會(huì)信息論的基本概念,諸如熵、互信息、熵率、信道容量,有很多困難。在多年的教學(xué)中,我們一直被兩個(gè)問(wèn)題所困惑:一是鑒于信息論不僅具有理論性,也具有實(shí)踐性,如何保持信息論基本概念、方法在理論敘述上的嚴(yán)謹(jǐn)性,使得學(xué)生對(duì)信息論有一個(gè)清晰的認(rèn)識(shí),同時(shí)又能使學(xué)生通過(guò)解決實(shí)際問(wèn)題,達(dá)到運(yùn)用信息論的目的;二是鑒于信息論不僅在本科生階段開(kāi)設(shè),也在研究生階段開(kāi)設(shè),如何將本科講授內(nèi)容和研究生講授內(nèi)容進(jìn)行合理切割,盡量避免教學(xué)內(nèi)容重復(fù),使得知識(shí)深度與思想廣度在不同階段有所區(qū)別。為了較好地解決上述問(wèn)題,我們萌發(fā)了寫(xiě)作本書(shū)的念頭。在本書(shū)的寫(xiě)作中,我們力求達(dá)到以下幾點(diǎn)。
(1)圖文并茂、循序漸進(jìn)。本書(shū)按照教學(xué)目標(biāo)、教學(xué)要求、教學(xué)內(nèi)容的格式進(jìn)行編寫(xiě),以敘事、問(wèn)題的方式展開(kāi),改變工科教材艱深古板的固有面貌,具有較強(qiáng)親和力,使學(xué)生初次翻閱就對(duì)其產(chǎn)生濃厚興趣,不會(huì)因其理論的抽象而產(chǎn)生敬畏之感。既加強(qiáng)了學(xué)生的融會(huì)貫通能力,又提高了學(xué)生的人文素養(yǎng)。
(2)凸顯信息論的“離散”內(nèi)容。信息論的研究和應(yīng)用豐富多樣,為了擴(kuò)大教材的受益面,避免涉足過(guò)多的專業(yè)領(lǐng)域知識(shí),本書(shū)重點(diǎn)圍繞離散隨機(jī)變量(過(guò)程)介紹信息論的基本知識(shí),主線明晰,增強(qiáng)了教材的可讀性?紤]到信息論的介紹離不開(kāi)概率論和數(shù)理統(tǒng)計(jì)知識(shí),本書(shū)弱化了數(shù)學(xué)證明,強(qiáng)化了來(lái)龍去脈的講授,使之顯得通俗易懂,同時(shí)又給學(xué)有余力者留下充足的探求空問(wèn)。
(3)強(qiáng)化學(xué)生的實(shí)際操作訓(xùn)練。對(duì)于內(nèi)容實(shí)用性和技巧性較強(qiáng)的章節(jié),如編碼理論部分,本書(shū)精心設(shè)計(jì)了相關(guān)實(shí)驗(yàn),以實(shí)際操作訓(xùn)練加深對(duì)理論知識(shí)的理解,激發(fā)學(xué)生對(duì)工程實(shí)踐的興趣,全方位鍛煉學(xué)生對(duì)知識(shí)的掌握程度。
在教材寫(xiě)作中,我們努力將最新的知識(shí)、內(nèi)容和理念傳授給學(xué)生。本書(shū)以離散隨機(jī)變量(過(guò)程)為出發(fā)點(diǎn)進(jìn)行展開(kāi),力求以親切易讀的面貌,幫助初學(xué)者熟悉必要的理論知識(shí),掌握其思想方法,了解其應(yīng)用前景,為后續(xù)課程和進(jìn)一步深入學(xué)習(xí)打下堅(jiān)實(shí)基礎(chǔ)。本書(shū)共分為9章:第1章和第9章由范九倫和謝勰共同編著;第7章由張雪鋒編著;其余部分由謝勰編著。全書(shū)由范九倫進(jìn)行統(tǒng)稿和潤(rùn)色。
第1章 緒論
1.1 基本概念
1.1.1 信息的含義
1.1.2 信息的表達(dá)
1.1.3 信息的處理
1.2 信息論概覽
1.2.1 Shannon與信息論
1.2.2 通信系統(tǒng)的數(shù)學(xué)模型
本章小結(jié)
習(xí)題
第2章 離散信息的度量
2.1 基本概念
2.1.1 離散熵的定義
2.1.2 聯(lián)合熵與條件熵
2.1.3 相對(duì)熵與互信息
2.2 離散熵的性質(zhì)
2.2.1 離散熵的基本性質(zhì)
2.2.2 鏈?zhǔn)椒▌t
2.2.3 有關(guān)離散熵的不等式
2.3 離散熵的形式唯一性
本章小結(jié)
習(xí)題
第3章 數(shù)據(jù)壓縮
3.1 基本概念
3.1.1 語(yǔ)言與編碼
3.1.2 匡一可譯碼
3.1.3 即時(shí)碼與前綴碼
3.2 數(shù)據(jù)壓縮的性質(zhì)
3.2.1 前綴碼的碼長(zhǎng)約束
3.2.2 唯一可譯碼的碼長(zhǎng)約束
3.2.3 最佳碼
3.3 典型編碼
3.3.1 Huffman編碼
3.3.2 Fano編碼
3.3.3 Shanno一Fano-Elias
編碼
本章小結(jié)
習(xí)題
第4章 離散信源
4.1 基本概念
4.1.1 離散信源模型
4.1.2 Markov信源
4.1.3 Markov鏈
4.2 信源編碼
4.2.1 隨機(jī)變量擴(kuò)展
4.2.2 變長(zhǎng)信源編碼定理
4.2.3 熵率
4.3 漸近均分性
4.3.1 典型集
4.3.2 信源編碼定理
本章小結(jié)
習(xí)題
第5章 數(shù)據(jù)糾錯(cuò)
5.1 基本概念
5.1.1 離散信道模型
5.1.2 典型信道
5.1.3 信道擴(kuò)展
5.2 信道糾錯(cuò)
5.2.1 譯碼準(zhǔn)則
5.2.2 錯(cuò)誤概率估計(jì)
5.2.3 分組碼
5.3 線性分組碼
5.3.1 碼字距離
5.3.2 糾錯(cuò)能力
5.3.3 Hamrning碼
本章小結(jié)
習(xí)題
第6章 離散信道
6.1 基本概念
6.1.1 互信息
6.1.2 特殊信道的容量
6.1.3 一般信道的容量
6.2 數(shù)據(jù)處理
6.2.1 碼率
6.2.2 數(shù)據(jù)處理不等式
6.2.3 信源信道定理
6.3 信道編碼
6.3.1 聯(lián)合典型集
6.3.2 信道編碼定理
6.3.3 信道編碼逆定理
本章小結(jié)
習(xí)題
第7章 數(shù)據(jù)保密
7.1 信息的保密傳輸
7.1.1 密碼學(xué)簡(jiǎn)介
7.1.2 保密系統(tǒng)模型
7.1.3 幾種典型的密碼體制
7.2 密碼體制的信息論分析
7.2.1 完全保密性
7.2.2 唯一解距離
本章小結(jié)
習(xí)題
第8章 算法信息論與通用信源編碼
8.1 基本概念
8.1.1 統(tǒng)計(jì)編碼
8.1.2 自適應(yīng)編碼
8.2 描述復(fù)雜性
8.2.1 Kolmogorov復(fù)雜度
8.2.2 通用概率
8.3 通用信源編碼
8.3.1 算術(shù)編碼
8.3.2 字典方法
本章小結(jié)
習(xí)題
第9章 微分熵與最大熵原理
9.1 基本概念
9.1.1 微分熵
9.1.2 信息不等式
9.2 信息量最大化
9.2.1 最大熵問(wèn)題
9.2.2 最大熵分布
本章小結(jié)
習(xí)題
信息論實(shí)驗(yàn)
參考文獻(xiàn)
由于投擲硬幣問(wèn)題比較簡(jiǎn)單,可采用此例對(duì)信息展開(kāi)討論,而其關(guān)鍵在于如何描述該系統(tǒng)。事實(shí)上,單次過(guò)程無(wú)法顯露問(wèn)題的本質(zhì),可假設(shè)上述過(guò)程多次重復(fù)。
直觀上看,若有一臺(tái)攝影裝置記錄投擲硬幣的全過(guò)程,即可認(rèn)為該攝影裝置的錄像完全描述了投擲硬幣系統(tǒng)。為簡(jiǎn)單起見(jiàn),可假定投擲人每次投擲動(dòng)作完全一致,所有落地后硬幣正面朝上情況下的硬幣運(yùn)行軌跡完全相同,所有落地后硬幣反面朝上情況下的硬幣運(yùn)行軌跡也完全相同。
問(wèn)題1對(duì)于投擲硬幣系統(tǒng),攝影裝置應(yīng)如何設(shè)置才能高效地錄制該系統(tǒng)的運(yùn)行過(guò)程?
由于攝影裝置有容量限制,較好的方法是僅錄制落地為正面朝上和落地為反面朝上的投擲過(guò)程,其后的投擲只需要錄制硬幣的朝向,便可完全復(fù)原硬幣投擲過(guò)程。當(dāng)然這僅僅是一個(gè)最簡(jiǎn)單的方案,它仍可改進(jìn)。注意到此方案每次需要錄制硬幣朝向形成的圖像,即硬幣的正面和反面,其實(shí)質(zhì)是利用圖像的直觀性獲取結(jié)果。而人類不僅能用圖形表示信息,還可用文字表達(dá)信息,例如可用“正”、“反”來(lái)簡(jiǎn)單表示硬幣的朝向。對(duì)于攝影裝置而言,還可用數(shù)字來(lái)簡(jiǎn)單表示硬幣的朝向,即硬幣的朝向僅用0和1(分別代表“正”和“反”)來(lái)表示。這意味著信息與其載體的形式無(wú)關(guān),或者說(shuō)與編碼形式無(wú)關(guān),因此可采用數(shù)值方式來(lái)表示和研究信息。
由于采用數(shù)值化的表達(dá)形式,攝影裝置中除了每次投擲動(dòng)作的錄像之外,余下的就是一連串的0和1組成的序列。如果錄制時(shí)間足夠長(zhǎng),攝影裝置中的大部分內(nèi)容均為O和1的序列,而投擲動(dòng)作的錄像已不再是主要內(nèi)容。從復(fù)原投擲行為的角度看,攝影裝置中存儲(chǔ)的內(nèi)容完全反映了投擲信息,即0-1序列反映了投擲過(guò)程的主要信息。那么,如何揭示獲得的O一1序列含有的信息?或者說(shuō),面對(duì)這些0-1序列,能得到投擲過(guò)程所含信息的何種結(jié)論?為此,可借助物理學(xué)的思考方式對(duì)信息進(jìn)行更深入的討論,注意到大部分物理術(shù)語(yǔ)都有度量單位,這提示人們信息也應(yīng)有度量單位。