信息論基礎(chǔ)的詳細(xì)資料說明

　　在這本書的16章中，前13章是基本主題，后3章是更熱情讀者的高級主題。這些章節(jié)的簡要介紹將使我們更好地了解這本書的內(nèi)容。

　　第一章是對信息論本質(zhì)的一個很高層次的介紹，也是香農(nóng)1948年創(chuàng)辦該領(lǐng)域的原著的主要成果。也有指向香農(nóng)傳記和他的作品。

　　第二章介紹香農(nóng)的信息測度及其基本性質(zhì)。推導(dǎo)并解釋了信息論中的有用恒等式和不等式。特別注意處理零概率質(zhì)量的聯(lián)合分布。本章以一節(jié)關(guān)于靜態(tài)信息源的熵率為結(jié)尾。

　　第三章以前綴碼為特例，討論了唯一可譯碼對零誤差數(shù)據(jù)的壓縮。給出了既不涉及卡夫不等式又不涉及基本不等式的前綴碼熵界的證明。這個證明有助于討論前綴代碼的冗余性。

　　第四章是對弱典型性的透徹處理。討論了弱漸近均分性質(zhì)和源編碼定理。給出了一個關(guān)于一個好的數(shù)據(jù)壓縮方案產(chǎn)生幾乎I.I.D.位的解釋。對香農(nóng)-麥克米蘭-布雷曼定理也作了簡要的討論。

　　第五章介紹了一個新的不涉及字母集基數(shù)的強(qiáng)典型性定義。這里對強(qiáng)典型性的處理比Berger更詳細(xì)，但比CSISZ R和K RNER更不抽象，在定理5.3中證明了一個新的指數(shù)收斂結(jié)果。

　　第六章介紹了測度理論，建立了香農(nóng)信息測度與集合論的一一對應(yīng)關(guān)系。通過實(shí)例說明了信息圖的使用如何簡化信息論中許多結(jié)果的證明。這些例子中的大多數(shù)都是以前未發(fā)表的。特別是，例6.15是香農(nóng)完全保密定理的推廣。

　　第七章探討了馬爾可夫結(jié)構(gòu)測度的結(jié)構(gòu)。討論了完全條件獨(dú)立和馬爾可夫隨機(jī)場的集理論特征。這里對馬爾可夫隨機(jī)場的處理對于普通讀者來說可能過于專門化，但是對于馬爾可夫鏈的度量結(jié)構(gòu)和信息圖的簡單性最好解釋為馬爾可夫隨機(jī)場的一個特例。

　　第八章是對信道編碼定理的一種新的處理方法。具體地說，采用圖形模型方法來解釋隨機(jī)變量的條件獨(dú)立性。在討論反饋時要非常小心。

　　第九章介紹了速率失真理論。本章中的結(jié)果比標(biāo)準(zhǔn)的主題處理中的結(jié)果更強(qiáng)，盡管在派生中使用了基本相同的技術(shù)。在

　　第十章討論了計(jì)算信道容量和速率失真函數(shù)的Blahut-Arimoto算法，并給出了收斂的簡化證明。在處理具有零概率質(zhì)量的分布時要非常小心。

　　第11章介紹了網(wǎng)絡(luò)編碼理論。解釋了在點(diǎn)對點(diǎn)網(wǎng)絡(luò)中，當(dāng)信息源是多播時，中間節(jié)點(diǎn)的編碼可以提高吞吐量這一令人驚訝的事實(shí)。詳細(xì)說明了單信息源網(wǎng)絡(luò)編碼的最大流界。在接下來的三章中開發(fā)出必要的工具之后，第15章將討論多源網(wǎng)絡(luò)編碼。信息不平等有時被稱為信息論的規(guī)律，因?yàn)樗鼈冎渲畔⒄撝械牟豢赡苄浴?/p>

　　第十二章對信息不等式的幾何意義以及信息不等式與條件獨(dú)立性的關(guān)系進(jìn)行了深入的解釋。本文討論的信息不平等框架是下兩章的基礎(chǔ)。

　　第13章解釋了如何將證明信息不等式的問題表述為線性規(guī)劃問題。這導(dǎo)致了對所有信息不等式的完整描述，這些信息不等式可以用常規(guī)技術(shù)證明。這些被稱為香農(nóng)型不等式，現(xiàn)在可以用這本書附帶的ITIP軟件來證明。同時也說明了如何利用香農(nóng)型不等式來解決概率論中條件獨(dú)立的蘊(yùn)涵問題。我們過去所知道的所有信息不等式都是香農(nóng)型不等式。近年來，人們發(fā)現(xiàn)了一些非香農(nóng)型不等式。這意味著信息論中存在著超越香農(nóng)規(guī)定的規(guī)律。

　　第14章對這些不等式及其應(yīng)用進(jìn)行了深入的解釋。

　　第15章進(jìn)一步發(fā)展了網(wǎng)絡(luò)編碼理論。討論了點(diǎn)對點(diǎn)網(wǎng)絡(luò)中多個信息源是多播的情況。令人驚訝的是，即使信息源是相互獨(dú)立的，多源問題也不等同于幾個單一的源問題，這一事實(shí)也得到了明確的解釋。討論了可實(shí)現(xiàn)編碼速率域的隱式和顯式邊界。這些對可實(shí)現(xiàn)的編碼速率區(qū)域的描述幾乎涉及本書早期開發(fā)的所有工具，特別是信息不平等的框架。

　　第16章解釋了信息論和群論之間有趣的關(guān)系。具體地說，對于任何聯(lián)合分布所滿足的每一個信息不等式，都存在一個由任何有限群及其子群滿足的相應(yīng)群不等式，反之亦然。后一類不等式控制任何有限群及其子群的階。給出了香農(nóng)型信息不等式的群理論證明。在本章的最后，從第14章討論的非香農(nóng)型不等式中得到了一個群不等式。這種不平等的含義和含義尚待理解。

　　通信系統(tǒng)中，我們經(jīng)常在嘈雜的環(huán)境中把信息從一個點(diǎn)傳遞到另一個點(diǎn)?？紤]下面的場景。秘書需要定期發(fā)送傳真，她想在每一頁上盡可能多地傳達(dá)信息。她可以選擇字體大小，這意味著如果使用較小的字體大小，可以將更多的字符壓縮到頁面上。原則上，通過使用足夠小的字體大小，她可以根據(jù)需要在頁面上擠壓任意多的字符。但是，系統(tǒng)中存在兩個可能導(dǎo)致錯誤的因素。首先，傳真機(jī)的分辨率是有限的。其次，由于電話線中有噪音，傳輸?shù)淖址赡芙邮詹徽_。因此，如果字體太小，傳真機(jī)可能無法識別字符。另一方面，盡管傳真上的某些字符可能無法識別，但只要這些字符的數(shù)量不超過，收件人仍然可以從上下文中找出這些單詞。換句話說，不需要選擇字體大小，這樣傳真上的所有字符幾乎都可以識別。然后我們有動機(jī)問：傳真一頁最多可以傳送多少有意義的信息？

　　這個問題可能沒有一個明確的答案，因?yàn)樗皇呛芎玫靥岢?。尤其是，我們沒有對有意義的信息進(jìn)行精確的測量。然而，這個問題是我們可以問的關(guān)于通信系統(tǒng)的基本問題的一個例子。信息不是物理實(shí)體，而是抽象概念，一般來說很難量化。尤其是在利用信息時涉及人為因素的情況下。例如，當(dāng)我們用激光唱盤演奏貝多芬的小提琴協(xié)奏曲時，我們從擴(kuò)音器接收到音樂信息。我們喜歡這些信息，因?yàn)樗芗ぐl(fā)我們內(nèi)心的某種情感。當(dāng)我們收到同樣的信息時，