信息論的發(fā)展與現(xiàn)代信息論

　 現(xiàn)代信息論是從上世紀二十年代奈奎斯特和哈特萊的研究開始的,他們最早開始研究了通信系統(tǒng)傳輸信息的能力,并且試圖度量系統(tǒng)的信道容量。香農(nóng)于 1940 年在普林斯頓高級研究所期間開始思考信息論與有效通信系統(tǒng)的問題。經(jīng)過 8 年的努力,1948 年,來自貝爾研究所的 Claude Shannon（克勞德·香農(nóng)）的《通信的數(shù)學理論》論文公諸于世,從此宣告了嶄新的一門關(guān)于信息發(fā)面的學科──信息論的誕生。1949 年,香農(nóng)又在該雜志上發(fā)表了另一著名論文《噪聲下的通信》。在這兩篇論文中,香農(nóng)闡明了通信的基本問題,給出了通信系統(tǒng)的模型,提出了信息量的數(shù)學表達式,并解決了信道容量、信源統(tǒng)計特性、信源編碼、信道編碼等一系列基本技術(shù)問題。兩篇論文成為了信息論的奠基性著作。這兩篇論文一起闡述了現(xiàn)代信息論的基礎(chǔ)。并且香農(nóng)開始創(chuàng)造性的定義了“信息”。

　信息論自從二十世紀四十年代中葉到二十一世紀初期,現(xiàn)已成為一門獨立的理論科學,他給出一切傳輸、存儲、處理信息系統(tǒng)的一般理論,并指出,實現(xiàn)有效、可靠地傳輸和存儲信息的途徑是走數(shù)字化的道路。這是通信技術(shù)領(lǐng)域數(shù)字化革命的數(shù)學或理論基礎(chǔ)。1946 年的計算機和 1947 年晶體管的誕生和相應技術(shù)的發(fā)展,是這一革命的物理或物質(zhì)基礎(chǔ)。信息論是在長期的通信工程實踐和理論研究的基礎(chǔ)上發(fā)展起來的。當物理學中的電磁理論以及后來的電子學理論一旦有某些進展,很快就會促進電信系統(tǒng)的創(chuàng)造發(fā)明或改進。這是因為通信系統(tǒng)對人類社會的發(fā)展,其關(guān)系實在是太密切了。日常生活、工農(nóng)業(yè)生產(chǎn)、科學研究以及戰(zhàn)爭等等,一切都離不開消息傳遞和信息流動。通信系統(tǒng)是人類社會的神經(jīng)系統(tǒng),即使在原始社會也存在著最簡單的通信工具和通信系統(tǒng),這方面的社會實踐是悠久漫長的。自從香農(nóng)十九世紀四十年代末兩篇論文發(fā)表后,前蘇聯(lián)和美國的科學家采取了不同的研究途徑經(jīng)一部發(fā)展了信息論�？聽柲�哥洛夫、賓斯基和達布魯新為首的一批著名數(shù)學家致力于信息論的公理化體系和更一般更抽象的數(shù)學模型,對信息論的基本定理給出了更為普遍的結(jié)果,為信息論發(fā)展成數(shù)學的一個分支作出了貢獻。而在美國測試有一批數(shù)學修養(yǎng)很高的工程技術(shù)人員致力于信息有效處理和可靠傳輸?shù)目蓪崿F(xiàn)性,維信息論轉(zhuǎn)化為信息技術(shù)作出了貢獻。

　 20 世紀 50 年代,信息論向各門學科發(fā)起沖擊；60 年代信息論進入一個消化、理解的時期,在已有的基礎(chǔ)上進行重大建設的時期。研究重點是信息和信源編碼問題。從此信息論邁入第二個階段。我國數(shù)學家和信息科學專家在二十世紀五十年代將信息論引進中國,經(jīng)過六十余年的不懈努力,尤其從二十世紀八十年代中期以來,一批華裔信息論專家在國際學術(shù)界崛起,以周炯盤院士為代表,為信息論的發(fā)展作出了自己的貢獻。到 70 年代,由于數(shù)字計算機的廣泛應用,通訊系統(tǒng)的能力也有很大提高,如何更有效地利用和處理信息,成為日益迫切的問題。人們越來越認識到信息的重要性,認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個科學領(lǐng)域,它迫切要求突破申農(nóng)信息論的狹隘范圍,以便使它能成為人類各種活動中所碰到的信息問題的基礎(chǔ)理論,從而推動其他許多新興學科進一步發(fā)展。

　雖然 1948 年香農(nóng)就發(fā)明了信息論,但到 90 年代才找到或者再發(fā)現(xiàn)能夠逼近香農(nóng)極限的 turbo 碼和 LDPC 碼；再一個局限是香農(nóng)的大部分結(jié)果都是在一定的理想條件或極限條件下推導出來的,在實際系統(tǒng)中,這些條件可能不能滿足,因而不可能達到香農(nóng)所得出的一些結(jié)論或界限,舉一個例子,信源信道分離定理是在數(shù)據(jù)分組長度無窮大和靜態(tài)信道條件下得到的,但實際系統(tǒng)中的編碼可能會有分組長度和限制,信道也可能是時變的,因而產(chǎn)生出最近較新的所謂聯(lián)合信源信道編碼理論；最后一個是局限是點對點通信的局限性,因為通信的構(gòu)架存在網(wǎng)絡結(jié)構(gòu)和多用戶的結(jié)構(gòu),所以對于網(wǎng)絡和多用戶的情形,香農(nóng)并沒有更深入的研究,雖然他在 50 年代研究了 two way channel,但并未得出有意義的結(jié)果,目前網(wǎng)絡信息論或多用戶信息論是一個比較活躍的領(lǐng)域,主要的有意義的結(jié)論在廣播和多址接入信道,但都是退化的情形才成立的結(jié)論,更一般的情形,還有一些其他如中繼信道等,還有待進一步研究。

　參考文獻：

　葉中行,信息論基礎(chǔ)[J],高等教育出版社 盧侃,從 Shannon 信息論到認知信息論[A],哈爾濱工程大學學報,第 32 卷第 8 期.

　仇佩亮,信息論及其應用［M］,杭州：浙江大學出版社,1999 謝邦榮,彭征明,信息論在作戰(zhàn)效能評估中的應用研究 [A] ,北京, 2007 邵軍虎,量子 LDPC 糾錯碼算法及應用方案研究,西安電子科技大學[D] ,2012

　 汪洋,趙萬民,人居環(huán)境研究的信息論科學基礎(chǔ)及其圖譜意象系統(tǒng)[J],2012 PKU CSSCI ,香農(nóng)信息定義分析與改進[J],2008 年 8 期, 洪潔,范修斌,范明鈺,信息論及其在序列密碼設計應用中的幾點認識[] ,2003 Neil Savage, Information theory after Shannon[J], 2011, Vol.54 (2) Gregory J. Chaitin,

　A Theory of Program Size Formally Identical to Information Theory[J],

　1975, Vol.22 (3) 知識改變命運

相關(guān)熱詞搜索：信息論 發(fā)展