信息論的發(fā)展與現(xiàn)代信息論

　 現(xiàn)代信息論是從上世紀(jì)二十年代奈奎斯特和哈特萊的研究開始的,他們最早開始研究了通信系統(tǒng)傳輸信息的能力,并且試圖度量系統(tǒng)的信道容量。香農(nóng)于 1940 年在普林斯頓高級研究所期間開始思考信息論與有效通信系統(tǒng)的問題。經(jīng)過 8 年的努力,1948 年,來自貝爾研究所的 Claude Shannon（克勞德·香農(nóng)）的《通信的數(shù)學(xué)理論》論文公諸于世,從此宣告了嶄新的一門關(guān)于信息發(fā)面的學(xué)科──信息論的誕生。1949 年,香農(nóng)又在該雜志上發(fā)表了另一著名論文《噪聲下的通信》。在這兩篇論文中,香農(nóng)闡明了通信的基本問題,給出了通信系統(tǒng)的模型,提出了信息量的數(shù)學(xué)表達(dá)式,并解決了信道容量、信源統(tǒng)計(jì)特性、信源編碼、信道編碼等一系列基本技術(shù)問題。兩篇論文成為了信息論的奠基性著作。這兩篇論文一起闡述了現(xiàn)代信息論的基礎(chǔ)。并且香農(nóng)開始創(chuàng)造性的定義了“信息”。

　信息論自從二十世紀(jì)四十年代中葉到二十一世紀(jì)初期,現(xiàn)已成為一門獨(dú)立的理論科學(xué),他給出一切傳輸、存儲、處理信息系統(tǒng)的一般理論,并指出,實(shí)現(xiàn)有效、可靠地傳輸和存儲信息的途徑是走數(shù)字化的道路。這是通信技術(shù)領(lǐng)域數(shù)字化革命的數(shù)學(xué)或理論基礎(chǔ)。1946 年的計(jì)算機(jī)和 1947 年晶體管的誕生和相應(yīng)技術(shù)的發(fā)展,是這一革命的物理或物質(zhì)基礎(chǔ)。信息論是在長期的通信工程實(shí)踐和理論研究的基礎(chǔ)上發(fā)展起來的。當(dāng)物理學(xué)中的電磁理論以及后來的電子學(xué)理論一旦有某些進(jìn)展,很快就會促進(jìn)電信系統(tǒng)的創(chuàng)造發(fā)明或改進(jìn)。這是因?yàn)橥ㄐ畔到y(tǒng)對人類社會的發(fā)展,其關(guān)系實(shí)在是太密切了。日常生活、工農(nóng)業(yè)生產(chǎn)、科學(xué)研究以及戰(zhàn)爭等等,一切都離不開消息傳遞和信息流動(dòng)。通信系統(tǒng)是人類社會的神經(jīng)系統(tǒng),即使在原始社會也存在著最簡單的通信工具和通信系統(tǒng),這方面的社會實(shí)踐是悠久漫長的。自從香農(nóng)十九世紀(jì)四十年代末兩篇論文發(fā)表后,前蘇聯(lián)和美國的科學(xué)家采取了不同的研究途徑經(jīng)一部發(fā)展了信息論。柯爾莫哥洛夫、賓斯基和達(dá)布魯新為首的一批著名數(shù)學(xué)家致力于信息論的公理化體系和更一般更抽象的數(shù)學(xué)模型,對信息論的基本定理給出了更為普遍的結(jié)果,為信息論發(fā)展成數(shù)學(xué)的一個(gè)分支作出了貢獻(xiàn)。而在美國測試有一批數(shù)學(xué)修養(yǎng)很高的工程技術(shù)人員致力于信息有效處理和可靠傳輸?shù)目蓪?shí)現(xiàn)性,維信息論轉(zhuǎn)化為信息技術(shù)作出了貢獻(xiàn)。

　 20 世紀(jì) 50 年代,信息論向各門學(xué)科發(fā)起沖擊；60 年代信息論進(jìn)入一個(gè)消化、理解的時(shí)期,在已有的基礎(chǔ)上進(jìn)行重大建設(shè)的時(shí)期。研究重點(diǎn)是信息和信源編碼問題。從此信息論邁入第二個(gè)階段。我國數(shù)學(xué)家和信息科學(xué)專家在二十世紀(jì)五十年代將信息論引進(jìn)中國,經(jīng)過六十余年的不懈努力,尤其從二十世紀(jì)八十年代中期以來,一批華裔信息論專家在國際學(xué)術(shù)界崛起,以周炯盤院士為代表,為信息論的發(fā)展作出了自己的貢獻(xiàn)。到 70 年代,由于數(shù)字計(jì)算機(jī)的廣泛應(yīng)用,通訊系統(tǒng)的能力也有很大提高,如何更有效地利用和處理信息,成為日益迫切的問題。人們越來越認(rèn)識到信息的重要性,認(rèn)識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個(gè)科學(xué)領(lǐng)域,它迫切要求突破申農(nóng)信息論的狹隘范圍,以便使它能成為人類各種活動(dòng)中所碰到的信息問題的基礎(chǔ)理論,從而推動(dòng)其他許多新興學(xué)科進(jìn)一步發(fā)展。

　雖然 1948 年香農(nóng)就發(fā)明了信息論,但到 90 年代才找到或者再發(fā)現(xiàn)能夠逼近香農(nóng)極限的 turbo 碼和 LDPC 碼；再一個(gè)局限是香農(nóng)的大部分結(jié)果都是在一定的理想條件或極限條件下推導(dǎo)出來的,在實(shí)際系統(tǒng)中,這些條件可能不能滿足,因而不可能達(dá)到香農(nóng)所得出的一些結(jié)論或界限,舉一個(gè)例子,信源信道分離定理是在數(shù)據(jù)分組長度無窮大和靜態(tài)信道條件下得到的,但實(shí)際系統(tǒng)中的編碼可能會有分組長度和限制,信道也可能是時(shí)變的,因而產(chǎn)生出最近較新的所謂聯(lián)合信源信道編碼理論；最后一個(gè)是局限是點(diǎn)對點(diǎn)通信的局限性,因?yàn)橥ㄐ诺臉?gòu)架存在網(wǎng)絡(luò)結(jié)構(gòu)和多用戶的結(jié)構(gòu),所以對于網(wǎng)絡(luò)和多用戶的情形,香農(nóng)并沒有更深入的研究,雖然他在 50 年代研究了 two way channel,但并未得出有意義的結(jié)果,目前網(wǎng)絡(luò)信息論或多用戶信息論是一個(gè)比較活躍的領(lǐng)域,主要的有意義的結(jié)論在廣播和多址接入信道,但都是退化的情形才成立的結(jié)論,更一般的情形,還有一些其他如中繼信道等,還有待進(jìn)一步研究。

　參考文獻(xiàn)：

　葉中行,信息論基礎(chǔ)[J],高等教育出版社 盧侃,從 Shannon 信息論到認(rèn)知信息論[A],哈爾濱工程大學(xué)學(xué)報(bào),第 32 卷第 8 期.

　仇佩亮,信息論及其應(yīng)用［M］,杭州：浙江大學(xué)出版社,1999 謝邦榮,彭征明,信息論在作戰(zhàn)效能評估中的應(yīng)用研究 [A] ,北京, 2007 邵軍虎,量子 LDPC 糾錯(cuò)碼算法及應(yīng)用方案研究,西安電子科技大學(xué)[D] ,2012

　 汪洋,趙萬民,人居環(huán)境研究的信息論科學(xué)基礎(chǔ)及其圖譜意象系統(tǒng)[J],2012 PKU CSSCI ,香農(nóng)信息定義分析與改進(jìn)[J],2008 年 8 期, 洪潔,范修斌,范明鈺,信息論及其在序列密碼設(shè)計(jì)應(yīng)用中的幾點(diǎn)認(rèn)識[] ,2003 Neil Savage, Information theory after Shannon[J], 2011, Vol.54 (2) Gregory J. Chaitin,

　A Theory of Program Size Formally Identical to Information Theory[J],

　1975, Vol.22 (3) 知識改變命運(yùn)

相關(guān)熱詞搜索：信息論 發(fā)展