www.日本精品,久久中文视频,中文字幕第一页在线播放,香蕉视频免费网站,老湿机一区午夜精品免费福利,91久久综合精品国产丝袜长腿,欧美日韩视频精品一区二区

信息熵與二進(jìn)制--信息論系列x

發(fā)布時(shí)間:2020-08-29 來(lái)源: 事跡材料 點(diǎn)擊:

 信息熵與二進(jìn)制-- 信息論系列 為什么信息技術(shù)中要用二進(jìn)制處理數(shù)據(jù),難道僅僅是由于晶體管易于實(shí)現(xiàn)二進(jìn)制嗎?其實(shí)很多人都知道,在晶體管出現(xiàn)前很長(zhǎng)時(shí)間,電報(bào)就是用的二進(jìn)制,其實(shí)即使那不是真正的二進(jìn)制,因?yàn)殡妶?bào)的二進(jìn)制沒(méi)有定義運(yùn)算,即便如此,人們還是傾向于用兩個(gè)符號(hào)來(lái)對(duì)大量的字符進(jìn)行編碼,這個(gè)意義上說(shuō),二進(jìn)制只不過(guò)是這種雙符號(hào)的電報(bào)(.和_)定義了運(yùn)算的高級(jí)形式而已,不考慮運(yùn)算只考慮編碼,電報(bào)的雙符號(hào)和現(xiàn)在二進(jìn)制編碼十分相似,這時(shí)就要問(wèn)了,人們?yōu)楹尾挥酶嗟姆?hào)進(jìn)行編碼,而只用兩個(gè)符號(hào),這就是信息熵的問(wèn)題了。

 用兩個(gè)符號(hào)進(jìn)行編碼使得識(shí)別更加容易,如果把每一個(gè)數(shù)據(jù)位的可能值作為一種狀態(tài),那么十進(jìn)制數(shù)的每一位就有十種狀態(tài),而二進(jìn)制數(shù)據(jù)的每一位只有兩種狀態(tài),初看起來(lái),十進(jìn)制的數(shù)據(jù)記載的信息量更大,可是正式由于這種很大的信息量導(dǎo)致十進(jìn)制的數(shù)據(jù)更加不易識(shí)別,不易識(shí)別就是說(shuō)需要我們付出更大的努力才能識(shí)別,用熱力學(xué)的術(shù)語(yǔ)說(shuō)就是信息的熵過(guò)大,舉個(gè)例子說(shuō)明為何信息量大的數(shù)據(jù)更加不易識(shí)別,如果是二進(jìn)制的數(shù),如果有一位丟失了或者寫(xiě)得不清,那么我們有百分之五十的幾率可以猜中,但是如果一個(gè)十進(jìn)制的數(shù)據(jù)位丟失了,那么我們只有百分之十的幾率猜中它,這就是實(shí)質(zhì)。信息熵代表的是一種無(wú)序度,無(wú)序度越大,它承載的信息越多,我們想理解它就需要更多的努力,這該作何理解呢?我們面對(duì)一個(gè)未知的事物時(shí),我們說(shuō)它是無(wú)序的,混亂的,你對(duì)它完全未知它就是完全混亂完全無(wú)序,你對(duì)它部分未知,那么它就是部分混亂部分無(wú)序,你理解它的過(guò)程就是你得到信息的過(guò)程,就是你將該事物一個(gè)個(gè)無(wú)序的狀態(tài)變成有序的過(guò)程,最終一切都成了有序的,那么你對(duì)該事物就完全理解了,因此你就得到了信息,因此信息量是相對(duì)于你對(duì)該信息的無(wú)知而言的,你對(duì)它越無(wú)知,那么它就越無(wú)序,它對(duì)你來(lái)講信息量越大,引用一句話(huà)“熵,是物理名字,在信息論里則叫信息量。從控制論的角度來(lái)看,應(yīng)叫不確定性。當(dāng)我們不知道某事物具體狀態(tài),卻知道它有幾種可能性時(shí),顯然,可能性種類(lèi)愈多,不確定性愈大。不確定性愈大的事物,我們最后確定了、知道了,這就是說(shuō)我們從中得到了愈多的信息,也就是信息量大。”其實(shí)這也是和熱力學(xué)有關(guān)系的,因?yàn)樵谀憷斫庑畔⒌臅r(shí)候,你的大腦要耗氧,這時(shí)產(chǎn)生的熱量還是增加了熱力學(xué)的熵,你理解的信息越多也就是信息量越大信息熵越大,那么你的大腦耗氧將越多,產(chǎn)生的熱量將越多,其實(shí)信息熵只是熱力學(xué)熵的一個(gè)抽象投影而已。我們知道,理解二進(jìn)制信息時(shí)我們付出的努力沒(méi)有理解十進(jìn)制時(shí)的多(我們猜對(duì)的幾率大),因此二進(jìn)制就成了信息系統(tǒng)的首選,但是這只是選用二進(jìn)制的原因之一,這里還要說(shuō)明的是,以上僅僅是理解的一種方式,其實(shí)不要忘了,雖然十進(jìn)制數(shù)據(jù)誤碼率高,但是它確實(shí)可以承載更多的信息,比如一個(gè)數(shù)字 9,用十進(jìn)制一個(gè)位就可以,用二進(jìn)制需要 4 個(gè)位,誤碼率乘以四不一定更低,幸運(yùn)的是,信息論的主體不是人,而是機(jī)器,機(jī)器是善于按位運(yùn)算的,而且,信息熵也是理解一位的信息熵,因此二進(jìn)制在這個(gè)意義上是首選。況且二進(jìn)制的數(shù)字更容易被分辨,分辨系統(tǒng)設(shè)計(jì)更加容易,只需要識(shí)別兩種狀態(tài)足矣,沒(méi)有第三種狀態(tài)來(lái)攪局。

 信息量大即信息熵高難道不是好事嗎?其實(shí)對(duì)于結(jié)果來(lái)說(shuō)是好事,畢竟我們的世界現(xiàn)在已經(jīng)嚴(yán)重依賴(lài)于信息,但是對(duì)于我們理解信息來(lái)說(shuō),我們需要付出的會(huì)更多,但是如果對(duì)于信息熵少的系統(tǒng),想擁有同樣的信息量的話(huà),必然需要更多次的仲裁才可以,因此總體上二進(jìn)制信息的熵值低并不是它被選中的理由,但是僅憑一次仲裁中,二進(jìn)制信息更容易被識(shí)別,更不易出錯(cuò),得到正確結(jié)果更容易這些原因,它就應(yīng)該被選中,畢竟誰(shuí)不是一步一步處理信息的呢?雖然處理信息的主體是機(jī)器,它也是一步一步處理信息的,單步的性能更加有意義,它直接關(guān)系到處理器的發(fā)熱,因?yàn),信息的獲得將最終統(tǒng)一到熱力學(xué)的熱熵。

 選用二進(jìn)制的另一個(gè)原因就是,它確實(shí)占用了最少的狀態(tài),從而節(jié)省了硬件,因?yàn)闄C(jī)器要為每一個(gè)狀態(tài)準(zhǔn)備一個(gè)空間。如果我們將一個(gè) R 進(jìn)制數(shù)據(jù)的一個(gè)位上的所有的可能值設(shè)為一個(gè)狀態(tài),那么一個(gè) n 位的 R 進(jìn)制數(shù)一共需要 n*R 個(gè)狀態(tài),我們?cè)O(shè) S=n*R,現(xiàn)在我們就要求 S 的最小值,我們這個(gè)計(jì)算中僅憑這些量根本不夠,這個(gè)方程中,我們有 S 為值,而 n 和 R 為自變量,我們必須限定一個(gè)值,在這個(gè)值上比較誰(shuí)的 S 更小,因?yàn)槲覀儗⒍M(jìn)制的 1000 和十進(jìn)制的 10 比較是沒(méi)有意義的,因此,我們?cè)僭O(shè)一個(gè)值 M,這個(gè)值是 n 位 R 進(jìn)制數(shù)所能表示的最大值,我們就在這個(gè)值上比較,在這個(gè)最小值求解的過(guò)程中,我們可以認(rèn)為 M 是恒定的,由上述定義可以導(dǎo)出下面的等式:M=R^n(其中^為乘方),那么進(jìn)一步就有 n=logRM,帶入 S=n*R 就有 S=RlogRM,利用對(duì)數(shù)的換底公式有:S=RlnM/lnR,因此我們最終得到了一個(gè)基于自然對(duì)數(shù) e 的方程,前面說(shuō)過(guò)我們可以將 M 了看做常數(shù),下面我們求 S 的極值,初看起來(lái)它并沒(méi)有單調(diào)特征,那么我們可以通過(guò)導(dǎo)數(shù)來(lái)求極值,(R/lnR)"=lnR-1,從這個(gè)導(dǎo)數(shù)可以看出,當(dāng) Re 時(shí),S">0,S 單調(diào)遞增,因此當(dāng) R=e時(shí),S 取得最小值,因此,理論上,e 進(jìn)制數(shù)對(duì)于節(jié)省狀態(tài)是最優(yōu)的,但是理論終究不是實(shí)際,自然狀態(tài)下無(wú)理數(shù)沒(méi)有什么不好,但是在涉及工程學(xué)時(shí),就更加青睞整數(shù)了,整數(shù)是離散的,適合處理,記住,不管用幾進(jìn)制數(shù),計(jì)算機(jī)處理都是基于編碼的,前面說(shuō)過(guò),編碼都是離散的,某種意義上,計(jì)算機(jī)處理就是用離散的編碼來(lái)用自己的方式重現(xiàn)連續(xù)的真實(shí)世界,計(jì)算機(jī)的最強(qiáng)大之處在處理而不是存儲(chǔ),因此它沒(méi)有必要記住整個(gè)世界,但是它需要迅速的處理這個(gè)世界,離散的方式就是計(jì)算機(jī)的方式。在 e 的兩邊有 2 和 3,我們沒(méi)有必要比較 2 和 3 下哪個(gè) S 更小,這時(shí)結(jié)果已經(jīng)很明了了,剛才是理論推算,它推算出了一個(gè) e,現(xiàn)在該讓工程學(xué)的方式給出一個(gè)具體的整數(shù)了,這時(shí)就要遵循一個(gè)原則,就是以理論為指導(dǎo),就是最終的結(jié)果不要偏離 e 太遠(yuǎn)就可以,那么只有到了這時(shí)晶體管的意義才凸顯,晶體管的特性最終采用了二進(jìn)制。

相關(guān)熱詞搜索:信息論 系列 信息

版權(quán)所有 蒲公英文摘 www.newchangjing.com