《信息論基礎(chǔ)》答案

　一、填空題（共 15 分，每空 1 分) １、若一連續(xù)消息通過(guò)某放大器，該放大器輸出得最大瞬時(shí)電壓為 b,最小瞬時(shí)電壓為a.若消息從放大器中輸出，則該信源得絕對(duì)熵就是

　 無(wú)窮大

　;其能在每個(gè)自由度熵得最大熵就是 。

　2、高斯白噪聲信道就是指

　信道噪聲服從正態(tài)分布,且功率譜為常數(shù)

　 。

　3、若連續(xù)信源得平均功率為５ W，則最大熵為,達(dá)到最大值得條件就是

　高斯信道

　。

�。�、離散信源存在剩余度得原因就是

　信源有記憶（或輸出符號(hào)之間存在相關(guān)性)

　與

　不等概

　. 5、離散無(wú)記憶信源在進(jìn)行無(wú)失真變長(zhǎng)信源編碼時(shí)，編碼效率最大可以達(dá)到

　1

　。

　6、離散無(wú)記憶信源在進(jìn)行無(wú)失真變長(zhǎng)信源編碼時(shí),碼字長(zhǎng)度就是變化得。根據(jù)信源符號(hào)得統(tǒng)計(jì)特性,對(duì)概率大得符號(hào)用

　短

　碼,對(duì)概率小得符號(hào)用

　長(zhǎng)

　碼，這樣平均碼長(zhǎng)就可以降低，從而提高編碼效率。

　7、八進(jìn)制信源得最小熵為

�。�

　，最大熵為 。

�。�、一個(gè)事件發(fā)生概率為 0、125，則自信息量為 。

　9、在下面空格中選擇填入數(shù)字符號(hào)“”或“〈”

　=

　二、判斷題（正確打√,錯(cuò)誤打×）（共 5 分,每小題 1 分）

　1) 離 散 無(wú) 記 憶 等 概 信 源 得 剩 余 度 為 0 。

�。� √ ）

　2) 離 散 無(wú) 記 憶 信 源 N 次 擴(kuò) 展 源 得 熵 就 是 原 信 息 熵 得 N 倍

　 （ √ ）

　3) 互 信 息 可 正 、 可 負(fù) 、 可 為 零 。

　 （ √ ）

　4) 信源得真正功率永遠(yuǎn)不會(huì)大于熵功率,即

�。� × ）

　5) 信 道 容 量 與 信 源 輸 出 符 號(hào) 得 概 率 分 布 有 關(guān) 。

　( × ) 三、（５分）已知信源得概率密度函數(shù)如下圖所示,求信源得相對(duì)熵

　四、（15 分)設(shè)一個(gè)離散無(wú)記憶信源得概率空間為

　它們通過(guò)干擾信道,信道輸出端得接收信號(hào)集為,已知信道出書(shū)概率如下圖所示。

　試計(jì)算：

�。�1）

　信源中事件得自信息量；（3 分) （2）

　信源得信息熵；（３分) （3）

　共熵;(3 分）

�。�4）

　噪聲熵;（3 分）

�。�5）

　收到信息后獲得得關(guān)于信源得平均信息量。（３分)

　(1）

　(2) （3) (４）

　（5) 五、（10 分）一個(gè)平均功率受限得連續(xù)信道，信道帶寬為 10ＭHｚ，信道噪聲為高斯白噪聲。)１(

　.量蓉道信得道信該算計(jì)，３6 為值比率功均平得聲噪與號(hào)信得上道信知已? （2)如果信道帶寬降為２MHz，要達(dá)到相同得信道容量,信道上得信號(hào)與噪聲得平均功率比值應(yīng)為多少？

�。�1) （2）

　六、（10 分)已知信源共 7 個(gè)符號(hào)信息，其概率空間為

�。�1）

　試用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼。（7 分) （2）

　計(jì)算信源熵,平均碼長(zhǎng)與編碼效率。（9 分) （1）

　1s2s3s4s5s6s7s0.20.20.20.10.10.10.10000001111110.40.60.20.20.40.1123456700010011100101110111sssssss???????(７分）

�。�2）

　分）

　 （3 分）

　七、（１0 分)設(shè)給定兩隨機(jī)變量與,它們得聯(lián)合概率密度為

　求隨機(jī)變量得概率密度函數(shù)，并計(jì)算變量得熵。

　已知得

　 （2 分) 則

　（２分）

　所以與獨(dú)立，所以 y 為高斯分布 因?yàn)?/p>

　所以

�。ǎ卜�) 所以

　（２分）

　所以

　(2) 八、(10 分）設(shè)某信道得傳遞矩陣為

　計(jì)算該信道得信道容量,并說(shuō)明達(dá)到信道容量得最佳輸入概率分布。

　解:s=４

　(2 分)

　(2 分) 最佳概率分布當(dāng)輸入概率

�。�2 分) 九、(1４分）設(shè)有一個(gè)馬爾可夫信源,如果為時(shí)，為、、得概率為 1／3;如果為時(shí),為、、得概率為１/3；如果為時(shí),為、得概率為 1/2。而且后面發(fā)得概率只與有關(guān)，又。

�。�1)寫(xiě)出轉(zhuǎn)移概率矩陣 (2）計(jì)算達(dá)到穩(wěn)定后狀態(tài)得極限概率. (3)該馬爾可夫信源得極限熵 解 （1）

　(4 分) (２）

　 （3 分) （３）

相關(guān)熱詞搜索：信息論 答案 基礎(chǔ)