信息理論試題及答案

1.畫出通信系統的基本模型。 2.簡述信息的概念及特點。 3.說明信息、消息及信號三者之間的聯系與區別。 4.敘述數據處理定理的內容及其意義，并給 出簡要證明。 5.簡述香農第一定理。 6.結合本人的具體學習情況，談談學習信息理論課程的體會。 證明題 1.對離散信源X，設 ( ) Y f X ? ，證明： ( ) ( ) H X H Y ? ，并給出等式成立的條件。 （當且僅當對于所有概率不為0 的 ( ) x x X ? ， f 是一一對應的映射時，等號成立） 2.對于離散 隨機變量，證明 ? ? ? ? ? ? ? ? 1 2 1 2 N N H X X X H X H X H X ? ? ? ? 。 3.證明：當N ? ? 時，新信源X 的符號集的概率分布 i p 趨于 1 r （等概分布）。 證明：由香農第一定理知 ( ) 1 ( ) ( ) lo g lo g N L H s H s r N N r ? ? ? 顯然當N ? ? 時 ( ) ( ) lo g N L H s N r ? 此時信息傳輸率 ( ) ( ) ( ) lo g lo g H s H s R H s r r L ? ? ? （*） 而編碼后原信源變換成一個新信源 1 2 1 2 : r r x x x x p p p ? ? ? ? ? ? 新信源的信道容量 l o g C r ? ，且在輸入信源等概率分布時達到此信源容量。 那么由（*）式知，經 Huffman 編碼后， 信息傳輸率在N ? ? 時達到信道容量，那么很容 易推出此時的信源趨于等概分布，即： 1 i p r ? 。 計算題 1.對于一個離散的二進制信道，信源消 息集為 ? ? 0, 1 X ? ，信宿消息集為 ? ? 0, 1 Y ? ，且 ? ? ? ? 0 1 P X P X ? ? ? ，信道傳輸概率 ? ? 1 | 0 0 . 0 5 P Y X ? ? ? ， ? ? 0 | 1 0