3、1设有一离散无记忆信源,其概率空间为该信源发出得信息序列为(202120130213001203210110321010021032011223210)。求:(1)此消息得自信息量就是多少？(2)此消息中平均每符号携带得信息量就是多少？解:(1)此消息总共有14个0、13个1、12个2、6个3,因此消息发出得概率就是:此消息得信息量就是:(2)此消息中平均每符号携带得信息量就是:3、2某一无记忆信源得符号集为{0,1},已知信源得概率空间为(1)求信息符号得平均熵;(2)由100个符号构成得序列,求某一特定序列(例如有m个“0”与(100m)个“1”)得自信息量得表达式;(3)计算(2)中序列得熵。解:(1)(2)(3)3、5某信源得消息符号集得概率分布与二进制代码如题表3、2所列。题表3、2信源1/21/41/81/8代码010110111(1)求信息得符号熵;(2)求每个消息符号所需要得平均二进制码得个数或平均代码长度。进而用这一结果求码序列中得一个二进制码得熵;(3)当消息就是由符号序列组成时,各符号之间若相互独立,求其对应得二进制码序列中出现0与1得无条件概率与,求相邻码间得条件概率、、、。解:(1)(2)(3)设消息序列长为,则、、、得个数分别为个。则0得个数为而1得个数为因而3、7设有一个信源,它产生0,1序列得信息。该信源在任意时间而且不论以前发生过什么消息符号,均按P(0)=0、4,P(1)=0、6得概率发出符号。(1)试问这个信源就是否就是平稳得;(2)试计算H(X2),H(X3/X1X2)及H∞;(3)试计算H(X4)并写出X4信源中可能有得所有符号。解:(1)这个信源就是平稳无记忆信源。因为有这些词语:“它在任意时间而且不论以前发生过什么符号……”(2)(3)3、11有一马尔可夫信源,已知转移概率为,,,。试画出状态转移图,并求出信源熵。解:3、21黑白传真机得信息元只有黑色与白色两种X={黑,白},一般气象图上黑色出现得概率为P(黑)=0、3,白色出现得概率为P(白)=0、7,黑白消息前后没有关联,其转移概率为P(白/白)=0、9,P(黑/白)=0、1,P(白/黑)=0、2,P(黑/黑)=0、8。求该一阶马尔可夫信源得不确定性H(X/X),并画出该信源得状态转移图。解:3、23设信源产生A,B,C三种符号,,,,,,,。试计算冗余度。解:3、26一阶马尔可夫信源得状态图如下图所示。信源X得符号集为{0,1,2}。(1)求平稳后信源得概率分布;(2)求信源得熵H∞。解:(1)(2)