现代通信原理2．7信息的度量2．7．1消息的统计特性假设离散信源为包含N种符号x1,x2,…,xN的集合，每个符号出现的概率分别为P(x1),P(x2),…,p(XN),那么可以用概率场来描述信源。表2-1英文字母的出现概率表2-2汉字电报中数字代码的出现概率通常，只考虑前一个符号对后一个符号的影响，用转移概率矩阵来描述。2.7.2离散信源的信息量基于这一考虑，哈特首先提出采用消息出现概率的对数（以2为底）来作为离散消息的度量单位，称为信息量，用I（xi）表示：例2-1例2-2以上是单一符号出现的信息量。对于由一串符号构成的消息，如果各符号的出现相互独立，整个消息的信息量I当存在两个信源X和Y时，它们所出现的符号分别为xi和yj，则定义这两个信源的联合信息量为I（xiyj）在数字通信系统中，信源发送的离散符号集合可以看成是X，信宿接收的离散符号集合可以看成是Y，通常X的概率场是已知的，称为先验概率，记为P（xi）。当接收端每收到Y中的一个符号yj以后，接收者要重新估计发送端各符号xi的出现概率分布，这个概率分布称为条件概率或后验概率，用P（xi/yj）表示。互信息量：后验概率与先验概率之比的对数。1、若xi与yj之间统计独立，即出现yj与出现xi无关。P(xi/yj)=P(xi)，I(xi,yj)=0，互信息量为0。2、若出现xi就一定要出现yj。P(xi/yj)=1，I(xi,yj)=I(xi)，互信息量等于信源信息量。例2－42．7．3离散信源的平均信息量（熵）一消息由0、1、2、3四种符号组成，各符号出现概率分别为3/8，1/4，1/4和1/8。消息总长57个符号，其中0出现23次，1出现14次，2出现13次，3出现7次。用上述二种方法求该消息的信息量。解法一：如果消息中各符号出现统计相关，则式（2-7）不再适用，必须用条件概率来计算平均信息量，此时引入条件熵的概念：例2-6某离散信源由A、B、C三种符号组成。相邻两符号出现统计相关，其转移概率矩阵H（xj/xi）=-=-P(A)[P(A/A)logp(A/A)+P(B/A)logP(B/A)+P(C/A)logp(C/A)-P(B)[P(A/B)logp(A/B)+P(B/B)logP(B/B)+P(C/B)logp(C/B)-P(C)[P(A/C)logp(A/C)+P(B/C)logP(B/C)+P(C/C)logp(C/C)=0.872(bit/符号)通信中要寻求解决的问题当离散信源中每个符号等概出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。此时最大熵若二元离散信源的统计特性为图2-1熵与概率的关系对于三元离散信源，当概率P1=P2=P3=1/3时信源最大熵H(X)max=1.585(bit),此结论可以推广到N元离散信源。减小或消除符号间的关联，并使各符号的出现趋于等概，将使离散信源达到最大熵，从而以最少的符号传输最大的信息量。这就是离散信源编码的目的。对于两个离散信源X和Y的情况，X中xi和Y中yi同时出现的平均信息量称为联合熵或共熵，定义为两个离散信源X和Y，X中出现xI的条件下Y中出现yi的平均信息量称为条件熵，定义为互信息量的统计平均值称为平均互信息量，定义为1、共熵与熵和条件熵的关系为H（XY）=H（X）+H（Y/X）H（XY）=H（Y）+H（X/Y）2、平均互信息量与熵和条件熵的关系为I（X，Y）=H（X）-H（X/Y）I（X，Y）=H（Y）-H（Y/X）3、平均互信息量与熵和共熵的关系为I（X，Y）=H（X）+H（Y）-H（YX）2．7．4连续信源的信息度量当各抽样点统计独立时每个点包含的平均信息量（熵）为：=-p(x)dx{log[p(x)dx]}=-p(x)logp(x)dx-logdxp(x)dx=-p(x)logp(x)dx+log(1/dx)如前所述，离散消息源当所有符号等概输出时，其熵最大。连续信息源的最大熵条件如何求得？最大熵是多少？取决于消息源输出上所受的限制。常见的限制有两种。峰值受限：对于有线性要求的系统，为了避免线性失真，对信号的峰值幅度有限制。均方值受限（功率受限）：无线性要求的系统。1、对于均方值受限系统（功率受限系统最佳概率密度函数为正态分布2、对于峰制受限情况（功率受限系统）最佳概率密度函数为均匀分布连续信源编码的目的，就是要根据信源输出的受限情况，将其信源的概率密度函数变换为符合最大熵条件的概率密度函数，以得到最大熵。与离散信源相对应，当发送端连续信源为X，接收到的连续信源为Y时，它们的相对条件熵连续信源的平均互信息量2.8信道容量和香农公式2．8．1有扰离散信道的信息传输这种统计相关性取决于转移概率p(y