2.1.5各种熵之间的关系无记忆的离散信源序列1、离散无记忆二进制信源X的二次扩展信源2、离散无记忆信源X的N次扩展信源（1）数学模型设单符号离散信源的数学模型为满足则其N次扩展信源用XN来表示，其数学模型为满足每个符号ai对应于某个有N个xi组成的序列。在N次扩展信源XN中，符号序列构成的矢量其各分量之间是彼此统计独立的，即（2）熵N次扩展信源的熵按信息熵的定义为其单位为比特/符号序列。H(XN)=H(X1X2…XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XN/X1X2…XN-1)由于无记忆扩展信源的各Xi之间是彼此独立的，且各个H(Xi)=H(X),所以H(XN)=H(X1X2…XN)=H(X1)+H(X2)+H(X3)+…+H(XN)=NH(X)单符号信源如下,求二次扩展信源熵二维平稳信源P(Xi=x)=P(Xj=x)=p(x)P(Xi=x1,Xi+1=x2)=P(Xj=x1,Xj+1=x2)=p(x1x2)其中x1,x2∈X=(x1,x2,…xn)反映信源记忆特性的两方法：每组中的后一个符号与前一个符号有统计关联关系，而这种概率性的关联与时间的起点无关。假定符号序列的组与组之间是统计独立的。例3.N维离散平稳有记忆信源平均符号熵：（3）性质若N一定，则平均符号熵大于等于条件熵HN(X)≥H(XN|X1X2…XN-1)证明：NHN(X)=H(X1X2…XN)=H(X1)+H(X2|X1)+…+H(XN|X1X2…XN-1).=H(XN)+H(XN|XN-1)+…+H(XN|X1X2…XN-1)（序列平稳性）≥NH(XN|X1X2…XN-1)（条件熵小于等于无条件熵）所以HN(X)≥H(XN|X1X2…XN-1)如果H(X)<∞，则存在，并且作业：2.172.18