2.1信息的度量2.1.1消息的统计特性1、离散信源2、连续信源2.1.2离散信源的信息量对于离散消息源,可看作符号集合，由一串符号构成的，整个消息源的信息量ni——第i个符号出现的次数；P(xi)——第i个符号出现的概率；N——离散消息源的符号数目。当存在两个离散信源X和Y时，这两个信源的联合信息量2.1.3离散信源的平均信息量符号间统计独立时信源的熵高于统计相关时的熵，即符号间相互关联将使平均信息量减小。当离散信源中每个符号等概出现，而且各个符号的出现为统计独立时，该信源的平均信息量最大，此时最大熵二元离散信源减少或消除符号间的关联，并使各符号的出现趋于等概，将使离散信源达到最大熵，从而以最少的符号数值送最大的信息量。这正是数字通信中信源编码所要研究的问题当存在两个离散信源X和Y时，联合熵条件熵或平均互信息量（1）共熵与熵和条件熵之间的关系（2）平均互信息量与熵和条件熵的关系(3)平均互信息量与熵和共熵的关系2.1.4连续信源的信息度量各抽样点统计独立时，每个抽样点所包含的平均信息量连续消息的平均信息量绝对熵相对熵公式一维可推广至n维，并与选取的坐标系有关。连续信息源的最大熵条件取决于消息源输出取值所受的限制（峰值受限、均方值受限）连续信息源的最大熵条件2.2信道容量和香农公式2.2.1有扰离散信道的信息传输无记忆信道：每个输出符号只取决于当前的输入符号，而与其它输入符号无关。数学表达及分析最为简单转移概率对称信道：信道转移概率矩阵中各行和各列分别具有相同集合的元素。对称信道的输入、输出符号集之间的条件熵2.2.2有扰连续信道的信息传输推论：