第2章信息的度量一、自信息量(self-information)这些符号的取值往往具有一定的概率分布，故可以将这些符号看作是随机事件。这样，掷骰子这一单符号离散信源可表示为：假设一个单符号离散信源，其输出被传递给信宿；如设p(x1)最大、p(xn)最小，输出哪个结果包含更多的信息，是x1还是xn？如果将离散信源输出xi所包含的信息量用I(xi)来表示并将其称为xi的自信息量，目前的通信系统或大多数信息传输系统都以二进制为基础，因此信息量的单位以bit最为常用。以bit为单位的自信息量可记为：③I(xi)是p(xi)的单调递减函数。P(xi)例1，求掷骰子这一信源出现各种结果所包含的自信息量。解：∵该信源的数学模型为：4.联合自信息量5.条件自信息量二、互信息量(mutualinformation)相类似，单符号离散信宿可表示为：如果信道是无噪的，当信源输出xi，信宿接收的也必是xi，因此，信道的输出yj就等于输入xi。因此，单符号离散信道的数学模型可表示为：说明信宿接收到yj所包含的信息量除了与信源给出的信息有关外，还与信道给出的“信息”有关。式中，I(yj/xi)称为条件信息量，表示信道给出的“信息”。3、互信息量的性质③I(yj;xi)具有对称性。I(xi;yj)称为yj对xi的互信息量。例3，如信源和信道的数学模型分别为