3.1保密系统的数学模型3.2信息量和熵反映了集中事件出现的平均不确定性，或为确定集中出现一个事件平均所需的信息量（观测之前），或集中每出现一个事件平均给出的信息量（观测之后）。如果从编码的角度来考虑，熵也可以理解成用最优的二进制编码形式表示所需的比特数。采用以2为底的对数时，相应的信息单位称作比特（Bit）。如果集X为均匀分布时，即，则。，当X为确定性的事件时，即X概率分布为，则。例3.1设有一个密码系统明文空间的概率分布为；密钥空间的概率分布为。密文空间，且假定加密函数为。可用右边的加密矩阵表示：则按公式3.1和3.2我们很容易计算出密文空间的概率分布及关于明文的条件分布：1）密文空间的概率分布表如下：2）明文关于密文的条件分布表如下：明文空间的熵为：类似地可计算定义3.2设，出现的概率为。，出现的概率为，则联合事件集，令的概率为，此时。集X和Y的联合熵定义为集相对于事件的条件熵定义为集相对于集的条件熵定义为熵的基本特性3.3完善保密性3.4理论安全性和实际安全性小结