无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率小于信道容量，总能找到一种编码方法,使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。问题：若信息速率大于信道容量，怎么办？无失真的编码并非总是必要的。引入失真，允许失真大，信息率可以越低。P248例香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。失真测度离散无记忆信源U，信源变量U＝{u1,u2,…ur}，概率分布为P(u)＝[P(u1),P(u2),…P(ur)]。信源符号通过信道传输到某接收端，接收端的接收变量V＝{v1,v2,…vs}。对应于每一对(u,v)，我们指定一个非负的函数：若信源变量U有r个符号，接收变量V有s个符号，则d(ui,vj)就有r×s个,它可以排列成矩阵形式，即：U：原始的未失真信源V：失真以后的信源。从U到V：失真算法，转移概率p(vj/ui)：一种失真算法p(vj/ui)称为试验信道的转移概率，如图所示。[例1]离散对称信源(r=s)。信源变量U＝{u1,u2,…ur}，接收变量V＝{v1,v2,…vs}。定义单个符号失真度：[例2]删除信源。信源变量U＝{u1,u2,…ur}，接收变量V＝{v1,v2,…vs}(s=r+1)。定义其单个符号失真度为：[例3]对称信源(s=r)。信源变量U＝{u1,u2,…ur}，接收变量V＝{v1,v2,…vs}。失真度定义为：失真度d(ui,vj)是随机变量。规定了单个符号失真度d(ui,vj)后，传输一个符号引起的平均失真，称为信源平均失真度：若平均失真度D不大于我们所允许的失真D，即：DD称此为保真度准则。信息率失真函数及其性质寻找平均互信息I(U;V)的最小值。而BD是所有满足保真度准则的试验信道集合，因而可以在D失真许可的试验信道集合BD中寻找一个信道P(vj|ui)，使I(U;V)取极小值。由于平均互信息I(U;V)是P(vj|ui)的U型凸函数，所以在BD集合中，极小值存在。这个最小值就是在DD的条件下，信源必须传输的最小平均信息量。即：率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系，其逆函数称为失真率函数，表示一定信息速率下所可能达到的最小的平均失真。二、信息率失真函数的性质解：上式中第二项最小，所以令，，可得对应的试验信道转移概率矩阵为2、R(D)是关于平均失真度D的下凸函数信息率失真函数的一般形状有失真时逆信源编码定理