由于信道的干扰，信息在传输过程中也会产生差错或失真；对信源无失真压缩的极限是熵，如果再继续压缩就要失真。信宿的灵敏度和分辨力有限，无需要求传输过程中信息绝对无失真；允许信息有某些失真，可以降低信息传输速率，从而降低通信成本。结论：失真不可避免，有时甚至必要通过压缩所得到的编码序列不能完全恢复原来信源的信息，是有失真信源编码；希望在不大于一定的编码速率的条件下，使平均失真限制到最小；或者在平均失真不大于某个值的条件下，使编码速率限制到最小（限失真信源编码）。从信息论的观点处理数据压缩的学科称为信息率失真理论，是数据压缩的基本理论。它确定了为满足某一给定保真度准则恢复信源消息理论上传送每信源符号所需的平均的二进制数字数。有失真与无失真编码实例失真函数若信源变量U有r个符号，接收变量V有s个符号，则d(ui,vj)就有r×s个,它可以排列成矩阵形式，即：这里U指原始的未失真信源，而V是指失真以后的信源。因此，从U到V之间实际上是失真算法，即转移概率p(vj/ui)也就是一种失真算法，有时又把p(vj/ui)称为试验信道的转移概率。[例1]离散对称信源变量U={u1,u2,…ur}，接收变量V={v1,v2,…vs}，r=s。定义单个符号失真度为：[例2]删除信源。信源变量U={u1,u2,…ur}，接收变量V={v1,v2,…vs}(s=r+1)。定义其单个符号失真度为：[例3]对称信源(s=r)。信源变量U={u1,u2,…ur}，接收变量V={v1,v2,…vs}。失真度定义为：平均失真保真度准则信息速率失真函数率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系，其逆函数称为失真率函数，表示一定信息速率下可能达到的最小的平均失真。率失真函数的基本性质率失真函数的基本性质率失真函数的基本性质上式中第二项最小，所以令，，可得对应的试验信道转移概率矩阵为2.R(D)是关于平均失真度D的下凸函数离散无记忆信源的信息率失真函数二元对称信源的R(D)函数要达到Dmax的试验信道为当0<D<Dmax时pe是试验信道的平均错误概率。任选取一信道使，得平均互信息I(U;V)=H(U)-H(U|V)=H()-H(U|V)根据Fano不等式H(U|V)H(pe)+pelog(r-1)=H(pe)=H(D)I(U;V)≥H()-H(D)需要找到一个试验信道,使E(D)D，而平均互信息达到下限I(U;V)=H()-H(D)引入反向试验信道，列方程可得二元对称信源的R(D)函数对应此转移概率矩阵的平均失真因此可求出此时的互信息为：相应的率失真函数R(D)如图所示。率失真定理的逆定理