第第55章章信源编码信源编码信源信宿信源编码加密信源译码解密信道编码信道译码信道干扰噪声编码分为信源编码和信道编码，其中信源编码分为信源编码和信道编码，其中信源编码又分为编码又分为无失真和限失真无失真和限失真。。一般称一般称无失真信源编码定理无失真信源编码定理为第一极限定理；为第一极限定理；信道编码定理信道编码定理（包括离散和连续信道）称为第（包括离散和连续信道）称为第二极限定理；二极限定理；限失真信源编码定理限失真信源编码定理称为第三极限定理。称为第三极限定理。由于信源符号之间存在分布由于信源符号之间存在分布不均匀和相关性不均匀和相关性，，使得信源存在使得信源存在冗余度冗余度，信源编码的主要任务，信源编码的主要任务就是减少冗余，提高编码效率。就是减少冗余，提高编码效率。信源编码的基本途径有两个：信源编码的基本途径有两个：使序列中的各个符号尽可能地互相独立使序列中的各个符号尽可能地互相独立，，即即解除相关性解除相关性；；使编码中各个符号出现的概率尽可能地相使编码中各个符号出现的概率尽可能地相等等，，即即概率均匀化概率均匀化。。信源编码的基础是信息论中的两个编码定理：信源编码的基础是信息论中的两个编码定理：无失真编码定理无失真编码定理限失真编码定理限失真编码定理??无失真编码无失真编码只适用于离散信源只适用于离散信源??对于连续信源，只能在失真受限制的情况下进行对于连续信源，只能在失真受限制的情况下进行限限失真编码失真编码码奇异码非分组码分组码非奇异码非唯一可译码非即时码即时码(非延长码)唯一可译码唯一可译码唯一可译码存在存在的充分和必要条件的充分和必要条件各码字的长度各码字的长度KKii应符合应符合克劳夫特不等式克劳夫特不等式：：11niKim－无失真的信源编码定理无失真的信源编码定理定长定长编码定理编码定理KK是定值是定值且惟一可译码且惟一可译码变长变长编码定理编码定理码长码长KK是变化的是变化的根据信源各个符号的统计特性根据信源各个符号的统计特性，，如如概率大的概率大的符号用短码符号用短码，，概率小的用较长的码概率小的用较长的码，，使得编使得编码后平均码长降低码后平均码长降低，，从而提高编码效率从而提高编码效率。。（（统计匹配统计匹配））定长编码定理说明，定长编码定理说明，)()(logXXHLHmKLL码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几乎无失真，当然条件是L足够大。反之反之，，当当时时，，不可能构成无失真的不可能构成无失真的编码编码，，也就是不可能做一种编码器也就是不可能做一种编码器，，能使收能使收端译码时差错概率趋于零端译码时差错概率趋于零。。时时，，则为临界状态则为临界状态，，可能无失真可能无失真，，也可能有失真也可能有失真。。)(XLHK>CC，，就不可能有任何就不可能有任何一种编码能使差错概率任意小一种编码能使差错概率任意小。。最佳译码最佳译码，也叫最大后验概率译码，也叫最大后验概率译码(MAP)(MAP)最大似然译码最大似然译码(MLD)(MLD)6.2.26.2.2消息组mi码字ci接收码r估值消息ic?im?编码器信道译码消息还原)/(max?rcciiP)/(max?iiPcrcBSCBSC信道的最大似然译码可以简化为信道的最大似然译码可以简化为最小最小汉明距离译码汉骶嗬胍肼搿！?由于由于BSCBSC信道是对称的，只要发送的码字信道是对称的，只要发送的码字独立、等概，汉明距离译码也就是最佳译独立、等概，汉明距离译码也就是最佳译码。码。GG、、HH、、G’G’、、CC、、ddminmin、、tt、、dd、、SS--EE缩短码、扩展码缩短码、扩展码汉明码（完备码）汉明码（完备码）g(x)g(x)、、h(x)h(x)、、GG、、HH、、G’G’、、CC、、ddminmin、、tt、、dd、、SS--EE系统循环码系统循环码ｍｍ(x)(x)、、g(x)g(x)、、r(x)r(x)、、c(x)c(x)关系关系第第77章章加密编码加密编码加密编码的基础知识加密编码的基础知识数据加密标准数据加密标准DESDE