决策树主要内容主要内容信息增益用来衡量给定的属性区分训练样例的能力，中间（间接）表示属性ID3算法在生成树的每一步使用信息增益从候选属性中选择属性用熵度量样例的均一性信息增益用熵度量样例的均一性熵刻画了任意样例集合S的纯度给定包含关于某个目标概念的正反样例的样例集S，那么S相对这个布尔型分类（函数）的熵为信息论中对熵的一种解释：熵确定了要编码集合S中任意成员的分类所需要的最少二进制位数；熵值越大，需要的位数越多。更一般地，如果目标属性具有c个不同的值，那么S相对于c个状态的分类的熵定义为用信息增益度量熵的降低程度属性A的信息增益，使用属性A分割样例集合S而导致的熵的降低程度Gain(S,A)是在知道属性A的值后可以节省的二进制位数例子，注意是对当前样例集合计算上式理解信息熵理解信息增益