决策树 简介： 决策树是一种描述对实例分类的树状结构，由结点（node）和有向边（directed edge）组成。在进行分类时，对每个实例，从根节点（root）开始，根据该实例是否满足结点的调节，选择不同的分支进入下个结点，最终到达叶节点（leaf）得到分类结果。 特征选择： 一般样本实例有多维数据，而我们每次需要选择某一维来划分样本，这就是特征选择。 信息增益： 熵（entropy）表示随机变量不确定性的度量，设$X$是一个取有限个值的离散随机变量，其概率分布