第2章　经典决策树算法

决策树是一种流行而强大的机器学习算法。它是一种非参数化的有监督学习方法，可用于分类和回归任务。它通过学习样本数据集创建一个模型，获得一些决策规则来预测目标变量的值。对于分类模型来说，目标值在本质上是离散的，而对于回归模型来说，目标值由连续值表示。与人工神经网络等算法不同，决策树相对来说更容易理解和解释，因为它共享内部决策逻辑。尽管许多数据科学家认为这是一个老方法，而且由于过拟合问题，他们可能对其准确性有一些怀疑，但最近的基于树的模型，特别是随机森林、梯度提升和XGBoost等建立在决策树算法之上的机器学习模型获得了巨大的成功，使古老的决策树模型焕发新春！因此，决策树背后的概念和算法是非常值得了解的。本章首先介绍一些经典的决策树算法，包括CART、ID3和C4.5算法。