如何通过Python实现回归树模型进行数据学习？

本文共计3487个文字，预计阅读时间需要14分钟。

所谓的回归树模型实际上就是用树形模型来解决问题，其中决策树模型是最经典的自然模型，也是几乎所有树模型的基石。尽管基本结构都是使用决策树，但根据预测方法的不同，可以区分出多种回归树模型。

所谓的回归树模型其实就是用树形模型来解决回归问题，树模型当中最经典的自然还是决策树模型，它也是几乎所有树模型的基础。虽然基本结构都是使用决策树，但是根据预测方法的不同也可以分为两种。第一种，树上的叶子节点就对应一个预测值和分类树对应，这一种方法称为回归树。第二种，树上的叶子节点对应一个线性模型，最后的结果由线性模型给出。这一种方法称为模型树。

今天我们先来看看其中的回归树。

回归树模型

CART算法的核心精髓就是我们每次选择特征对数据进行拆分的时候，永远对数据集进行二分。无论是离散特征还是连续性特征，一视同仁。CART还有一个特点是使用GINI指数而不是信息增益或者是信息增益比来选择拆分的特征，但是在回归问题当中用不到这个。因为回归问题的损失函数是均方差，而不是交叉熵，很难用熵来衡量连续值的准确度。

在分类树当中，我们一个叶子节点代表一个类别的预测值，这个类别的值是落到这个叶子节点当中训练样本的类别的众数，也就是出现频率最高的类别。在回归树当中，叶子节点对应的自然就是一个连续值。这个连续值是落到这个节点的训练样本的均值，它的误差就是这些样本的均方差。

另外，之前我们在选择特征的划分阈值的时候，对阈值的选择进行了优化，只选择了那些会引起预测类别变化的阈值。但是在回归问题当中，由于预测值是一个浮点数，所以这个优化也不存在了。