如何用Python3.6实现决策树并在机器学习实战中应用？

本文共计1777个文字，预计阅读时间需要8分钟。

决策树原理及相关概念详解，我们了解到决策树的学习算法主要包括以下三个步骤：特征选择、决策树生成算法、决策树剪枝。我们按照这个思路逐一实现相关功能。

决策树原理及相关概念细节我们知道决策树的学习算法主要包括3个步骤特征选择、决策树生成算法、决策树剪枝我们按照这个思路来一一实现相关功

决策树原理及相关概念细节我们知道决策树的学习算法主要包括3个步骤特征选择、决策树生成算法、决策树剪枝我们按照这个思路来一一实现相关功能。

本文的实现目前主要涉及特征选择、ID3及C4.5算法。剪枝及CART算法暂未涉及后期补上。

1.ID3及C4.5算法基础

前面文章我们提到过ID3与C4.5的主要区别是特征选择准则的不同

ID3信息增益

C4.5信息增益比

1.1 计算香农熵

不管是这两者的哪一种都涉及到信息增益的计算而计算信息增益的基础又是计算香农熵。所以我们先来实现计算香农熵的代码。