机器学习中常用的决策树算法技术解析

来源: 网络 日期:2021-02-19

本文为大家介绍了机器学习中常用的决策树算法以及相关术语,并基于天气数据集进行决策树算法(ID3、CART算法)实现过程的手动推导。

决策树是最重要的机器学习算法之一,其可被用于分类和回归问题。本文中,我们将介绍分类部分。

什么是决策树?

决策树(DecisionTree)是一个具有树形结构的分类和预测工具,其中的每个内部节点表示对属性的测试,每个分支代表测试的结果,并且每个叶子节点(终端节点)都有一个类别标签。

上图是一个小型决策树。决策树的一个重要优势在于其高度的可解释性。在上图中,如果身高大于180厘米或身高小于180厘米且体重大于80公斤为男性,否则为女性。你是否思考过我们如何得到类似于上图的决策树,下面我将使用天气数据集对此进行解释。

在此之前,我将解释一下相关的术语。

熵(Entropy)

在机器学习中,熵是对正在处理的信息中随机性的一种度量。熵越高,从该信息得出结论就越难。

信息增益(InformaTIonGain)

信息增益可以定义为随机变量或信号通过观察另一个随机变量所获得的信息量,其可以被视为父节点的熵与子节点的加权平均熵的差。

基尼不纯度(GiniImpurity)

基尼不纯度是一种度量方法,如果数据是根据子集中标签的分布被随机标记的,则基尼不纯度用来度量从集合中随机选择的数据被不正确标记的频率。

基尼不纯度的下界为0,如果数据集仅包含一个类别,那么基尼不纯度则为0。

有很多算法可以构建决策树。它们分别是:

1.CART(ClassificaTIonandRegressionTrees):使用基尼不纯度作为度量标准;

2.ID3(IteraTIveDichotomiser3):使用熵和信息增益作为度量标准。

本文将介绍ID3算法。一旦理解ID3后,就可以轻松地使用CART实现相同的功能。

使用ID3算法进行分类

下面,我们基于天气数据集来确定是否踢足球。

这里,自变量将决定因变量。其中,自变量是天气预报(outlook),温度(Temperature),湿度(Humidity)和风力(Wind),因变量是是否踢足球(Playedfootball(yes/no))。

第一步,我们必须为决策树找到父节点。为此,有以下步骤:

1.计算类别变量(即因变量)的熵。

E(S)=-[(9/14)log(9/14)+(5/14)log(5/14)]=0.94

注意:这里通常将对数的底数设置为2。这里共有14个“yes/no”。其中有9个是“y

es”,5个“no”。在此基础上,我们计算出了上面的概率。

从上面天气预报(outlook)的数据中,我们可以轻松得到下表:

2.现在我们需要计算加权平均熵,即我们已经计算出的每个特征的权重总和乘以概率。

E(S,outlook)=(5/14)*E(3,2)+(4/14)*E(4,0)+(5/14)*E(2,3)=(5/14)(-(3/5)log(3/5)-(2/5)log(2/5))+(4/14)(0)+(5/14)((2/5)log(2/5)-(3/5)log(3/5))=0.693

下一步是计算信息增益,它是上面我们计算的父节点的熵与加权平均熵之间的差。

IG(S,outlook)=0.94-0.693=0.247

类似地,计算温度(Temperature)、湿度(Humidity)和风力(Wind)的信息增益。

IG(S,Temperature)=0.940-0.911=0.029

IG(S,Humidity)=0.940-0.788=0.152

IG(S,Windy)=0.940-0.8932=0.048

    A+
声明:本文转载自其它媒体,转载目的在于传递更多信息,并不代表赞同其观点和对其真实性负责。