ML(4.1): R C4.5

决策树模型中最为流行的是C4.5算法,  该类算法70年代末，J Ross Quinlan提出ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。1993年，Quinlan本人以ID3算法为基础研究出C4.5/C5.0算法，C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大的改进，既适合于分类问题，又适合于回归问题。在R包中，有如下的算法包可完成C4.5 分类计算，如下，分别以鸢尾花数据集为例进行验证

• partykit::ctree
• RWeka::J48
• C50:C5.0
• 总结及对比分析

partykit::ctree 

---

• 所需安装的R包如下：

  install.packages("RWeka")
  
  install.packages("party")
  
  install.packages("partykit")

• 数据集iris包含五个指标萼片长度、萼片宽度、花瓣长度、花瓣宽度、三种花类型, 建立模型

  set.seed(1234)
  
  #从iris数据集中随机抽70%定义为训练数据集，30%为测试数据集
  
  ind <- sample(2, nrow(iris), replace=TRUE, prob=c(0.7, 0.3))
  
  trainData <- iris[ind==1,]
  
  testData <- iris[ind==2,]
  
  library(party)
  
  #建立决策树模型预测花的种类
  
  myFormula <- Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width
  
  iris_ctree <- ctree(myFormula, data=trainData)
  
  # 查看预测的结果
  
  table(predict(iris_ctree), trainData$Species)

• 结果如下：

  > table(predict(iris_ctree), trainData$Species)
  
               setosa versicolor virginica
  
    setosa         40          0         0
  
    versicolor      0         37         3
  
    virginica       0          1        31

• 对照数据结构看决策图

  > #输出决策树图
  
  > head(trainData,10)
  
     Sepal.Length Sepal.Width Petal.Length Petal.Width Species
  
  1           5.1         3.5          1.4         0.2  setosa
  
  2           4.9         3.0          1.4         0.2  setosa
  
  3           4.7         3.2          1.3         0.2  setosa
  
  4           4.6         3.1          1.5         0.2  setosa
  
  6           5.4         3.9          1.7         0.4  setosa
  
  7           4.6         3.4          1.4         0.3  setosa
  
  8           5.0         3.4          1.5         0.2  setosa
  
  9           4.4         2.9          1.4         0.2  setosa
  
  10          4.9         3.1          1.5         0.1  setosa
  
  11          5.4         3.7          1.5         0.2  setosa
  
  > plot(iris_ctree)

• 输出结果图如下：

• 对测试集进行预测

  > testPred <- predict(iris_ctree, newdata = testData)
  
  > table(testPred, testData$Species)
  
  testPred     setosa versicolor virginica
  
    setosa         10          0         0
  
    versicolor      0         12         2
  
    virginica       0          0        14

• 在测试集上结果看模型有较好的泛化能力

RWeka::J48

---

• RWeka包在上例已经安装，测试及训练数据见上例

  library(RWeka)
  
  library(party)
  
  #训练与测试样本见上例
  
  m1<-J48(Species~.,data=trainData)
  
  table(trainData$Species,predict(m1))
  
  plot(m1)

• m1结果如下：
• 预测结果

  > testPred <- predict(m1, newdata = testData)
  
  > table(testPred, testData$Species)
  
  testPred     setosa versicolor virginica
  
    setosa         10          0         0
  
    versicolor      0         12         1
  
    virginica       0          0        15

• 从结果上看，貌似比ctree训练算法稍强点, 需大的数据来深入对比

C50:C5.0

---

• C5.0 是Ross Quinlan 1998年提出来的，对C4.5做了很多改进，目前他是作为商业机密在售卖。该算法引入了Boosting的算法框架，比前面提到的算法性能更快，对内存的使用更有效，决策树更小等等。更详细的请访问他的个人主页查阅文章http://www.rulequest.com/see5-unix.html和http://rulequest.com/download.html%20
• 用法：C5.0(formula, data, weights, subset, na.action = na.pass, ...)

  > library(C50)
  
  > #ls("package:C50")
  
  > #训练与测试样本见上例
  
  > m_c50 <- C5.0(Species ~., data = trainData)
  
  > C5imp(m_c50)
  
               Overall
  
  Petal.Length  100.00
  
  Petal.Width    64.29
  
  Sepal.Length    0.00
  
  Sepal.Width     0.00

• plot(m_c50) 输出图结果如下：

• 从图上可发现建树差异，预测结果正确率：

  > c50_pred <- predict(m_c50,newdata = testData)
  
  > table(c50_pred, testData$Species)
  
  c50_pred     setosa versicolor virginica
  
    setosa         10          0         0
  
    versicolor      0         12         2
  
    virginica       0          0        14

总结及对比分析

---

• 上几节仅是对不同包的算法进行了介绍，数据量太小，比较不出在资源占用、正确率方面的差异，下面以较大数据的情况，对这三个包的结果进行对比分析，正确率如下：
• 其中C50算法中提供的函数，最重要的参数如下：

  > myFormula <- Type ~.
  
  > m.C50 <- C5.0(myFormula, data = mytrain)
  
  > C5imp(m.C50)
  
     Overall
  
  DV  100.00
  
  LV   66.07
  
  LT   51.07

• 对比资源占用如下图：
• 对比正确率