随机森林与随机树算法的区别

时间:2015-08-15 08:13:25

标签: machine-learning random-forest

请关于随机树和随机森林分类算法的澄清。如果有任何书籍或网站提供详细解释,请提出建议。

4 个答案:

答案 0 :(得分:3)

两者之间的比较有点无意义,因为随机森林是一种将多个随机树(因此 - 森林)组合成一个大分类器的方法,使用更多随机化(选择随机样本替换训练每棵树加随机选择树可用于执行拆分的功能。换句话说 - RF是一种应用于随机树的集合方法通常。将它们作为comepetetice方法进行比较是没有意义的,因为它们不是。随机森林应与其他集合方法(如AdaBoost等)和随机树与基本的简单分类器(如Perceptron)进行比较(尽管它来自不同的模型族)。

答案 1 :(得分:3)

完成上一个答案,我会推荐以下书籍,以便更好地了解随机森林的工作方式:

    来自A. Criminisi和J. Shotton的
  • 决策森林非常好 理论解释和插图
  • 统计学习的要素,T。Hastie

如果你找不到这些书,我也会建议:

答案 2 :(得分:0)

  

如果您了解随机树,随机森林,那就没那么复杂了   会更简单这不过是多个随机数的组合   树(如果我是正确的,则为决策树)

     

为了更好地理解,您可以浏览集成模型平均   方法(装袋和随机森林),如果您很确定   组合技巧,那么您几乎是随机森林中的大师   部分(我推荐YouTube视频)。快乐学习:)

答案 3 :(得分:-3)

1)随机森林 随机森林是随机决策森林的一般技术的概念,随机决策森林是用于分类,回归和其他任务的集成学习技术,其通过在训练时构建多个决策树并输出作为类的模式的类来控制。 (分类)或各树的平均预测(回归)。随机决策森林对于决策树过度拟合其训练集的习惯是准确的。随机决策森林的第一个算法是由Tin Kam Ho使用随机子空间方法创建的,在Ho的公式中,这是一种实现Eugene Kleinberg提出的“随机区分”分类方法的方法。该算法的扩展由Leo Breiman [5]和Adele Cutler [2]和“随机森林”开发,是他们的商标[3]。该扩展结合了Breiman的“套袋”理念和随机选择的特征,首先由Ho介绍后来由Amit和Geman独立[4],以构建一个具有受控方差的决策树集合。 2)  随机树随机树是监督分类器;它是一种集成学习算法,可以生成大量的个人学习者。它采用装袋理念构建一组随机数据,用于构建决策树。在标准树中,使用所有变量中的最佳分割来分割每个节点。在随机林中,使用在该节点处随机选择的预测器子集中的最佳节点来分割每个节点。 Leo Breiman和Adele Cutler引入了随机树。该算法可以处理分类和回归问题。随机树是树预测器的一组(整体),称为森林。分类机制如下:随机树分类器获取输入特征向量,将其与森林中的每个树分类,并输出接收大多数“投票”的类标签。在回归的情况下,分类器回复是林中所有树的响应的平均值。随机树本质上是机器学习中两种现有算法的组合:单一模型树与随机森林思想合并。模型树是决策树,其中每个叶子都包含一个线性模型,该模型针对由该叶子解释的局部子空间进行了优化。随机森林已经证明可以显着提高单一决策树的性能:树的多样性是通过两种随机化方式产生的[4,6,11]。首先,对训练数据进行采样,并替换每个单树,如Bagging中所示。其次,当生长树时,不是总是为每个节点计算最佳可能的分割,而是仅在每个节点处考虑所有属性的随机子集,并且计算该子集的最佳分割。这些树已被用于分类随机模型树首次将模型树和随机森林结合起来。随机树使用此产品进行分割选择,从而产生合理平衡的树,其中脊值的一个全局设置适用于所有叶,从而简化了优化过程。 [1] [2] [3] [4]

[1] n的。 Landwehr,M。Hall和E. Frank, - Logistic模型树,“Mach。学习。,第一卷。 59,不。 12,pp.161-205,2005。 [2] Breiman Leo(2001)。 “随机森林”。机器学习45(1):5-32。
[3] Liaw,Andy(2012年10月16日)。 “R包随机森林的文档”。检索2013年3月15日。  [4]美国商标注册号3185828,注册号为2006/12/19。 [5]维基百科贡献者, - 随机树,“维基百科,自由百科全书”。维基媒体基金会,2014年7月13日