通过径向基函数(RBF)SVM进行分类

时间:2015-06-07 10:03:19

标签: kernel scikit-learn svm

我正在使用sklearn.svm.SVC(kernel =' rbf')来分类图像数据,这项工作做得非常好。线性SVM通过在两个类之间放置超平面来对数据进行分类。在rbf SVM的情况下,平面将处于无限维度。对于任何测试点,我们可以使用预测来检查它属于哪个。在线性情况下,我们可以通过获得超平面的方程式来手动获得预测。我们如何在rbf SVM案例中做到这一点。在rbf SVM案例中如何准确预测。

1 个答案:

答案 0 :(得分:6)

首先是Fisrt事情

每当我们分类时,我们都应该考虑:

  • 可以在没有高维特征空间的情况下学习分类器 实际上必须将点映射到高维空间。
  • 数据在高维空间中可以线性分离,但在原始特征空间中不能线性分离
  • 内核可以用于SVM,因为双重形式的标量产品,但也可以在其他地方使用 - 它们与SVM形式主义无关。
  • 内核也适用于非矢量的对象 enter image description here

例如,我会放一些使用过的内核。 enter image description here

对于具有高斯核的SVM分类器,我们会有类似的东西:

enter image description here 当您注意到支持向量被替换时,因此我们可以根据结果改变它,例如,考虑两个特征及其着色点: enter image description here

设置一些值我们得到: enter image description here

现在 enter image description here

或者 enter image description here

现在无限发挥时会发生什么:

enter image description here

然后: enter image description here enter image description here

adaBoost如何使用数据集 http://cseweb.ucsd.edu/~yfreund/adaboost/

如果您愿意,可以通过Ian Nabney测试.NETLAB ML Matlab软件here

以下是SVM的更多来源

  • Christopher M. Bishop,“模式识别与机器学习”,Springer(2006),ISBN 0-38-731073-8。
  • Hastie,Tibshirani,Friedman,“统计学习要素”,第二版,Springer,2009。Pdf在线提供。
  • Ian H. Witten和Eibe Frank,“数据挖掘:实用机器学习工具和技术”,第二版,2005年。
  • David MacKay,“信息理论,推理和学习算法”,可在线免费获取!
  • Tom Mitchell,“机器学习”,McGraw Hill,1997