使用mmlspark LightGBMClassifier提前停止

时间:2018-11-21 14:59:20

标签: pyspark lightgbm

我已经能够通过针对Python中的“ eval_set”的早期停止来成功训练xgboost模型。我现在正在尝试做同样的事情,但是在pyspark中使用LightGBM。

这在Python中有效:

model = xgb.XGBClassifier(learning_rate = 0.05, n_estimators=2000)
eval_set  = [(X_test, Y_test)]
model.fit(X_train, Y_train, eval_set=eval_set, eval_metric="auc", early_stopping_rounds=50, verbose = True)

在pyspark(Databricks)中,我创建了一个数据集,其中包含mmlspark库中所需的功能列和标签列。我得到了这个工作:

from mmlspark import LightGBMClassifier model =
LightGBMClassifier(featuresCol = 'features', labelCol = 'label',
learningRate = 0.05, numIterations = 100) model.fit(train)

能否针对评估测试集尽早停止在LightGBMClassifier库中工作?

0 个答案:

没有答案