如何将pyspark模型保存到泡菜文件中

Question

如何将pyspark模型保存到泡菜文件中

  final_data=output_fixed.select('features','CreditabilityIndex')

  test=final_data.randomSplit([0.7,0.3])

  dtc=DecisionTreeClassifier(labelCol='CreditabilityIndex',featuresCol='features')

  dtc_model=dtc.fit(train)

Answer 1

您可以使用save()方法保存模型，其中spark是SparkContext对象：docs

dtc_model.save(spark, "/path/to/file")

Answer 2

您也可以用这种方式保存模型-

lr = LogisticRegression(labelCol="label", featuresCol="features")
lr_model = lr.fit(train2)
lr_model.save("abc.model")

###This is how you can load it back - 
sameModel = LogisticRegressionModel.load("abc.model")

PS-它将保存在代码文件的位置。但是，有时您可能看不到实际文件。但是它将被保存以供您再次加载。没什么可担心的。