Spark Streaming Spark ML模型无法根据流数据预测

时间:2018-11-13 03:38:01

标签: apache-spark spark-streaming apache-spark-ml

我有一个基于静态批次火车数据集的随机森林分类模型。

模型在测试集上运行,预测两者均为0,1。

如果我通过以下方式检查模型:

Model1.toDebugString  

根据输入,返回两个预测均为0,1的if / else逻辑。

当我使用完全相同的静态数据集(用于训练模型)创建人工流时。

val dfStream = spark.readStream.format("parquet").schema(Schema).option("maxFilesPerTrigger","1").parquet("static data")

然后我使用模型进行预测。

该模型仅输出0个预测。没有1。

我还尝试了从Kafka消费者那里获取的实时流中的模型。具有相同的结果。只有0。

0 个答案:

没有答案