火花性能非常慢

时间:2018-09-05 16:16:12

标签: apache-spark apache-spark-sql

我正在运行下面的代码,其中包含过滤器,联接和一些计算(例如倍数,除法等)。我正在这段代码中运行某些特定的日期,这些日期是我在java的while循环中通过csv逐个读取的。工作代码:

$(“#PatientEdit”).hide();
$(“#UsersList”).hide();
$(“#UsersEdit”).hide();

所有这些方法都被一一调用进行计算,其结果将用于另一种方法。

当我运行90天时,花了超过4个小时。 最初,它在30秒内非常稳定,我得到1个日期的输出,但是随着它的进行而变慢。 我是Spark Java的新手,有人可以告诉我是否像java那样迭代是缓慢的原因还是其他原因?

0 个答案:

没有答案
相关问题