Question

我正在尝试使用以下代码加载数据集：

Dataset<Row> dataset = spark.read().jdbc(RPP_CONNECTION_URL, creditoDia3, rppDBProperties));
dataset = dataset.union(spark.read().jdbc(RPP_CONNECTION_URL, creditoDia2, rppDBProperties)));
dataset = dataset.union(spark.read().jdbc(RPP_CONNECTION_URL, creditoDia, rppDBProperties)));
dataset = dataset.union(spark.read().jdbc(RPP_CONNECTION_URL, debitoDia3, rppDBProperties)));
dataset = dataset.union(spark.read().jdbc(RPP_CONNECTION_URL, debitoDia2, rppDBProperties)));
dataset = dataset.union(spark.read().jdbc(RPP_CONNECTION_URL, debitoDia,rppDBProperties)));
dataset = dataset.cache();
Long numberOfRowsProcessed = dataset.count();

所以在这6个会话到达我的数据库并提取数据集并计算行数之后，我就不再需要去数据库了。但运行以下代码后：

dataset.createOrReplaceTempView("temp");
Dataset<Row> base =  spark.sql(new StringBuilder()
.append("select ")
.append("TRANSACTION ")
.append("from temp ")
.append("where PAYMENT_METHOD in (1,2,3,4) ")
.append("and   TRANSACTION_STATUS in ('A','B') ")
.toString()
);
base.createOrReplaceTempView("base");

但是，我实际看到的是火花再次运行查询，但这一次，添加了我在定义Dataset<Row> base时传递的过滤器。正如您所看到的，我已经缓存了数据，但它没有任何效果。

问题：是否可以在spark中加载内存中的所有内容并使用缓存数据，查询spark而不是数据库？

从我的关系数据库中获取数据非常昂贵，需要一段时间才能完成。

更新

我注意到火花在尝试执行时会向数据库发送新查询

from base a 
left join base b on on a.IDT_TRANSACTION = b.IDT_TRANSACTION and a.DATE = b.DATE

这是追加到查询的字符串spark（从数据库中捕获）：

WHERE ("IDT_TRANSACTION_STATUS" IS NOT NULL) AND ("NUM_BIN_CARD" IS NOT NULL)

在日志中显示：

18/01/16 14:22:20 INFO DAGScheduler：ShuffleMapStage 12（显示于 RelatorioBinTransacao.java:496）完成于13,046 s 18/01/16 14:22:20 INFO DAGScheduler：寻找新的可运行阶段18/01/16 14:22:20 INFO DAGScheduler：running：Set（ShuffleMapStage 9）18/01/16 14:22:20 INFO DAGScheduler：waiting：Set（ShuffleMapStage 13，ShuffleMapStage 10，ResultStage 14，ShuffleMapStage 11）18/01/16 14:22:20 INFO DAGScheduler：失败：设置（）

我不确定我是否得到了想说的内容，但我认为记忆中缺少某些内容。

如果我只是在左边的连接上添加注释：

from base a 
//left join base b on on a.IDT_TRANSACTION = b.IDT_TRANSACTION and a.DATE = b.DATE

它工作正常，它不再进入数据库了。

Answer 1

这听起来可能没有足够的内存来存储群集上的联合结果。在Long numberOfRowsProcessed = dataset.count();之后，请查看Spark UI的“存储”选项卡，以查看整个数据集是否已完全缓存。如果不是那么你需要更多的内存（和/或磁盘空间）。

如果您确认数据集确实已缓存，请发布查询计划（例如base.explain()）。

Answer 2

我找到了解决问题的方法。我必须向我向数据库发送查询的每一行添加category.class.name指令。所以它看起来像这样：

cache()

我不得不添加Dataset<Row> dataset = spark.read().jdbc(RPP_CONNECTION_URL, fake, rppDBProperties); dataset = dataset.union(spark.read().jdbc(RPP_CONNECTION_URL, creditoDia3, rppDBProperties).cache()); dataset = dataset.union(spark.read().jdbc(RPP_CONNECTION_URL, creditoDia2, rppDBProperties).cache()); dataset = dataset.union(spark.read().jdbc(RPP_CONNECTION_URL, creditoDia, rppDBProperties).cache()); dataset = dataset.union(spark.read().jdbc(RPP_CONNECTION_URL, debitoDia3, rppDBProperties).cache()); dataset = dataset.union(spark.read().jdbc(RPP_CONNECTION_URL, debitoDia2, rppDBProperties).cache()); dataset = dataset.union(spark.read().jdbc(RPP_CONNECTION_URL, debitoDia,rppDBProperties).cache()); dataset = dataset.cache(); sql的第一行，因为无论我做了什么，spark似乎都没有考虑缓存第一个查询，所以我一直看到第一个查询被发送到数据库。

总而言之，我不明白为什么我必须在每一行添加fake指令，如果我已经在最后完成的话。但是，它奏效了。

Spark多次向数据库运行查询

2 个答案: