REST API与Spark交互

Question

我正在尝试将我的Spark上下文与REST API连接起来。所以我的流程就是这样，我从我的UI-nodejs发送请求到REST API，它需要与spark上下文（Spark作业在hive表之上工作）进行交互，其中包含所需的响应并将其发送回UI进行显示。有没有办法实现这个目标？ UI＆lt; - ＆gt; REST API＆lt; - ＆gt; Spark（HDFS）

Answer 1

您可以使用Apache Livy。它专为此用例而设计。我们过去曾使用它来控制Spark集群上的批处理和常规作业。