我应该在启动主人和奴隶之后启动工人吗？

Question

因此，要在独立模式下启动Spark，我应该在启动主服务器和从服务器后启动主服务器和从服务器中的工作服务吗？

Answer 1

我假设您要使用spark独立群集。您必须配置群集的主服务器和工作服务器，然后启动它。

官方Spark文档explains非常好。 提示：对于测试（在同一节点上具有master和worker），您不必配置任何内容（如果系统中尚未使用默认端口）。只需调用sbin / start-all.sh即可启动（单节点）集群。

您应该在spark独立群集UI中看到主/工作节点。

之后你只需使用spark-submit或其他方法来运行你的火花应用程序。

Answer 2

tl; dr 工人==奴隶

您可以使用YARN或Mesos等集群管理器来托管工作人员，使其可用于运行任务或使用local[*]模式（默认情况下为spark-shell）或Spark Standalone。

现在，只需spark-shell而忘记司机，主人，工人，奴隶，遗嘱执行人。花时间了解行动，转变，工作，阶段，任务，洗牌。其他人很快就会到来。