Spark驱动程序以集群模式登录边缘节点

Question

我想在运行时解析我的Spark流应用程序（以群集模式启动）的驱动程序日志。

是否可以强制驱动程序登录用于提交应用程序的边缘节点？

Answer 1

如果您希望驱动程序日志位于调用spark-submit的本地磁盘上，则必须以客户端模式提交应用程序。

否则，驱动程序将在群集中的任何可能节点上运行。

理论上，您可以将Spark / Hadoop / YARN日志与Fluentd或Filebeat之类的解决方案结合，将日志流式传输到Kafka或原始套接字流中，例如，然后将它们读回Spark中，但这可能太复杂了满足您的需求。