支持火花工作中的多租户

Question

有人可以帮我理解Spark的多租户方面吗？

我需要共享一个运行Spark的集群。正在执行的数据和作业应该是多租户。正在执行的工作有可能来自两个竞争对手。

是否有任何链接/文档或现实使用案例可以帮助我理解这些内容？

Answer 1

在实施https://issues.apache.org/jira/browse/YARN-796之前，YARN似乎无法做到这一点。

但是，您可以使用Mesos https://spark.apache.org/docs/latest/running-on-mesos.html运行Spark，然后使用标签，约束和/或虚假资源，这样您的作业就能够只在群集中的特定计算机上运行。

Answer 2

我猜你可以使用这个链接：https://www.slideshare.net/StampedeCon/apache-hadoop-yarn-multitenancy-capacity-scheduler-preemption-stampedecon-2015

但是，谢尔盖是对的。 YARN还没有多租户。你可以使用mesos。