在Dataproc上运行自定义spark构建？

Question

是否可以在Google Cloud Dataproc上编译和构建自定义Apache Spark？假设我们想要调整Apace Spark，然后想在数据流上构建自定义Spark。

Answer 1

这应该是可能的。 Dataproc为您提供正常的计算引擎VM，并设置Hadoop和YARN。

您可以登录任何计算机，安装自定义spark构建并指定YARN和Hadoop安装（Dataproc）。但是，我怀疑您是否能够使用GCP控制台或dataproc命令行界面来提交和监视您自己安装的作业，而无需进一步修改。