SparkContext在大批量应用程序中的用法

Question

我试图了解Spark上下文的成本＆＃34;，它们是否非常繁重，并且会在单个JVM中创建500个Spark-Context，这是一个糟糕的设计。

在保险公司，客户服务应用程序的情况下，500名代表正在使用该应用程序，如果有一个简单的休息API将采用策略号并使用Apache Spark在HDFS或Cassandra中进行查找。使用

是否有意义

1. 每个请求一个Spark-Context
2. 所有请求的一个Singleton-Spark上下文
3. 创建一个Spark-Contexts池并使用它

感谢您的回复

Answer 1

Spark上下文包含群集，appname和正在运行的核心以及某些应用程序级别属性的访问信息。 因此，一个单独的Spark上下文将是大规模应用程序中的终极上下文。

查看Spark Job server了解详情