如何在Pyspark中将线条分成多行

Question

我知道在Python中，可以使用反斜杠甚至括号将行分成多行。

但是当我这样做时，不知何故在pyspark中，我确实将下一行显示为红色，这表明某些内容可能是错误的。

(conf.setAppName('Learnfit_Recommender')
 .set("spark.executor.memory", "10g")
 .set("spark.executor.cores",5)
 .set("spark.executor.instances",50)
 .set("spark.yarn.executor.memoryOverhead",1024)
)

编辑1：我将括号改为反斜杠。如果你看到图像，我看到很少＆＃39;。＆＃39;为红色甚至sc变量标记为红色。

这是在pyspark中断行的正确方法吗？

Answer 1

您可以使用斜线和括号

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL basic example") \
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()

编辑：以及Spark提交作业的示例

./bin/spark-submit \
--master <yarn> \
--deploy-mode <cluster> \
--num-executors <2> \
--executor-cores <2> \

Answer 2

您可以使用反斜杠或括号来破坏pyspark中的行，就像在python中一样。

你可以在spark网站here

中的官方spark python示例中找到它们

Answer 3

在PySpark中反斜杠之前无需添加空格。

conf = SparkConf()

conf.setAppName('appName')\
.set("spark.executor.memory","10g")\
.set("spark.executor.cores",5) 

sc = sparkContext(conf=conf)