如何启动pyspark内核并从shell脚本执行python脚本？

Question

我想编写一个shell脚本，打开一个pyspark内核，然后在pyspark内核上执行python脚本？ 所以，通常我就是这样做的：

1. 用一堆必要的罐子烧掉pyspark内核。
2. 加载pyspark内核后，我使用该命令执行我的python脚本 EXEC（＆＃39; /path/to/python_script.py'）

我希望将其自动编写到shell脚本中。因此，当我运行shell脚本时，它会自动启动pyspark内核，然后在内核中执行该文件。 我尝试将两个带有管道的命令放在shell脚本上，它仍然无法正常工作。你们有什么想法可以做到这一点吗？这不应该只在shell脚本中完成。 任何有关这一点的想法/黑客都将受到高度赞赏。

谢谢！

我的bash脚本如下：

$SPARK_HOME/bin/spark-submit --jars  /jars/agg-1.7.6.jar --py-files /jars/include_this.py  /Users/divyaswaminathan/python/test_python_api.py