使用Livy作为OS用户运行spark程序

Question

我有一个集群化集群，并且希望使用Livy以“ OS用户”身份运行Spark程序。使用proxyUser选项只能将YARN用户设置为proxy用户，而OS用户仍为Livy。

如果这不可能，那么有人可以将我指向Livy代码，在该代码中进行“火花提交”以创建新的YARN应用程序。我可以检查一下如何修改它。

Answer 1

因此，默认情况下，Livy在客户端模式下运行，并且在此模式下，驱动程序以Livy身份运行。通过向Livy授予sudo特权，然后使其以模拟用户身份运行，可以使其成为模拟用户身份。

更简单的方法是让YARN在集群模式下进行。通过这种方式，Livy以模拟用户的身份运行驱动程序。