从驱动程序中获取Spark驱动程序ID

Question

我们正在以群集部署模式（即，在Spark中运行的驱动程序）将作业提交到独立的群集，并希望能够跟踪作业的进度并对其进行检测。
为了做到这一点，我们需要知道Spark分配给驱动程序进程的驱动程序的ID，但是我没有看到任何从正在运行的应用程序中获取该信息的方法，因为该信息不会通过Spark公开。上下文（仅公开应用程序ID，这是不相同的。）

我错过了什么吗？或者真的没有办法从执行代码中知道driverId吗？

Answer 1

我不确定如何获取驱动程序ID。但是，我们可以想到一件事。提交的每个作业都由纱线资源管理器中的应用程序ID进行标识。因此，只要您浏览与Application Master / Yarn / Resource Manager / Application ID相关的日志，就可以跟踪Application Master中运行的驱动程序（由于群集模式）。