Question

我正在构建指标收集器以收集有关在其上运行的所有Spark作业的运行状态。 mesos API http://masterip/frameworks返回有关所有框架的大量详细信息，然后运行http://slaveip/slave(1)/monitor/statistics以获取每个从属的每个框架详细信息，然后将它们关联起来。

这适用于大多数作业，但我提交的作业根据不同的参数表现不同。它们在Mesos GUI中显示为相同的框架名称，我无法告诉对方。

有没有办法获得启动作业的详细完整命令？或者关于如何告诉他们的任何其他想法？

You can find there are multiple instances with same framework name. As they are different spark job instances.

当我连接到Mesos slave时，monitor / statistics没有显示包含所有参数的完整命令，所以我无法分辨哪个框架与哪个Spark作业实例相关。

  {
    "executor_id": "0",
    "executor_name": "Command Executor (Task: 0) (Command: sh -c ' 
\"/usr/local...')",
    "framework_id": "06ba8de8-7fc3-422d-9ee3-17dd9ddcb2ca-3157",
    "source": "0",
    "statistics": {
      "cpus_limit": 2.1,
      "cpus_system_time_secs": 848.689999999,
      "cpus_user_time_secs": 5128.78,
      "mem_limit_bytes": 4757389312,
      "mem_rss_bytes": 2243149824,
      "timestamp": 1522858776.20098
    }
  },

由于

如何告诉由不同命令/参数启动的mesos框架

0 个答案: