Databricks仅在UI或API中提供群集级别的日志。有没有一种方法可以在数据块中配置spark或log4j以便我们获得运行/作业级别的日志？
答案 0 :(得分：0)
您可以在Azure体系结构中心的Monitoring Azure Databricks上找到一份指南，其中介绍了本文中使用的概念-Monitoring And Logging In Azure Databricks With Azure Log Analytics And Grafana。
要提供完整的数据收集，我们将Spark monitoring library与自定义log4j.properties配置结合在一起。 Spark 2.4监视库的构建以及在Databricks中的安装都是通过本教程中引用的脚本自动进行的，并且可以在https://github.com/algattik/databricks-monitoring-tutorial/获得。