自动化将作业运行日志导出到DBFS的过程

Question

如何导出数据砖中运行的作业的日志？它应该自动将日志传送到DBFS。

Answer 1

要自动执行此过程，您可以设置作业，以便它通过作业API自动将日志传送到DBFS。在method2中解释

方法1：：手动通过Azure Databricks UI启用群集日志记录

在Azure门户中，导航到“作业”>“配置群集”。在高级选项下，单击日志记录。输入以下信息。

目标：选择DBFS。

客户日志路径：输入dbfs：/ cluster-logs。

方法2：使用Azure Databricks作业API自动化

使用/api/2.0/jobs/create在请求正文中指定以下内容。

{
    "new_cluster": {
        "cluster_log_conf": {
                "dbfs": {
                    "destination": "dbfs:/cluster-logs"
                }
         }
    }
}

有关更多信息，请参见Job NewCluster API调用中的ClusterLogConf和Create字段。