如何使用我们的 --jars 选择 spark 库？

Question

有多个版本的mysql连接器库。

/usr/share/java/mysql-connector-java-5.1.46.jar
/usr/share/java/mysql-connector-java.jar
/usr/share/java/mariadb-connector-java.jar
/usr/share/java/mysql-connector-java-8.0.24.jar


I added external jar library blow path. (spark-default.xml) 
- spark.driver.extraClassPath : ~~~:/usr/share/java/*
- spark.executor.extraClassPath : ~~~:/usr/share/java/*

如果我在没有 --jars {specific mysql connector} 的情况下运行 spark-submit 命令，mysql 连接器版本是什么？我在哪里可以找到？ （火花历史服务器？）

例如)

jdbc = spark.read.format("jdbc")\
                .option("driver", "com.mysql.jdbc.Driver")\
                .option("url", "jdbc:mysql://url:3306/db")\
                .option("user", "XXX")\
                .option("password", "XXX")\
                .option("dbtable", "table")\
                .load()
jdbc.show()

Answer 1

environment tab 的 Spark Web UI 包含“类路径条目”部分。在这里，您可以找到已添加到当前运行的 Spark 应用程序的类路径中的所有 jar，从而识别 mysql 连接器的 jar（和版本）。

如果历史服务器正在运行，它的 Web UI 也会在 Spark 作业完成后包含相同的信息。