从sbt文件中的spark库中排除hadoop依赖

Question

我正在研究spark 1.3.0。我的build.sbt如下所示：

if($_SERVER["HTTPS"] != "on")
{
    header("Location: https://" . $_SERVER["HTTP_HOST"] . $_SERVER["REQUEST_URI"]);
    exit();
}

使用这个sbt文件编译期间正在使用hadoop 2.2.0。但我的运行环境包含hadoop 2.6.0。任何人都可以帮助我如何从火花库中排除hadoop依赖并在sbt文件中提及hadoop 2.6.0？

谢谢

Answer 1

我不认为Spark包会带来Hadoop依赖性。您的构建不包含Hadoop客户端库。您必须使用Spark安装中的spark-submit运行应用程序。当您确保下载支持Hadoop 2.6的Spark版本时。

Spark 1.3.0（2015-03-15）没有Hadoop 2.6版本。提供Hadoop 2.6版本的最早Spark版本是Spark 1.3.1（2015-04-17）。

这些都是Spark的古老版本，从那时起就已经修复了许多已知的错误。除非你喜欢bug，否则我建议使用Spark 1.6.2或2.0.0。