通过命令行提交Spark应用程序

时间:2015-06-16 21:59:42

标签: java eclipse maven apache-spark

我有一个Spark应用程序,我最初使用maven创建。我将我的maven项目转换为Eclipse项目,现在我正在通过Eclipse进行处理。

我也拥有自己的Spark源代码版本,我已对其进行了一些修改并添加了其他方法。我能够构建我的Spark版本并获取spark-core的jar文件。

在我的Eclipse项目中,我现在用新构建的spark-core jar替换构建路径中的spark-core。我能够利用我创建的新方法,并通过Eclipse运行应用程序来验证这一点。

现在,我正在尝试通过命令行提交我的应用程序。我使用了我修改过的Spark项目中的spark-submit命令。当我提交我的jar时,我得到一个错误,说我创建的方法不存在。我不确定我做错了什么。我会很感激我应该做些什么。

更新

我现在明白我需要从自定义构建中获得某些罐子。这些罐子究竟是哪个?我知道火花装配罐就是一个。还有其他人吗?

0 个答案:

没有答案
相关问题