运行mahout spark-itemsimilarity时出现NoClassDefFoundError

时间:2017-03-15 10:20:35

标签: apache-spark mahout

我是mahout的新手,想要运行命令" mahout spark-itemsimilarity"根据此页面intro-coocurrence-spark。但是我得到了以下错误,我搜索了很多但仍然没有与此相关的任何内容?

Exception in thread "main" java.lang.NullPointerException
        at org.apache.hadoop.hbase.TableName.valueOf(TableName.java:436)
        at org.apache.hadoop.hbase.mapreduce.TableInputFormat.initialize(TableInputFormat.java:184)
        at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.getSplits(TableInputFormatBase.java:241)
        at org.apache.hadoop.hbase.mapreduce.TableInputFormat.getSplits(TableInputFormat.java:240)
        at org.apache.hadoop.mapreduce.lib.input.DelegatingInputFormat.getSplits(DelegatingInputFormat.java:115)
        at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:305)
        at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:322)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:200)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1307)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1304)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1714)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1304)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1325)

我正在使用Ubuntu并设置JAVA_HOME,MAHOUT_HOME,SPARK_HOME。还有什么我应该做的?

1 个答案:

答案 0 :(得分:0)

运行“mahout spark-itemsimilarity”命令后,我也遇到了这个错误。

我设法通过在SPARK_HOME指向的目录中恢复到spark-1.6.3-bin-hadoop2.4来摆脱这个错误。

尝试这种方法的想法是在Mahout的目录中阅读README.md中的“从源构建”部分,之前我没有读过,因为我使用预先构建的Mahout二进制文件。