我如何在Eclipse中使用带有hadoop的mahout?

时间:2014-06-30 06:35:54

标签: hadoop mahout mahout-recommender

我想用eclipse用mahout-0.9和hadoop-2.2.0来开发我的项目。

我可以成功运行mahout-0.9的代码。但我遇到了问题,我怎么能用hadoop mod运行我的项目?我想我必须在我的电脑上安装hadoop,并使用命令启动它。然后我可以使用hadoop mod在eclipse中运行我的项目。

由于Mahout可以使用MAHOUT_LOCAL来确定linux中的本地mod或hadoop mod。但是当我将环境变量MAHOUT_LOCAL设置为""时,它也使用本地mod,为什么?

如果在eclipse中无法使用hadoop运行mahout,我怎么能运行我的项目?感谢:)

我的示例代码

package com.predictionmarketing.itemrecommend;

import java.io.File;
import java.io.IOException;
import java.util.List;

import org.apache.mahout.cf.taste.common.TasteException;
import org.apache.mahout.cf.taste.impl.model.file.FileDataModel;
import org.apache.mahout.cf.taste.impl.recommender.GenericItemBasedRecommender;
import org.apache.mahout.cf.taste.impl.similarity.PearsonCorrelationSimilarity;
import org.apache.mahout.cf.taste.impl.similarity.UncenteredCosineSimilarity;
import org.apache.mahout.cf.taste.model.DataModel;
import org.apache.mahout.cf.taste.recommender.RecommendedItem;
import org.apache.mahout.cf.taste.recommender.Recommender;
import org.apache.mahout.cf.taste.similarity.ItemSimilarity;

public class ItemRecommend {

    public static void main(String[] args) {
        try {
             DataModel model = new FileDataModel(new File("data/test.txt")); 
             ItemSimilarity similarity = new UncenteredCosineSimilarity(model); 
             Recommender recommender = new GenericItemBasedRecommender(model, similarity);

             List<RecommendedItem> recommendations = recommender.recommend(2, 10);
             for(RecommendedItem recommendation : recommendations) {
                 System.out.println(recommendation.getItemID() + "," + recommendation.getValue());
             }
        } catch (IOException e) {
            System.out.println("There was an error.");
            e.printStackTrace();
        } catch (TasteException e) {
            System.out.println("There was a Taste Exception");
            e.printStackTrace();
        }
    }
}

enter image description here enter image description here

1 个答案:

答案 0 :(得分:2)

您的示例不是Hadoop代码。 Mahout的推荐者来自非内容&#34;内存中&#34;正如您在示例中使用的版本和Hadoop版本。 Hadoop版本具有非常不同的API,因为它计算所有用户的所有建议并将它们放入HDFS文件中。您可以在作为Hadoop客户端的计算机上从命令行运行Hadoop版本(知道如何与Hadoop集群通信)。通过键入mahout recommenditembased进行访问,它将打印帮助屏幕。

在群集上运行hadoop作业后,您需要编写代码以从这些文件中查找特定用户的rec。

通常通过编写代码将建议存储在数据库中并使用查询在运行时检索rec来完成。