使用云计算处理大量数据

时间:2011-04-13 21:09:08

标签: cloud

我正在开发一个项目,我需要处理大约数百万的事务,我正在寻找可以帮助我的云计算解决方案。我是一名C#程序员,所以我想知道Azure是我最好的选择吗?或者任何人有任何建议或书籍/网站开始?

非常感谢, 安迪,

1 个答案:

答案 0 :(得分:1)

您应该明确地阅读有关Hadoop的内容:http://hadoop.apache.org/
推荐书:http://www.amazon.com/Hadoop-Definitive-Guide-Tom-White/dp/0596521979
商业版:http://www.cloudera.com/

它提供了处理大量非结构化数据(MapReduce)的框架(例如日志),这是雅虎,Facebook等等使用的非常成熟的解决方案:http://wiki.apache.org/hadoop/PoweredBy
纯粹的SQL可用于Hive,
可以使用流模式使用C#编写作业,Hadoop具有本机Java API。

Amazon通过Amazon Elastic MapReduce(EMR)在云端提供Hadoop托管:http://aws.amazon.com/elasticmapreduce/