哪个在速度,鲨鱼或火花方面更好

时间:2014-11-21 13:08:50

标签: hadoop hive apache-spark shark-sql

我对这两个人非常困惑。我知道鲨鱼和蜂房一样快100倍,工作火花。我想知道火花和鲨鱼之间的主要区别。哪个更好意味着更快。

当我必须使用火花或鲨鱼?????

1 个答案:

答案 0 :(得分:0)

Spark是一个用于分布式数据处理的框架,您可以用Scala,Java和Python编写代码。 Shark被重命名为SparkSQL,它是Spark之上的某种SQL引擎 - 你编写SQL查询并使用Spark框架执行它们。

这是Spark编程指南:https://spark.apache.org/docs/latest/programming-guide.html 这是Spark SQL指南:https://spark.apache.org/docs/latest/sql-programming-guide.html

因此,如果您编写Spark SQL查询,它将被转换为Spark代码并执行,这意味着通常您可以编写一个Spark代码,它可以以与Spark SQL查询相同的速度或更快的速度工作

相关问题