用于实时查询的Datameer

Question

我们目前对评估datameer感兴趣并提出一些问题。是否有任何数据用户可以回答这些问题：

1. 由于数据中心工作在HDFS之外，查询速度是否与Hive类似？查询速度与柱状数据库相比如何？

2. 由于Hadoop以高延迟着称，建议使用数据通信进行实时查询吗？

谢谢。

拉​​维

Answer 1

1. 关于1：
   • 查询速度与Hive相当。
   • 但是Datameer在“查询”的设计阶段要快得多。 Datameer提供实时预览“查询”结果的样子，这种结果发生在内存中而不是集群上。预览基于您的数据的代表性样本。它只是预览而不是最终结果，但如果您的分析在设计时有意义，它会为您提供持续的反馈。 要测试Hive查询，您必须执行它，这会使设计过程非常缓慢。
   • Datameer相对于Hive的巨大优势是：
     1. 将数据加载到Hadoop中要容易得多。没有静态模式创建，没有ETL等。只需使用向导从数据库，日志文件，社交媒体等下载数据。
     2. 设计分析或进行更改的速度要快得多，甚至可以由非技术用户完成。
     3. 无需安装任何其他内容，因为Datameer在一个产品中包含了导入，分析，日程安排，安全性，可视化等所需的全部内容。
2. 如果您有实时要求，则不应直接从Datameer，Hive，Impala等中提取数据。列式存储会使处理速度更快，但仍然不会产生低延迟。但您可以将这些工具与低延迟数据库一起使用。使用Datameer / Hive / Impala进行繁重的过滤，并将大数据预聚合成较小的数据，然后将其导出到数据库中。在Datameer中，您可以使用Datameer的向导之一轻松设置它。

希望这有帮助，

PeterVoß（Datameer）