我们目前对评估datameer感兴趣,并有几个问题。是否有任何Datameer用户可以回答以下问题:

  • 由于datameer在HDFS上有效,因此查询速度是否与Hive相似?查询速度与列式数据库相比如何?
  • 由于Hadoop以高延迟而闻名,是否建议使用datameer进行实时查询?

  • 谢谢。

    拉维

    最佳答案

  • 关于1:
  • 查询速度与Hive相当。
  • 但是Datameer在“查询”的设计阶段要快得多。 Datameer提供了实时预览,您的“查询”结果看起来像是发生在内存中而不是在群集中。预览基于数据的代表性示例。它仅是预览而不是最终结果,如果在设计时您的分析有意义的话,它会为您提供不断的反馈。
    要测试Hive查询,您必须执行它,这会使设计过程非常缓慢。
  • Datameer与Hive相比的最大优势是:
  • 将数据加载到Hadoop更加容易。不创建静态模式,不创建ETL等。只需使用向导即可从数据库,日志文件,社交媒体等下载数据。
  • 设计分析或进行更改要快得多,甚至可以由非技术用户来完成。
  • 无需安装其他任何东西,因为Datameer在一个产品中包括了导入,分析,计划,安全性,可视化等所需的全部内容。
  • 如果您有实时要求,则不应直接将数据从Datameer,Hive,Impala等中拉出。列式存储可以使某些处理速度更快,但仍然不会造成低延迟。但是您可以将这些工具与低延迟数据库一起使用。使用Datameer / Hive / Impala进行繁重的工作,可以将大数据过滤并预聚合为较小的数据,然后将其导出到数据库中。在Datameer中,您可以使用Datameer的向导之一非常轻松地进行设置。

  • 希望这可以帮助,

    彼得·沃斯(Datameer)

    关于hadoop - 实时数据查询,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/21155529/

    10-10 06:42