我是Google Analytics(分析)小组的成员,该小组最近将其数据仓库移至Elastic Search。可通过Dremio访问DW。
但是,我对于 flex 搜索是否适合执行大量日常Analytics的Analytics团队合适的数据库有第二个想法。我希望我们将DW保留在BigQuery / Snowflake / Redshift之一中,并使用“dbt”工具来转换数据并将其写回到DB中。
从Elastic Search中读取后,我找不到类似“dbt”的工具来执行快速的数据转换,而Dremio还不够成熟。我想征询您对Elastic Search的想法,以及是否适合进行日常分析。
感谢您的回复。
编辑:
我在一家在线零售商上类。我们的数据在任何意义上都不是“大数据”。每天几千个订单。我们的大部分工作是回应来自各个团队/部门的询问。其中一些问题超出了简单的查询范围。我们必须建立包含多个步骤之间的自定义数据集市。结果,我们需要一个工具来允许我们快速转换数据并将结果集放入数据库中。这样的工具之一就是“dbt”,但它不支持Elastic Search。所以问题是,是否有适合此工作的工具,或者Elastic Search不适合我们的用例。
最佳答案
考虑在内
最有可能的是ElasticSearch是不合适的选择。使用ES的唯一原因是许多类似搜索的查询,它们对文本类型的字段进行“包含”过滤,并且仅当数据集太大而无法通过SQL兼容的数据库快速处理这些查询时。
看起来PostgreSQL可以胜任。如果您正在寻找用于快速OLAP查询(聚合)的columnar-DB,则可以检查开源的ClickHouse。
最后,Dremio并不是唯一可以与ElasticSearch(或PostgreSQL,ClickHouse等)一起使用的BI工具。某些BI工具允许您将“无痛”脚本用于维度/度量,并且您可以直接在ES查询中计算很多内容。
关于elasticsearch - Elasticsearch -是否适合Google Analytics(分析)团队?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/61753739/