hadoop - 如果我在 hive 中的所有列上使用distinct，将运行多少个reducer？

我正在运行一个配置单元查询，其中对所有选定列应用了distinct，并且我注意到为运行同一查询而启动了两个reduce。谁能解释我背后的原因？

 Example query:

> SELECT distinct
       seg.col1,
       seg.col2,
       seg.col3
FROM user.ag_user seg
Where ‘2018-05-06’ between start_date and end_date limit 5;

最佳答案

它可能比x查询导致y reducers更为复杂

此答案更详细地介绍了默认情况(比我能做到的更好)

Default number of reducers

关于hadoop - 如果我在 hive 中的所有列上使用distinct，将运行多少个reducer？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/50227988/