我正在尝试了解 hive 和hadoop如何相互作用。从我阅读的教程中,我发现在运行HIVE查询之前,您先运行了map / reduce作业以获取输入数据。对于我来说,这似乎适得其反,如果我已经运行了map / reduce作业并以易于解析的格式获取了数据,为什么不将数据放入传统数据库中。

谢谢你的帮助,
内森

最佳答案

Hive对HDFS上存储的文件进行操作。除最简单的查询外,hive会生成并运行mapreduce作业。对于非常简单的查询(SELECT * FROM MyTable),它将仅从磁盘流式传输文件。

输入数据不需要来自MapReduce,它可以是上传到HDFS的简单文本文件。参见http://developer.yahoo.com/hadoop/tutorial/module2.html#commandref

09-11 02:23
查看更多