我想直接在AWS S3中生成TPC-DS数据(1 TB和10 TB)，而无需从本地计算机传输到s3。最简单的方法是什么？
最佳答案
我几个月前做了类似的工作，hive-testbench是一个选择。
检查有关如何实现的README.md。
您需要将fs.defaultFS中的$HADOOP_HOME/etc/hadoop/core-site.xml配置到您的AWS S3存储桶，数据将直接在AWS中生成。
将数据比例参数传递给./tpcds-setup.sh以生成不同比例的日期。
关于amazon-web-services - 如何在AWS S3中生成1 TB的TPC-DS基准数据？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/53644143/