我试图通过使用以下命令将NCDC数据从Amazon S3复制到我的本地hadoop集群。
hadoop distcp -Dfs.s3n.awsAccessKeyId='ABC' -Dfs.s3n.awsSecretAccessKey='XYZ' s3n://hadoopbook/ncdc/all input/ncdc/all
并得到以下错误:
java.lang.IllegalArgumentException: AWS Secret Access Key must be specified as the password of a s3n URL, or by setting the fs.s3n.awsSecretAccessKey property
解决了以下问题，但没有太大帮助。
Problem with Copying Local Data
关于如何解决问题的任何提示。详细的答案将有助于您更好地理解。谢谢
最佳答案
您是否尝试过:
摘自AmazonS3 Wiki
在您的情况下，应该是这样的:
hadoop distcp s3n://ABC:XYZ@hadoopbook/ncdc/all hdfs://IPaddress:port/input/ncdc/all