我的计算机上安装了HDP群集以及Azure存储模拟器,并且想从我的hadoop作业中访问Azure存储模拟器。显然,这不是我的Hadoop集群的默认HDFS。我知道如果我有HDInsight模拟器,我就能访问它,因为它会自动设置配置。我想知道我需要在hadoop集群中设置哪些配置才能访问azure存储模拟器?

当我运行'hdfs dfs -ls wasb://127.0.0.1:10000 /'时,我收到以下错误消息

org.apache.hadoop.fs.azure.AzureException: Unable to access container $root in account 127.0.0.1:10000 using anonymous credentials, and no credentials found for them  in the configuration.

最佳答案

Z.

您需要为存储模拟器使用不同的wasb://语法。有关详细信息,请参见以下内容:

https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-use-blob-storage/#addressing

注意:

用于寻址存储模拟器(在HDInsight模拟器上运行)上的文件的语法为wasb:// @ storageemulator。

问候,杰森

关于hadoop - 如何将Azure存储模拟器用于Hadoop?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/31078923/

10-16 01:28