我的计算机上安装了HDP群集以及Azure存储模拟器,并且想从我的hadoop作业中访问Azure存储模拟器。显然,这不是我的Hadoop集群的默认HDFS。我知道如果我有HDInsight模拟器,我就能访问它,因为它会自动设置配置。我想知道我需要在hadoop集群中设置哪些配置才能访问azure存储模拟器?
当我运行'hdfs dfs -ls wasb://127.0.0.1:10000 /'时,我收到以下错误消息
org.apache.hadoop.fs.azure.AzureException: Unable to access container $root in account 127.0.0.1:10000 using anonymous credentials, and no credentials found for them in the configuration.
最佳答案
Z.
您需要为存储模拟器使用不同的wasb://语法。有关详细信息,请参见以下内容:
https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-use-blob-storage/#addressing
注意:
用于寻址存储模拟器(在HDInsight模拟器上运行)上的文件的语法为wasb:// @ storageemulator。
问候,杰森
关于hadoop - 如何将Azure存储模拟器用于Hadoop?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/31078923/