如何将Azure存储模拟器用于Hadoop？

Question

我的计算机上安装了HDP群集和Azure存储模拟器，并希望从我的hadoop作业访问Azure存储模拟器。显然，这不是我的Hadoop集群的默认HDFS。我知道如果我有HDInsight模拟器，我可以访问它，因为它会自动设置配置。我想知道我需要在hadoop集群中设置哪些配置才能访问azure存储模拟器？

当我运行'hdfs dfs -ls wasb：//127.0.0.1：10000 /'时，我收到以下错误消息

org.apache.hadoop.fs.azure.AzureException: Unable to access container $root in account 127.0.0.1:10000 using anonymous credentials, and no credentials found for them  in the configuration.

Answer 1

Ž。

您需要为存储模拟器使用不同的wasb：//语法。有关详细信息，请参阅以下内容：

https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-use-blob-storage/#addressing

注：

在存储模拟器上（在HDInsight模拟器上运行）寻址文件的语法是wasb：// @ storageemulator。

问候，杰森