我已经创建了一个以Azure存储作为其HDFS的HDInisght。我想知道是否可以使用webHDFS api将二进制文件上传到HDFS。
我尝试了https://<HOST>:<HTTP_PORT>/webhdfs/v1/。但是我不确定HostHttp_port
同时,我检查了hdfs-site.xml并发现

  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>false</value>
    <final>true</final>
  </property>
我应该将值设置为True,然后可以使用它吗?

最佳答案


您无需创建HDInsight群集即可使用WebHDFS与ADLS对话。

  • Azure存储不兼容WebHDFS。
  • Azure数据湖存储是一个云规模的文件系统,与Hadoop分布式文件系统(HDFS)兼容,并且可以与Hadoop生态系统一起使用。使用WebHDFS API的现有应用程序或服务可以轻松地与ADLS集成。

  • azure - 我可以在Azure HDInsight中使用WebHDFS吗?-LMLPHP
    引用: WebHDFS FileSystem APIs
  • ADLS Gen2与Hadoop Filesystem兼容,并且已针对云规模大数据分析存储进行了优化,并且与WebHDFS不兼容。
  • 关于azure - 我可以在Azure HDInsight中使用WebHDFS吗?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/62891101/

    10-11 18:40