我正在尝试使用以下配置属性访问spark java中的adls gen2。
fs.azure.account.auth.type
fs.azure.account.oauth.provider.type
fs.azure.account.oauth2.client.endpoint
fs.azure.account.oauth2.client.id
fs.azure.account.oauth2.client.secret
我已经创建了Blob容器并上传了文件路径ex。使用软件“Azure storage Explorer” 1.9版中的
https://devbdstreamsv2.dfs.core.windows.net/gen2container/adlsgen2/flat.json。我试图根据文档中提到的代码访问正在使用的abfs文件路径。 abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>/但是我的疑问是我们是否没有在运行程序代码中的任何地方初始化abfs文件路径。所以我遇到了异常“No FileSystem for scheme:abfs”。我该如何解决此问题？我想知道使用spark java for abfs文件系统的初始化ADLS Gen2。 最佳答案
您需要一个Spark发行版，该发行版在hadoop-azure JAR中具有abfs连接器。普通ASF版本中的hadoop-2.7.x JAR不存在，因为abfs稍后发布(2.9+)