如果已创建dask.Distributed客户端，则xarray.open_mfdatet()不起作用

问题描述

我有一个奇怪的问题，我希望能提供一些意见。基本上，我在AWS Pangeo Cloud上运行一台笔记本，并使用xr.open_mfdataset在S3(带有s3f)上打开一些GOES-16卫星数据。

如果我根本不使用DASK，这将非常有效，因为数据集在几分钟内就构建好了。

但是，如果我在打开文件之前创建dask.distributed客户端，open_mfdataset似乎永远挂起。

我制作了一些简单的笔记本，可以在这里浏览，以及可以用来运行它们的活页夹链接。如有任何意见，我们将不胜感激！

https://github.com/lsterzinger/pangeo-cloud-L2-satellite/tree/main/dask_troubleshooting

推荐答案

以下操作是否能实现您的目标？

ds = xr.open_mfdataset(file_objs, combine='nested', concat_dim='t', data_vars='minimal', coords='minimal', compat='override')

请注意，使用这些设置时，非DASK版本的加载时间约为35秒，而DASK One的加载时间似乎为90秒。我还没有使用过这些数据，所以不知道这里是不是这样，但扩展优势可能会对更大数量的文件发挥作用(目前是24个)。

这是基于docs：

中的指导

这篇关于如果已创建dask.Distributed客户端，则xarray.open_mfdatet()不起作用的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！