google-cloud-dataproc - 如何在 Dataproc 上安装 Jupyter/iPython？

我想在 Jupyter/iPython 上使用 Cloud Dataproc 。创建新集群时如何自动安装和配置？

最佳答案

Cloud Dataproc 团队有一个包含示例和常用初始化操作的 GitHub repository of initialization actions。存储库中有专门用于 iPython 的一个，可用于自动安装和配置 iPython。 initialization action page 有关于在创建新集群时如何使用脚本的更多细节。

tl;dr 过程:

Download iPython 的初始化 Action

将初始化操作保存到 Google Cloud Storage 存储桶中

Create a new cluster 与 Google Cloud SDK 使用 --initalization-actions 标志:
gcloud beta dataproc clusters create <my-dataproc-cluster> --initialization-actions gs://<my-bucket>/ipython.sh

Create an SSL tunnel and SOCKS proxy 到集群

打开主节点的 Web 浏览器 http://<my-dataproc-cluster>-m:8123

在上面的示例中，您需要将 <my-bucket> 替换为您的 Cloud Storage 存储分区的名称，并将 <my-dataproc-cluster> 替换为您的集群名称。另请注意，对于第 5 步，URL 应将 -m 添加到集群名称，以便您访问 主节点 。

关于google-cloud-dataproc - 如何在 Dataproc 上安装 Jupyter/iPython？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/33112020/