在我的集群的一个节点上启动Jupyter笔记本电脑(高性能计算或HPC工具)

问题描述

我想在我们的群集节点上运行jupyter笔记本，而不是在登录节点。我可以在登录节点上远程运行jupyter笔记本，但这会不必要地减慢集群的使用速度。请指导我如何从本地桌面启动节点上的jupyter笔记本。我们的集群使用PBS作业提交方式，例如使用qsub、qstat、qdel等命令来管理我们在集群上的作业。

推荐答案

您可以通过在作业脚本中运行jupyter笔记本来完成此操作。可以将jupyter启动脚本的输出写入文件以获取token并监视日志。

在我的系统中工作的一个示例脚本是：

#!/bin/bash
#PBS -N Notebook
#PBS -j oe
#PBS -l select=1:ncpus=24
#PBS -l walltime=24:00:00
#PBS -q medium

cd $PBS_O_WORKDIR
PYTHONPATH=/path/to/python
NOTEBOOK_LOGFILE=jupyterlog.out

$PYTHONPATH/bin/jupyter notebook --no-browser --ip=0.0.0.0 --port=8890 >> ${NOTEBOOK_LOGFILE} 2>&1

您可以通过以下方式监视输出tail -f jupyterlog.out并获取令牌ID。

然后，您可以通过以下方式转发并监听本地系统中运行jupyter笔记本的端口：

ssh -N -f -L localhost:8888:node:8890 user@host

这篇关于在我的集群的一个节点上启动Jupyter笔记本电脑(高性能计算或HPC工具)的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！