前言
最近好久没写博客了,事情太多了,我还搞了个新的好玩的项目,等后续做得差不多了来写篇文章介绍一下。
在我们目前的AI项目中,团队需要共同使用一台GPU服务器来做模型训练和数据处理。为了让每个团队成员都能高效地使用这台服务器,我们决定设置一个多用户共享环境。这样,无论是代码开发、模型测试还是结果验证,所有人都可以方便地访问并利用服务器的强大算力。
本文将记录一下配置Linux共享环境的过程,同时也希望能帮助那些面临类似需求的团队。
设置用户和组
要有效管理我们的GPU服务器,首先需要创建新的用户账户,并将这些账户组织到一个专门的用户组中。这样做可以更容易地管理权限和访问控制。
创建用户和组
先创建个组
sudo groupadd gpugroup
接下来创建用户
sudo adduser [用户名]
然后把用户添加到组里面
sudo usermod -a -G gpugroup username
配置SSH公钥登录
为了让团队成员能够安全地通过SSH连接到服务器,统一使用公钥认证,禁止密码登录。
每个用户需要生成一对密钥(如果还没有的话),并将公钥发送给管理员。然后,管理员需要将这些公钥添加到用户的 .ssh/authorized_keys
文件中。
首先,确保每个用户的 home 目录下都有 .ssh
目录,如果没有,可以使用下面的命令创建:
sudo mkdir /home/[用户名]/.ssh
sudo chmod 700 /home/[用户名]/.ssh
然后,将公钥添加到 authorized_keys
文件中:
echo [公钥内容] >> /home/[用户名]/.ssh/authorized_keys
sudo chmod 600 /home/[用户名]/.ssh/authorized_keys
替换 [用户名]
和 [公钥内容]
为实际的用户名和公钥。
创建共享文件夹
之前我把代码放在 home 目录下,不过实践中发现这样不利于共享。
毕竟把某个用户 home 目录下的一个文件夹设置为共享目录,让其他用户访问,总觉得怪怪的。
通常为了安全性和组织性,还是创建一个专门的目录用于共享项目比较好,问了GPT是这么说的
所以我在 /srv
目录里创建了一个目录 /srv/projects
用来共享。
组权限设置
接下来,将团队共享的项目文件夹 /srv/projects
的所有权设置给 gpugroup
组。
sudo chown -R root:gpugroup /srv/projects
sudo chmod -R 775 /srv/projects
设置SGID(Set Group ID)
SGID 是一个特殊的权限设置,它确保在一个目录下创建的任何新文件或目录都会自动继承该目录的组。这非常适合我们的项目目录,因为它可以让团队中的所有成员都能访问和修改文件,而不必担心单个文件的组设置。
你可以使用以下命令来设置SGID位:
sudo chmod g+s /path/to/directory
例如,如果我们的项目目录是 /srv/projects
,命令将是:
sudo chmod g+s /srv/projects
这样设置后,所有在 /srv/projects
下创建的新文件和目录都将自动设置为该组,保持权限的一致性。
调整 umask (optional)
umask 是一个系统设置,决定了新创建的文件和目录的默认权限。为了确保团队成员可以编辑彼此的文件,我们需要设置一个合适的 umask 值。
通常的 umask 值是 022
,这意味着新创建的文件默认权限是 644
(用户可读写,组和其他人可读),新目录的默认权限是 755
(用户可读写执行,组和其他人可读执行)。为了团队协作,我们可以设置 umask 为 002
,这样新文件的权限为 664
(用户和组可读写,其他人可读),新目录的权限为 775
(用户和组可读写执行,其他人可读执行)。
可以通过以下命令临时改变 umask 值:
umask 002
为了永久改变,需要在用户的 shell 配置文件中设置,比如 .bashrc
或 .profile
:
echo "umask 002" >> ~/.bashrc
其他
还有一些细节的,比如我之前把 conda 装到 home 目录里了
现在也得重新在 /srv/apps 里安装,原本在 home 里的就不要了
这样所有用户都能共享 python 的虚拟环境
复制文件时显示进度
cp -R 命令不支持显示进度
可以使用 rsync 或 pv 代替
rsync
rsync -ah --progress source destination
参数解释:
-a
是归档模式,它保留符号链接、文件权限、用户组信息等。-h
使输出更易于阅读,使用人类可读的格式。--progress
显示复制进度。
pv
这个是搭配压缩工具使用的,有些系统不自带,可能得先安装。
tar cf - source/ | pv | tar xf - -C destination
这个命令将 source
目录打包并通过 pv
显示进度,然后在 destination
目录中解包。
小结
这样设置下来就基本搞定了
我最近还探索了一些项目管理工具,部署了 MatterMost
接下来可以写文章记录一下。