【Python】使用 requirements.txt 与 pytorch 相关配置
前言
进行深度学习时,学习github上面的项目,经常需要配置不同的虚拟环境。最简便的方式是使用 requirements.txt 导入所需的项目,但是涉及到 pytorch 时,需要特别注意。如果你的 requirements.txt 文件中的 PyTorch 版本与你的环境不兼容,你可能会在安装时遇到错误。在这种情况下,你需要手动指定一个与你的环境兼容的 PyTorch 版本。
一、pip
1、导出结果含有路径
导出结果会存在路径,生成的 requirements.txt 文件在当前目录下。
pip freezen > requirements.txt
2、导出不带路径的
生成的requirements.txt文件在当前目录下。
pip list --format=freeze >requirement.txt
生成 requirements.txt,pip freeze 会将当前PC环境下所有的安装包都进行生成,再进行安装的时候会全部安装很多没有的包,此方法需要注意。
二、Conda
1、导出requirements.txt
a. 导出
conda list -e > requirements.txt
b. 导入安装
conda install --yes --file requirements.txt
注意:使用 requirements.txt 导入时,如果有 pytorch 或者torch 先删除 requirements.txt 里面的的pytorch,安装其它库起
2、导出yml 文件
a.导出
conda env export > freeze.yml
b.导入安装
conda env create -f freeze.yml
三、第三方包:pipreqs(推荐)
使用pipreqs,这个工具的好处是可以通过对项目目录的扫描,发现使用了哪些库,生成依赖清单。
step1:安装pipreqs(默认没有安装)
pip install pipreqs
step2:使用pipreqs导出
在python项目的根目录下 使用
pipreqs ./
如果报错,则采用下面的代码
pipreqs ./ --encoding=utf-8
生成的requirements.txt文件在当前目录下。
1、创建并激活conda环境
conda create -n 环境名称 python=3.10 anaconda
conda activate 环境名称
2、安装requirements文件的pip源的包
cd 到 requirements.txt 文件所在的路径下,然后使用国内镜像网站安装
pip install -i https://pypi.mirrors.ustc.edu.cn/simple/ -r requirements.txt
四、pytorch的配置
注意 PyTorch 版本和兼容性:
requirements.txt
文件中列出的 pytorch 版本可能与你的系统环境(如操作系统、Python版本、CUDA版本等)不兼容。PyTorch 有许多不同的构建版本,对应于不同的操作系统、Python版本和CUDA版本。如果你的 requirements.txt 文件中的 PyTorch 版本与你的环境不兼容,你可能会在安装时遇到错误。在这种情况下,你需要手动指定一个与你的环境兼容的 PyTorch 版本。
由于 python 版本和pytorch和torchvision和cuda有对应的关系,需要明确项目使用上面版本进行下一步的conda虚拟环境的创建。这里使用当今最火爆的yolov5项目的requirement,作为示例,如下图所示,所要求的pytorch版本为python>=3.7.0 torch>=1.7.0 torchvision>=0.8.1
安装正确版本的pytorch+torchvision+cuda
具体的版本的下载代码可以在这里查到,这里举例使用国内镜像安装,仅在原始命令后,添加下载网址。
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64/