问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

AutoDL环境+PyCharm配置教程:实现GPU加速与远程开发

创作时间:
作者:
@小白创作中心

AutoDL环境+PyCharm配置教程:实现GPU加速与远程开发

引用
CSDN
1.
https://blog.csdn.net/qq_51210361/article/details/145229300

本文将详细介绍如何通过AutoDL租用GPU服务器,并使用Conda配置Python环境。接着,我们将配置PyCharm与AutoDL实例进行远程开发,帮助你高效进行深度学习模型的训练与部署。无论是配置Jupyter内核,还是在PyCharm中进行代码开发和调试,本教程都将手把手教你如何操作,让你的开发过程更加流畅。

一、AutoDL环境配置

在使用AutoDL租用GPU时,首先需要通过Conda配置Python环境。以下是详细的配置步骤。

1.1 租用AutoDL服务器

  1. 访问AutoDL平台并租用GPU服务器,确保你的租用实例具备所需的显卡支持。

1.2 进入终端并配置Conda

通过JupyterLab进入终端并配置Conda环境。

  1. 点击JupyterLab进入终端:

  2. 使用conda activate base命令激活环境,但可能会遇到命令无法识别的错误。接下来我们来配置Conda。

1.2.1 配置Conda环境

  1. 输入vim ~/.bashrc,打开配置文件
  2. 键盘输入i(一定保证是英文i)开始编辑
  3. 在文件末尾添加以下路径:source /root/miniconda3/etc/profile.d/conda.sh
  4. Esc,然后输入:wq保存退出。
  5. 输入bash命令重启终端,或直接关闭终端重新打开。
  6. 再次使用conda activate base命令,即可成功激活环境。

1.2.2 创建Python环境

创建一个新的Python环境:

conda create -n py38 python=3.8
conda activate py38

1.2.3 安装PyTorch和其他依赖

根据显卡的CUDA版本,安装适合的PyTorch版本。

  1. 输入nvidia-smi查询你的显卡支持的CUDA版本:例如这是RTX 4090D的显卡,最高支持12.4的CUDA
  2. 安装PyTorch,进入官网找到对应历史版本
    以我的主机参数:2080Ti显卡,conda 10.1,python3.8环境为例——查询到使用1.7.0版本,CUDA选择10.1的pytorch
conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=10.1 -c pytorch

本人的UNet项目开发环境——RTX 3090显卡,conda 10.1,python3.8 (ubuntu18.04)环境为例,CUDA 11.3的pytorch

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

安装其他必需的包:

pip install jupyter d2l

1.3 更新Jupyter内核页面

  1. 在创建的环境中安装Jupyter内核:
    在创建的py38环境中,输入
conda install ipykernel
  1. 使用以下命令更新内核:
    输入:
ipython kernel install --user --name=sci_research

,成功之后刷新页面,如下:

刷新页面,新的内核配置就会出现在Jupyter页面中。

二、在PyCharm中配置AutoDL

2.1 连接AutoDL实例

登录AutoDL后复制SSH指令,连接到实例:
例如SSH指令:

ssh -p 20777 root@region-77.seetacloud.com

2.2 配置SSH连接

  1. 打开PyCharm,进入Settings->Tool->SSH Configurations
  2. 填入SSH信息并点击Test Connection测试连接。

2.3 配置远程Python解释器

  1. Settings->Project->Python Interpreter中添加远程解释器。
  2. 选择Existing

  1. 配置远程解释器路径
    可以通过在远程cmd终端输入
    whereis python
    ,查找miniconda的环境所在路径
    默认是在
    /root/miniconda3/bin/python
    ,自定义创建的新环境就会在miniconda下的envs文件夹中(例如小编的路径为:
    /root/miniconda3/envs/py38/bin/python

2.4 配置项目映射和文件同步

  1. 在根目录下创建一个新的项目文件夹,以便管理。
    root目录为 根目录,为了便于管理,那就在root目录下创建新的项目目录(小编创建了root/unet_my文件夹)
  2. 在PyCharm中配置项目映射,将本地文件与远程服务器同步。

三、PyCharm与AutoDL交互

3.1 配置自动上传与远程资源管理

通过Tools -> Deployment配置自动上传和远程资源管理。

Browse Remote Host中管理远程资源,下载训练好的模型到本地。

3.2 下载远程模型和数据

使用Automatic Upload (Always)将代码自动上传到远程服务器。

提醒:远程交互也可以使用XShell、FinalShell等远程工具灵活使用。

总结

通过本文的详细步骤,你已经成功配置了AutoDL环境并在PyCharm中实现了远程开发与GPU加速。无论是通过JupyterLab进行实验,还是在PyCharm中开发、调试与训练模型,都能有效提高你的工作效率。借助Conda和PyTorch的强大支持,你将能够快速搭建深度学习环境,并专注于模型的训练与优化。

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号