Linux部署pytorch
背景介绍
不同的开源代码可能需要不同的实验环境和版本,这时候的确体现出Anaconda管理环境的好处了,分别搞一个独立环境方便管理。
有的教程建议选择较旧的版本,但笔者建议在条件允许的情况下安装最新版,本次是打算使用扩散生成库diffuser
库,但在torch1.13+cu117
版本下会报类型错误,多亏有ai,很快定位到了是torch
版本过低问题,但更新的torch
也需要更高版本的cuda
,因为服务器不是笔者自己在用,贸然升级cuda
可能爆发组内矛盾,所以顺路也解决了虚拟环境内如何安装cuda的问题。
Anaconda安装
本次服务器上已有Anaconda,有关方法可见Linux服务器上安装Anaconda,大致步骤是到官网查找需要的版本连接,使用wget
方法下载,安装后添加环境变量。
Linux安装pytorch
剩下方法与Windows中安装pytorch几乎完全一样,conda create -n 环境名 python=3.9
创建conda环境后,到pytorch官网找合适的版本下载。
安装时注意版本即可,服务器虚拟环境中输入命令后即可顺利安装。
虚拟环境安装cuda
参照安装cudatoolkit,首先使用conda actviate 环境名
进入先前创建的环境,出现下图前缀变换说明切换成功:
先使用nvidia-v
查看本机的显卡信息:
后续下载安装的cuda版本不能高于该CUDA版本,使用conda search cudatoolkit
查找可以安装的cuda版本:
查找到想要的版本后,直接在当前环境使用conda install cudatoolkit=11.8.0
安装即可。
到此服务器的虚拟环境中已具有pytorch+cuda
全部所需条件。
pycharm连接服务器
Linux系统无可视化界面,更无编程所需的IDE,使用IDE远程连接服务器编程十分必要,实现的方式也多种多样。
文件选项内远程开发就有选项,通过ssh连接
但该方法笔者还没成功,涉及证书问题,不过发现了另外一种方法,可用ssh连接远程服务器的解释器,使用如下步骤即可:
大致原理为使用ssh协议将本地文件上传到服务器上,服务器执行文件后结果返回给pycharm,服务器端的文件位置可通过同步文件夹选项设置。
执行代码
import torch
print(torch.__version__)
得到如下输出说明实验成功:
总结
这在本科阶段应该是得折腾个把礼拜的事,现在没费多少劲就解决了,一方面是现在AI
和网络发展的快,获取信息太容易了;另一方面是个人成长经验也丰富了,遇到事直到怎么解决,方向明确,报错就解决错,一个个解决了自然就得到想要的结果了,所谓事缓从恒,事急从权;事缓则圆,事急则乱。