Mac搭建anaconda环境并安装深度学习库

发布于:2024-07-06 ⋅ 阅读:(23) ⋅ 点赞:(0)

1. 下载anaconda安装包

根据自己的操作系统不同,选择不同的安装包Anaconda3-2024.06-1-MacOSX-x86_64.pkg,我用的还是旧的intel所以下载这个,https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/,如果mac用的是M1,M2芯片,需要下后缀为_arm64.pkg

2. 安装anaconda

双击打开安装包,一路继续,安装完成打不开请到设置中允许

3. 配置环境变量

打开终端:

source ~/.bash_profile,如果路径中含user/xxx,需要更改用户为自己所在的目录路径,我这里用的opt目录,不用再改,所以直接source ~/.bash_profile,激活环境。

否则需要更改完成保存之后,激活环境

测试环境是否安装成功,如果输出一大堆依赖,则代表安装成功:

conda list

4. 创建3.11.7版本的虚拟环境

1. 命令行输入创建3.17版本的虚拟环境命令:

conda create --name py3117 python=3.11.7

2. 激活虚拟环境:

conda activate py3117

3. 安装常用库:

conda install anaconda

4. 将新的虚拟环境添加到Jupyter:

python -m ipykernel install --name=py3117

5. 安装pytorch, transformers, dashscope, modelscope, gradio 等深度学习的库,这一步最后启动号jupyter再做。

6. jupyter notebook安装目录插件

# (安装了目录插件,我们用jupyter notebook读取python文本时就可以看到python的文本目录了,这样方便查看带有目录的python代码文本。)

# 在 cmd黑色命令窗口或者anaconda prompt 执行如下命令, (windows(windows窗口标志)+R,输入cmd,进入cmd命令窗口)

# 第一步:更新pip
python -m pip install --upgrade pip --user -i https://pypi.tuna.tsinghua.edu.cn/simple

# 第二步:更新Jupyter 
pip install --upgrade jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple


# 第三步:安装 jupyter_contrib_nbextensions  
pip install jupyter_contrib_nbextensions -i https://pypi.tuna.tsinghua.edu.cn/simple


# 第四步:配置 nbextension
jupyter contrib nbextension install --user

# 直接使用以上命令报错:
File "/opt/anaconda3/lib/python3.12/site-packages/jupyter_contrib_core/notebook_compat/nbextensions.py", line 6, in <module>
    from notebook.extensions import BaseExtensionApp
ModuleNotFoundError: No module named 'notebook.extensions' 
# 解决办法:改用以下命令安装
conda install -c conda-forge jupyter_contrib_nbextensions
# 安装后,再次输入成功
jupyter contrib nbextension install --user

###安装问题备注:
出现连接中断之类的,做-i+国内源地址尝试
例如:pip install --upgrade jupyter
加国内源地址:  pip install --upgrade jupyter  -i https://pypi.tuna.tsinghua.edu.cn/simple

常用国内源地址
#清华大学源
https://pypi.tuna.tsinghua.edu.cn/simple

#阿里巴巴源
https://pypi.doubanio.com/simple

#中国科学技术大学源
https://pypi.mirrors.ustc.edu.cn/simple/

#豆瓣源
https://pypi.doubanio.com/simple
    

# 第五步:启动jupyter notebook,选择 Nbextensions,勾选 Table of Contents(2) ,

选做步骤
勾选Collapsible headings---将标题内部的内容全部折叠起来
   Code folding---代码折叠插件,允许你将缩进内容折叠起来,节省屏幕空间
   Hinterland---代码提示自动补全功能

Jupyter页面打开《各种库和模型安装》代码包后,先把Kernel(内核)改为py3117(学习另外三个代码包时也保持使用) 

切换好内核后,开始逐一安装深度学习的库。

 5. 安装深度学习的库

这里可以逐一点击代码框,点Run ,耐心等候下载和安装。下载和安装时,这里会变*,每完成一个代码框,这里会变成数字码。

如果不想在这里安装,也可以在命令行逐一安装

# python版本必须>3.10
# 推荐在安装库之前,先更新conda
# conda update conda

# 安装dashscope
!pip install dashscope -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装modelscope
!pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

# 报错:ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
s3fs 2024.3.1 requires fsspec==2024.3.1, but you have fsspec 2024.2.0 which is incompatible.


# 安装pytorch
!pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装transformers
!pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装datasets
!pip install datasets -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装gradio
!pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple

# 下载上课用的预训练模型,warning信息请忽略
from modelscope.models import Model
model = Model.from_pretrained('damo/nlp_bert_fill-mask_chinese-base')
model = Model.from_pretrained('damo/nlp_structbert_zero-shot-classification_chinese-base')

如果上面的虚拟环境未切换直接用jupyter安装这些库,则安装到了base内核了,则后续再切换到虚拟环境无法安装的,需要到命令行逐一输入命令安装。

备注: 因为老师给的安装没有用国内镜像,我统一加了国内镜像安装,速度会快些。 

安装完成各种库和模型后,恭喜你!基本环境完成。 

7. 注册账号

注册一个阿里云的账号

我们这次课上会用到阿里的模型,网址https://bailian.console.aliyun.com/#/model-market

注册一个Model Scope的账号

网址https://modelscope.cn/models

退出虚拟环境:conda deactivate
删除虚拟环境:conda env remove --name py3117
现有虚拟环境列表:conda env list


网站公告

今日签到

点亮在社区的每一天
去签到