大模型deepseek安装部署
(一)、安装ollama
curl -fsSL https://ollama.com/install.sh | sh
sudo systemctl start ollama
sudo systemctl enable ollama
sudo systemctl status ollama
(二)、安装ollama遇到网络问题，请手动下载 ollama-linux-amd64.tgz
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
修改install.sh部署文件
执行安装命令
sh install.sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
>>> Creating ollama user...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink from /etc/systemd/system/default.target.wants/ollama.service to /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.
(三)、安装deepseek大模型
访问ollama网址
https://ollama.com/library
可以支持下载 1.5b 7b 8b 14b 32b 70b 671b模型
安装deepseek-r1:32b模型
ollama run deepseek-r1:32b(四)、deepseek大模型资源推荐
模型名称 |
参数量 |
激活参数量 |
上下文窗口 |
推理资源推荐 |
DeepSeek-V3 |
671B |
37B |
128K |
多机分布式部署，节点数量：2个，单节点配置：HCCPNV6 机型 |
DeepSeek-R1 |
671B |
37B |
128k |
多机分布式部署，节点数量：2个，单节点配置：HCCPNV6 机型 |
DeepSeek-R1-Distill-Qwen-1.5B |
1.5B |
- |
- |
12C44GB 1卡A10 |
DeepSeek-R1-Distill-Qwen-7B |
7B |
- |
- |
12C44GB 1卡A10 |
DeepSeek-R1-Distill-Llama-8B |
8B |
- |
128K |
12C44GB 1卡A10 |
DeepSeek-R1-Distill-Qwen-14B |
14B |
- |
- |
16C96G 1卡A100 |
DeepSeek-R1-Distill-Qwen-32B |
32B |
- |
- |
32C192G 2卡A100 |
DeepSeek-R1-Distill-Llama-70B |
70B |
- |
128K |
164C948G 8卡A100 |