总体介绍
本人开始参加AI应用开发训练营,现在先把之前有关本地部署deepseek的过程review 一下。本人在自己一台surface上实现了两种本地部署方案
- Ollama+AnythingLLM
- Ollama+Page Assist 插件(Add on)
但不管怎样,都得先安装Ollama 和本地部署Deepseek大模型。
Ollama本地安装
一、硬件要求
- 显存:≥8GB(推荐NVIDIA显卡)
- 内存:≥16GB(8B模型)
- 磁盘空间:≥20GB
- 操作系统:Windows/macOS/Linux(Windows需管理员权限)
本人使用的是一台Surface 平板,配置如下,所以整个本地安装只是过把手瘾,别把deepseek的回答当真。
二、安装Ollama
Windows系统
- 访问Ollama官网下载安装包
- 选择相应操作系统的选项下载
- 双击安装(默认C盘,也可通过命令自定义路径):
cd D:\devworkspace\ai_tools ollamasetup.exe /dir="D:\devworkspace\ai_tools\ollama"
- 验证安装:
Microsoft Windows [版本 10.0.26100.3476] (c) Microsoft Corporation。保留所有权利。 C:\Users\Administrator>ollama -v ollama version is 0.5.7 C:\Users\Administrator>
也可以通过访问本地网址验证Ollama是否在运行
Linux/macOS
curl -fsSL https://ollama.com/install.sh | sh
三、配置优化
- 修改模型存储路径(可选):
- 新建环境变量
OLLAMA_MODELS
,值为D:\path\to\models
- 新建环境变量
- 启用GPU加速(NVIDIA显卡):
setx OLLAMA_GPU_LAYER "cuda" setx CUDA_VISIBLE_DEVICES "GPU-UUID" # 通过nvidia-smi -l查询
四、部署DeepSeek模型
- 下载模型(以1.5b版本为例):
访问ollama.com首页,在下图中选择deepseek-R1
拷贝圈出部分的代码,进入command模式,粘贴命令,实际上就是执行以下命令
这时,就慢慢等待着pull下这1.1G的包吧ollama pull deepseek-r1:1.5b
千万注意,选择合适的模型,破电脑不要装大模型,选择1.5b 对于我的电脑来说已经很累了。1.5b的话,您的显卡最好超过它1.1G,依次类推。 - 自定义配置(可选):
创建Modelfile
文件:
然后执行:FROM deepseek-ai/deepseek-R1:latest PARAMETER temperature 0.7 PARAMETER num_ctx 4096
ollama create deepseek-r1 -f .\Modelfile
五、使用模型
命令行交互
C:\Users\Administrator>ollama run deepseek-r1:1.5b
>>> Send a message (/? for help)
这是你就可以问deepseek问题了。
C:\Users\Administrator>ollama run deepseek-r1:1.5b
>>> 请问李白是谁?
<think>
</think>
李白(1前70年—623年),字全 quests,号青玉案,是我国唐代大文豪。他是唐代的政治家、历史学家、文学家和无为而治的典范
。他在诗歌、散文等艺术形式中留下了伟大的名作《游园图》、《春水appeal》、《 Reading on the Road )等,这些作品展现了
李白独特的浪漫主义风格。
在政治领域,李白与杜甫、张籍等人平 forth,推行了一种“无为而治”的政治理念,试图通过节俭和节制来治理国家。他的行为深
受后人喜爱,被认为是唐代的文学革新家之一。
李白的思想也对后世产生了深远影响,他主张“安天下之 Stability”,提倡以身作则,为人树立典范。他的作品和思想至今仍被广
泛传颂,是中国文学史上的一大瑰宝。
>>> Send a message (/? for help)
这个回答,你信吗?
可视化界面(我未验证)
- 安装Docker
- 启动Open WebUI:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- 浏览器访问
http://localhost:3000
六、常用命令
命令 | 功能 |
---|---|
ollama list |
查看已安装模型 |
ollama ps |
查看运行中的模型 |
ollama rm deepseek-r1 |
删除模型 |
/help |
查看交互命令帮助 |
七、注意事项
- 首次下载需15-30分钟(依赖网络)
- 推荐使用量化版模型(如1.5B)低配设备