硬件配置:笔记本win11,内存32G,CPU锐龙7 ,无独显;只能考虑deepseek-r1:1.5b模型。
第一步:安装Ollama
此处不过多累赘了,https://ollama.com/官网选择对应的系统版本下载即可。
需要注意的是直接安装是安装到C盘,也可以通过命令安装到D盘。
通过 ”OllamaSetup.exe /dir="D:\Program Files\Ollama”
命令可以指定Ollama安装目录
C:\Users\weijian>d:
D:\>cd “Program Files"
D:\Program Files>OllamaSetup.exe /dir="D:\Program Files\Ollama”
安装成功后,再下载deepseek-r1的模型(并保存在 C 盘,C:\Users<username>.ollama\models 如果想更改默认路径,可以通过设置
ollama_models
进行修改,然后重启终端,重启 ollama 服务)。
ollama run deepseek-r1:1.5b
此处因为我下载完成了,第一次执行时候等待完成100%即可。
第二步:安装docker
安装之前准备工作
1 CPU开启虚拟化
没有开启的需要通过BIOS进行开启,这去取决于每个人的电脑,不同的品牌操作起来不一样
2启用关闭Windows功能
官网直接下载安装https://www.docker.com/
第三步:部署open-webui
开源open webUI 官网🏡 Home | Open WebUI
docker方式安装
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
第一次登录需要注册管理员,进入后台发现页面非常友好且功能强大。
在工作空间内可以添加知识库,添加模型(基础模型+知识库)。
第四步:关于API调用问题
postman测试
open-webui的API调用
https://docs.openwebui.com/getting-started/api-endpoints/
postman测试
最后总结,部署还有其他方式 Linux系统 sglang/vllm。