个人主页:chian-ocean
前言:
随着人工智能技术的迅速发展,大语言模型在各个行业中得到了广泛应用。DeepSeek 作为一个新兴的 AI 公司,凭借其高效的 AI 模型和开源的优势,吸引了越来越多的开发者和企业关注。为了更好地满足用户的需求,尤其是在数据隐私和计算资源方面,越来越多的组织开始考虑将 DeepSeek 的 AI 模型进行 本地部署。
Ollama安装(安装在D盘)
官网下载:Ollama
- 点进去官网
- 系统的选择(这里面以windows为例子)
更改路径
- 下载之后如果点击直接安装(
install
)默认会安装在C
盘.
- 在这里面打开终端窗口执行(这个是更改路径)
OllamaSetup.exe /DIR=D:\Ollama
解释:
OllamaSetup.exe
: 这是一个安装程序的执行文件,通常用于安装Ollama
软件。/DIR=D:\Ollama
: 这是命令行参数,告诉安装程序将Ollama
安装到D
盘的Ollama
文件夹中。如果指定的目录不存在,安装程序通常会创建该文件夹。
安装程序的执行文件(OllamaSetup.exe) /DIR=path(path是一个路径)
- 这里面在安装的时候我们发现正在安装在
D
盘
更改模型安装路径
- 在不更改默认路径下,模型安装默认也是
C
盘 - 小默认都在5G,大模型几十G。
修改Windows
系统环境变量
- 进入
Windows
系统的环境变量。
- 添加环境变量
变量名: OLLAMA_MODELS
变量值: D:\OllamaImagers(安装智能体的路径)
- 将第一个文件剪切到自己想要安装的目录下
刷新环境变量
重启(简单粗暴)
手动刷新环境变量(无重启)
打开 任务管理器 (
Ctrl + Shift + Esc
)。在任务管理器中,找到 Windows 资源管理器(
Explorer.exe
),右键点击并选择 重新启动。这样会刷新 Windows 资源管理器的环境变量,使得新设置的环境变量生效。
模型下载和卸载
- 按步骤操作
模型比较
模型版本 | 参数数量 | 文件大小 | 适用场景 | 优点 | 缺点 |
---|---|---|---|---|---|
1.5B | 1.5B | 1.1GB | 资源有限的环境 | 文件较小,易于下载和部署 | 性能较低,适用于较简单的任务 |
7B | 7B | 4.7GB | 需要较高性能的任务 | 平衡了性能和文件大小,适用范围广泛 | 相比小模型,仍需要较强的硬件支持 |
8B | 8B | 4.9GB | 中等性能需求的任务 | 性能好,适合大部分NLP任务 | 文件大小较大,部署时需要较大存储空间 |
14B | 14B | 9.0GB | 高性能应用,复杂任务 | 适用于复杂推理和大规模任务 | 需要较强的计算资源和存储支持 |
32B | 32B | 20GB | 大规模高负载任务 | 高度优化,能够处理复杂任务 | 对硬件要求极高,计算资源消耗大 |
70B | 70B | 43GB | 超高性能任务,科研应用 | 极高的计算能力和性能,适用于尖端研究 | 对硬件和存储要求非常苛刻,下载和运行困难 |
671B | 671B | 404GB | 超大规模高复杂度任务 | 性能最强,适用于最复杂的应用和任务 | 极高的硬件需求,几乎只适用于大型数据中心 |
本地部署 DeepSeek 模型选择简要总结
- 小型模型 (1.5B, 7B)
- 适用场景:硬件资源有限、简单任务(如基础对话、文本分类)。
- 优点:文件小、资源占用少,易于部署。
- 缺点:性能较低,无法处理复杂任务。
- 中型模型 (8B, 14B)
- 适用场景:中等性能需求,适用于中型任务(如情感分析、机器翻译)。
- 优点:较强性能,适应广泛应用。
- 缺点:需要中等硬件支持,文件和存储要求增加。
- 大型模型 (32B, 70B)
- 适用场景:高性能需求,复杂任务(如大规模推理、科研)。
- 优点:性能强,适合复杂应用。
- 缺点:对硬件要求极高,需要高端 GPU 和大存储空间。
- 超大型模型 (671B)
- 适用场景:超大规模、科研级任务。
- 优点:最强性能,适合最复杂的任务。
- 缺点:资源消耗巨大,几乎只能在大型数据中心部署。
模型下载
- 复制路径
ollama run deepseek-r1:8b
- 打开 终端(win + r)输入 cmd
复制到终端回车(Enter)
- 如果下载速度慢,
Ctrl + C
,终止进程再次进行安装。
安装成功
安装成功:success
模型卸载
终端输入:ollama rm 模型名称
ollama rm deepseek-r1:8b
模型应用
查看手册
ollama #就是查看手册
查看模型
ollama list #查看模型
运行deepseek
ollama run deepseek-r1:8b #后面是模型名称
构建可视化工具
下载:Chatbox AI
- 根据自己的系统选择版本。
设置API接口
- 这里面选择
自己的API接口或本地模型
。
- 这里面的
API域名
是正确的。
- 选择模型(deepseek-r1:b8)
- 构建可视化工具完成。