安装Ollama,本地部署deepseek

发布于:2025-03-29 ⋅ 阅读:(25) ⋅ 点赞:(0)

总体介绍

本人开始参加AI应用开发训练营,现在先把之前有关本地部署deepseek的过程review 一下。本人在自己一台surface上实现了两种本地部署方案

  • Ollama+AnythingLLM
  • Ollama+Page Assist 插件(Add on)
    但不管怎样,都得先安装Ollama 和本地部署Deepseek大模型。

Ollama本地安装

一、硬件要求

  • 显存:≥8GB(推荐NVIDIA显卡)
  • 内存:≥16GB(8B模型)
  • 磁盘空间:≥20GB
  • 操作系统:Windows/macOS/Linux(Windows需管理员权限)
    本人使用的是一台Surface 平板,配置如下,所以整个本地安装只是过把手瘾,别把deepseek的回答当真。
    我的电脑配置

二、安装Ollama

Windows系统

  1. 访问Ollama官网下载安装包
    在这里插入图片描述
    在这里插入图片描述
  2. 选择相应操作系统的选项下载
  3. 双击安装(默认C盘,也可通过命令自定义路径):
    cd D:\devworkspace\ai_tools
    ollamasetup.exe /dir="D:\devworkspace\ai_tools\ollama"
    
  4. 验证安装:
    Microsoft Windows [版本 10.0.26100.3476]
     (c) Microsoft Corporation。保留所有权利。
     C:\Users\Administrator>ollama -v
     ollama version is 0.5.7
     C:\Users\Administrator>
    

也可以通过访问本地网址验证Ollama是否在运行
在这里插入图片描述

Linux/macOS

curl -fsSL https://ollama.com/install.sh | sh

三、配置优化

  1. 修改模型存储路径(可选):
    • 新建环境变量OLLAMA_MODELS,值为D:\path\to\models
  2. 启用GPU加速(NVIDIA显卡):
    setx OLLAMA_GPU_LAYER "cuda"
    setx CUDA_VISIBLE_DEVICES "GPU-UUID"  # 通过nvidia-smi -l查询
    

四、部署DeepSeek模型

  1. 下载模型(以1.5b版本为例):
    访问ollama.com首页,在下图中选择deepseek-R1
    在这里插入图片描述
    在这里插入图片描述
    拷贝圈出部分的代码,进入command模式,粘贴命令,实际上就是执行以下命令
    ollama pull deepseek-r1:1.5b
    
    这时,就慢慢等待着pull下这1.1G的包吧
    千万注意,选择合适的模型,破电脑不要装大模型,选择1.5b 对于我的电脑来说已经很累了。1.5b的话,您的显卡最好超过它1.1G,依次类推。
  2. 自定义配置(可选):
    创建Modelfile文件:
    FROM deepseek-ai/deepseek-R1:latest
    PARAMETER temperature 0.7
    PARAMETER num_ctx 4096
    
    然后执行:
    ollama create deepseek-r1 -f .\Modelfile
    

五、使用模型

命令行交互

C:\Users\Administrator>ollama run deepseek-r1:1.5b
>>> Send a message (/? for help)

这是你就可以问deepseek问题了。

C:\Users\Administrator>ollama run deepseek-r1:1.5b
>>> 请问李白是谁?
<think>

</think>

李白(1前70年—623年),字全 quests,号青玉案,是我国唐代大文豪。他是唐代的政治家、历史学家、文学家和无为而治的典范
。他在诗歌、散文等艺术形式中留下了伟大的名作《游园图》、《春水appeal》、《 Reading on the Road )等,这些作品展现了
李白独特的浪漫主义风格。

在政治领域,李白与杜甫、张籍等人平 forth,推行了一种“无为而治”的政治理念,试图通过节俭和节制来治理国家。他的行为深
受后人喜爱,被认为是唐代的文学革新家之一。

李白的思想也对后世产生了深远影响,他主张“安天下之 Stability”,提倡以身作则,为人树立典范。他的作品和思想至今仍被广
泛传颂,是中国文学史上的一大瑰宝。

>>> Send a message (/? for help)

这个回答,你信吗?

可视化界面(我未验证)

  1. 安装Docker
  2. 启动Open WebUI:
    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
    
  3. 浏览器访问http://localhost:3000

六、常用命令

命令 功能
ollama list 查看已安装模型
ollama ps 查看运行中的模型
ollama rm deepseek-r1 删除模型
/help 查看交互命令帮助

七、注意事项

  1. 首次下载需15-30分钟(依赖网络)
  2. 推荐使用量化版模型(如1.5B)低配设备

网站公告

今日签到

点亮在社区的每一天
去签到