Windows/Linux系统 Ollama部署deepseek 大模型

Ollama 是一个开源工具，专门用于在本地计算机上运行和操作大型语言模型（LLM）

官方下载网站（https://ollama.ai/）

Windows系统安装方法

建议命令行安装（默认安装会直接安装到C盘）

OllamaSetup.exe/DIR=D:\software\ollama

大模型下载地址 -- 按需求下载  libraryBrowse Ollama's library of models.https://ollama.com/library/命令行导入大模型：

# 导入大模型
ollama create deepseek8b -f Modelfile 

# 查看
ollama list

# 运行
ollama run deepseek8b

Modelfile 文件包含目标大模型路径

 FROM H:\2025-deepseek\llm_model\Deepseek8B\DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf

 效果展示：

启用远程访问

默认仅限本地访问，如需远程调用：

# 开放防火墙端口
New-NetFirewallRule -DisplayName "Ollama API" -Direction Inbound -Action Allow -Protocol TCP -LocalPort 11434

# 启动 Ollama 时绑定到所有网络
ollama serve --host 0.0.0.0

 API接口 Python调用

import requests

response = requests.post(
    "http://localhost:11434/api/generate",
    json={
        "model": "deepseek8b",
        "prompt": "你运行的大模型是那个版本，简洁回答",
        "stream": True,
    }
)
print(response.json()['response'])

嗯，我现在需要分析一下这个用户的问题。他们说：“你运行的大模型是那个版本，简洁回答是最好的。”看起来用户是在询问我当前使用的模型版本，并且希望得到一个简明扼要的回答。

.......

</think>

我是由深度求索公司独立运行的DeepSeek-R1-Lite-Preview模型。

Linux系统安装方法

直接下载二进制

# 下载最新版 Ollama
curl -L https://ollama.ai/download/ollama-linux-amd64 -o ollama

tar -xf ollama-linux-amd64.tgz

# 移动到系统路径
sudo mv bin/ollama /usr/local/bin/

# 赋予执行权限
chmod +x /usr/local/bin/ollama

启动 Ollama 服务

# 启动服务（前台运行）
ollama serve

# 或作为后台服务（需 systemd）
cat <<EOF | sudo tee /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Restart=always
RestartSec=3

[Install]
WantedBy=default.target
EOF

# 启动并设置开机自启
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

测试可用性 

下载预训练模型（例如 phi）

ollama pull phi

验证模型运行

# 交互式测试
ollama run phi "How to check disk space in Red Hat?"

启用本地 API 接口

Ollama 默认提供 REST API（端口 11434）：

# 测试 API
curl http://localhost:11434/api/generate -d '{
  "model": "phi",
  "prompt": "Hello"
}'

API 接口示例

• 对话模式：

curl http://localhost:11434/api/chat -d '{
  "model": "phi",
  "messages": [
    { "role": "user", "content": "Who are you?" }
  ]
}'

使用 Python 调用 API

import requests

response = requests.post(
    "http://localhost:11434/api/generate",
    json={"model": "phi", "prompt": "Explain RPM packages"}
)
print(response.json()["response"])

常见问题

1. GPU 加速：
   安装 NVIDIA 驱动和 CUDA，添加 --gpus all 参数（需 Docker 运行）。

2. 端口冲突：
   修改启动参数 ollama serve --host 0.0.0.0:11435。

3. 模型存储路径：
   默认在 ~/.ollama/models，可通过环境变量 OLLAMA_MODELS 修改。