国内Ubuntu离线安装和配置Ollama服务

发布于:2025-02-13 ⋅ 阅读:(13) ⋅ 点赞:(0)

以下是在 Ubuntu 22.04 系统上,安装Ollama 的完整安装和配置步骤:

1. 准备工作

确保你具备 root 权限,并安装了必要的工具,如 tarsystemctl 等。

2. 创建 Ollama 用户和组

创建一个专门的 ollama 用户和组来运行 Ollama 服务:

 sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
 sudo usermod -a -G ollama $(whoami)

参数解释:

  • -r:创建系统用户。

  • -s /bin/false:禁止该用户登录系统。

  • -U:创建与用户同名的组。

  • -m:创建用户主目录。

  • -d /usr/share/ollama:指定用户主目录为 /usr/share/ollama

3. 下载 Ollama 安装包

从官网下载 Ollama 安装包:

 wget https://ollama.com/download/ollama-linux-amd64.tgz

若无法直接从官网下载,可通过其他途径获取安装包。

4. 解压安装包

将安装包解压到 /opt/ollama 目录:

 sudo mkdir -p /opt/ollama
 sudo tar -xzf ollama-linux-amd64.tgz -C /opt/ollama

5. 创建 Ollama 服务文件

使用 vi 编辑器创建并编辑 /etc/systemd/system/ollama.service 文件:

 sudo vi /etc/systemd/system/ollama.service
 ```ini
 [Unit]
 Description=Ollama Service
 After=network-online.target
 ​
 [Service]
 ExecStart=/opt/ollama/bin/ollama serve
 User=ollama
 Group=ollama
 Restart=always
 RestartSec=3
 Environment="PATH=$PATH"
 #  解决ollama无法访问的问题
 Environment="OLLAMA_HOST=0.0.0.0:11434"
 #  指定配置文件路径
 Environment="OLLAMA_CONFIG=/etc/ollama/config.yaml"
 ​
 [Install]
 WantedBy=default.target

输入完成后,按 Esc 键退出插入模式,然后输入 :wq 并按 Enter 键保存并退出编辑器。

6. 创建并配置 Ollama 配置文件

创建 /etc/ollama 目录和 config.yaml 文件,并指定模型下载路径:

 sudo mkdir -p /etc/ollama
 sudo vi /etc/ollama/config.yaml

i 键进入插入模式,在文件中添加以下内容:

 models_path: /opt/ollama/models

Esc 键退出插入模式,输入 :wq 并按 Enter 键保存并退出编辑器。

7. 设置目录权限

确保 ollama 用户对相关目录有足够的权限:

 sudo chown -R ollama:ollama /opt/ollama
 sudo chown -R ollama:ollama /etc/ollama

8. 刷新系统服务配置

 sudo systemctl daemon-reload

9. 启动 Ollama 服务并设置开机自启

 sudo systemctl enable ollama
 sudo systemctl start ollama

10. 检查 Ollama 服务状态

 sudo systemctl status ollama

确保服务正常运行,没有报错信息。

11. 配置全局环境变量

使用 vi 编辑器创建并编辑 /etc/profile.d/ollama.sh 文件:

 sudo vi /etc/profile.d/ollama.sh

i 键进入插入模式,在文件中添加以下内容:

 PATH=$PATH:/opt/ollama/bin
 export PATH

Esc 键退出插入模式,输入 :wq 并按 Enter 键保存并退出编辑器。然后刷新环境变量:

 source /etc/profile

12. 验证安装是否成功

运行以下命令,如果能正常执行且不报错,显示模型列表信息,则说明安装成功:

 ollama ls
额外说明
  • 离线安装:若要进行离线安装,可在外网下载好模型,打包后解压到 /opt/ollama/models 目录下。

  • 故障排查:若服务启动失败,可使用 sudo journalctl -u ollama.service 命令查看详细的日志信息,根据日志内容进行排查。

13. 查看本地已下载的模型

如果你想查看已经下载到本地的 Ollama 模型,可以使用 ollama ls 命令。在终端中输入该命令后,会列出所有本地已有的模型及其相关信息,示例如下:

 ollama ls
 命令执行后,输出内容可能如下:
 ```plaintext
 NAME            ID             SIZE    MODIFIED
 llama2          123abc         3.8GB   2 days ago
 mistral         456def         2.5GB   1 week ago

输出结果中,NAME 列显示模型的名称,ID 是模型的唯一标识符,SIZE 表示模型占用的磁盘空间大小,MODIFIED 则显示模型最后一次修改的时间。

14. 查看可从远程仓库下载的模型

若要了解可以从远程仓库下载到本地的模型列表,你可以访问 Ollama 的官方模型库页面:Ollama Models。在该网页上,会展示所有可供下载的模型,你能看到模型的名称、描述、大小等详细信息,从而根据自己的需求选择合适的模型进行下载。