Ollama Linux部署与应用LLama 3
Linux下Ollama的安装与配置
简介
Ollama提供了一种简单的安装方法,只需一行命令即可完成安装,但是对于想要更深入了解和自定义安装的用户,同时也提供了手动安装的步骤。
系统要求
在开始部署之前,请确保您的系统满足以下基本要求:
硬件配置: - 处理器:建议8核以上 - 内存:最低16GB,建议32GB - 存储空间:至少预留50GB可用空间 - 操作系统:支持Linux、MacOS或Windows - 软件要求:已安装最新版本的Ollama - 网络连接:需要稳定的网络环境用于下载模型
一键安装
curl -fsSL https://ollama.com/install.sh | sh
#也许需要相应的权限才能安装,可以使用命令
sudo curl -fsSL https://ollama.com/install.sh | sh
手动安装
# 下载Ollama二进制文件
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama
# 有可能是其它目录,可以查看服务对应的目录, 例如我机器的目录在/usr/local/bin
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/local/bin/ollama
sudo chmod +x /usr/local/bin/ollama
# 创建Ollama用户
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
将Ollama设置为启动服务
创建服务文件 – /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_MODELS=/data/app/models/ollama"
[Install]
WantedBy=default.target
模型目录授权
chown -R ollama:ollama /data/app/models/ollama
重载配置并启动
systemctl daemon-reload
systemctl start ollama
Docker安装ollama
docker run -d --name ollama -v /home/docker/ollama:/root/.ollama -p 11434:11434 ollama/ollama
# /root/.ollama : 模型默认存储路径,需要持久化。
更新Ollama
随着Ollama的不断更新和改进,定期更新您的Ollama安装是非常重要的。更新Ollama的过程与安装类似,可以通过运行安装脚本或直接下载最新的二进制文件来完成:
一键更新
curl -fsSL https://ollama.com/install.sh | sh
手动更新
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/local/bin/ollama
sudo chmod +x /usr/local/bin/ollama
卸载Ollama
如果决定不再使用Ollama,可以通过以下步骤将其完全从系统中移除:
(1)停止并禁用服务:
sudo systemctl stop ollama
sudo systemctl disable ollama
(2)删除服务文件和Ollama二进制文件:
sudo rm /etc/systemd/system/ollama.service
sudo rm $(which ollama)
(3)清理Ollama用户和组:
sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama
通过以上步骤,不仅能够在Linux平台上成功安装和配置Ollama,还能够灵活地进行更新和卸载。
Ollama下载模型
下载llama3
ollama pull llama3:8b
Ollama的模型库
模型库地址:https://ollama.com/search
相关命令
# 查看当前已经下载的模型列表
ollama list
# 下载模型(去选择你喜欢的模型吧)
ollama pull Mistral
# 修改监听端口(默认监听在127.0.0.1,为了能被外部访问到,需要修改)
$env:ollama_host = "0.0.0.0:11434"
# 开启服务
ollama serve
验证可用
curl http://192.168.1.55:11434/api/chat -d '{
"model": "llama3:8b",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'
部署 Open-webui(可选)
docker run -d -p 8080:8080 -e OLLAMA_BASE_URL=http://你服务器的ip地址:11434 -v /home/docker/open-webui:/app/backend/data --name open-webui --restart always swr.cn-southwest-2.myhuaweicloud.com/llody/open-webui/open-webui:main