ollama实践笔记

发布于:2025-02-14 ⋅ 阅读:(140) ⋅ 点赞:(0)

目录

一、linux安装文件命令:

二、启动ollama

三、linux 如何把ollama serve做为服务方式启动

四、安装deepseek-r1

五、如何在网页中使用ollama?

‌5.1 安装Open WebUI【不推荐】

5.2 安装ollama-webui-lite

六、Ubuntu安装docker、只需要一句话即可

七、deepseekV3安装

八、通过API的方式请求Ollama

九、通过Postman API的方式请求Ollama 集成的模型API


git仓库地址:https://github.com/ollama/ollama.git

官网地址:https://github.com/ollama/ollama

一、linux安装文件命令:

curl -fsSL https://ollama.com/install.sh | sh

二、启动ollama

ollama serve

三、linux 如何把ollama serve做为服务方式启动

把下面的代码写到shell脚本中,运行脚本就可以做为后台服务了。

nohup ollama serve > /var/log/ollama.log 2>&1 &

四、安装deepseek-r1

安装和运行都是相同的命令:
(1)首次运行就是安装;(2)再次运行就是使用
ollama run deepseek-r1

五、如何在网页中使用ollama?

‌5.1 安装Open WebUI【不推荐】

Ollama的网页端是通过Open WebUI实现的,它提供了一个清晰且用户友好的聊天界面,使得与大型语言模型的交互变得直观‌1。用户可以通过Open WebUI与Ollama模型进行交互,进行对话和管理模型。

【这个特别慢!!!!不建议用这个】
git clone https://github.com/open-webui/open-webui.git

官方地址:https://github.com/open-webui/open-webui

5.2 安装ollama-webui-lite

仓库:GitHub - ollama-webui/ollama-webui-lite: This repo is no longer maintained, please use our main Open WebUI repo.

(1)安装nodejs:

sudo apt install nodejs

node -v

(2)安装npm

sudo apt install npm

npm -v

注意:node版本要安装最新的,否则无法运行,参考官方,安装最新的node

Node.js — Download Node.js®

(3)映射端口:

网站端口:3000

ssh -CNg -L 3000:127.0.0.1:3000 root@connect.westb.seetacloud.com -p 34016

ollama端口:11434

ssh -CNg -L 11434:127.0.0.1:11434 root@connect.westb.seetacloud.com -p 34016

参考安装文章:LLama3本地部署安装_llama安装-CSDN博客

(4)启动网站

npm run dev

六、Ubuntu安装docker、只需要一句话即可

apt install docker.io

docker --version
Docker version 24.0.7, build 24.0.7-0ubuntu2~22.04.1

安装docker好像也没啥用

七、deepseekV3安装

八、通过API的方式请求Ollama

curl --location 'http://localhost:11434/api/generate' \
--header 'Content-Type: text/plain' \
--data '{
    "model":"deepseek-r1",
    "prompt": "请分别翻译成中文、韩文、日文 -> Meta Llama 3: 如何变得很有钱?",
    "stream": false
}'

九、通过Postman API的方式请求Ollama 集成的模型API


网站公告

今日签到

点亮在社区的每一天
去签到