llm本地部署+web访问+交互

发布于:2025-08-14 ⋅ 阅读:(24) ⋅ 点赞:(0)

要实现基于llm的web访问和交互,需支持对llm的访问和对网络搜索的调用。

这里使用ollama llm兼容openai sdk访问;使用proxyless-llm-websearch模拟网络搜索。

1 ollama本地部署

假设ollama已经部署,具体过程参考

在mac m1基于ollama运行deepseek r1_mac m1 ollama-CSDN博客

mac m1计算慢,所以使用4b的小模型。

ollama pull qwen3:4b

ollama 支持openai sdk的访问,具体参考

如何用OpenAI SDK调用Ollama LLM-CSDN博客

2 web资源访问 & 交互

proxyless-llm-websearch无需代理,这里用于支持对web搜索引擎的调用。

1)下载proxyless-llm-websearch

git clone https://github.com/itshyao/proxyless-llm-websearch.git

2)配置proxyless-llm-websearch

cd proxyless-llm-websearch

由于本地使用ollama部署了qwen3:4b,所以支持使用openai api直接访问qwen3:4b。

具体配置在.env

vim .env

修改后OPENAI相关配置结果如下,包括openai base和embedding。

OPENAI_API_KEY=xxx
OPENAI_BASE_URL=http://localhost:11434/v1
MODEL_NAME=qwen3:4b

EMBEDDING_MODEL_NAME=bge-m3:latest
EMBEDDING_API_KEY=xxx
EMBEDDING_BASE_URL=http://localhost:11434/v1

3)安装依赖

pip install -r requirements.txt
python -m playwright install

4)gradle示例

python gradio_demo.py

成功运行后,就可以通过浏览器访问验证了,链接如下

http://127.0.0.1:7860/

输入“广州的天气”,经过一阵计算,结果如下。

mac m1速度慢,需要访问网络搜索,处理搜索结果,整体计算过程较长。

另外,小模型能力有限,最终整理结果相对偏离预期。

reference

---

ollama qwen3

https://ollama.com/library/qwen3

proxyless-llm-websearch

https://github.com/itshyao/proxyless-llm-websearch/tree/main

LLM_Web_search

https://github.com/mamei16/LLM_Web_search

DeepSeek R1本地化部署+web端访问+LLM交互平台

https://zhuanlan.zhihu.com/p/28344252876

LLM_Web_Search 项目安装和配置指南

https://blog.csdn.net/gitblog_07214/article/details/142227878

🧠 无需代理的 LLM 网络搜索引擎开源了!

https://zhuanlan.zhihu.com/p/1902806926141686494

agent-search

https://www.dongaigc.com/p/SciPhi-AI/agent-search

MCP server 开发半入门——"hello world"

https://zhuanlan.zhihu.com/p/1895767734287049432

model context protocol

https://github.com/modelcontextprotocol/python-sdk

MCP 协议关于tool 的几个基础问题

https://zhuanlan.zhihu.com/p/1898303391643448923

mcp-weather-sample

https://github.com/aobao32/mcp-weather-sample.git

搭建简易本地MCP服务器

https://www.imooc.com/article/379905

大模型 RAG 基础:信息检索、文本向量化及 BGE-M3 embedding 实践(2024)

https://arthurchiao.art/blog/rag-basis-bge-zh/


网站公告

今日签到

点亮在社区的每一天
去签到