前言:技术简介
亲爱的家人们,创作很不容易,若对您有帮助的话,请点赞收藏加关注哦,您的关注是我持续创作的动力,谢谢大家!有问题请私信或联系邮箱:fn_kobe@163.com
①Ollama
定位:一个本地部署大语言模型(LLM)和相关工具的平台。
功能:帮助用户在本地环境中运行、测试和管理 AI 模型,而无需依赖云服务。
优势:数据本地化、隐私性较高,并能定制化部署。
②Deepseekr1
定位:国产AI大模型,干翻美股的AI新势力。
功能:侧重于深度搜索、数据分析或智能检索功能。
优势:通过深度学习技术,实现高效的信息搜索与分析)。
③OpenWebUI
定位:一个开源的网络用户界面,用于管理和交互操作。
功能:提供直观的网页界面,让用户可以通过浏览器对模型、工具或系统进行配置、监控和操作。
优势:界面友好、易于上手,降低了使用门槛和运维复杂度。
④Hyper-V
定位:微软提供的虚拟化平台。
功能:允许用户在单一物理服务器上创建和管理多个虚拟机。
优势:资源隔离、提高利用率、支持测试环境和生产环境的分离,为运行像 Ollama 这样需要特定环境支持的工具提供安全、稳定的虚拟平台。
⑤总体来说:
集成应用:将 Ollama 平台及其内部模型(例如 Deepseekr1)通过 OpenWebUI 提供友好的操作界面进行管理和使用;同时,通过 Hyper-V 构建虚拟化环境,为这些工具的部署、测试和生产运行提供稳定且隔离的基础设施支持。
适用场景:适合需要在本地部署、管理大语言模型和深度数据检索工具的场景,同时又希望借助虚拟化技术保障系统稳定性和安全性的用户。
一、笔者电脑配置
笔者电脑配置如下:
①OS:Win11
②内存:64G
③磁盘:1.5T
④CPU:14核 20线程
⑤GPU:RTX3060
ps:内存尽量在16G以上
二、安装Ollama
2.1、下载Ollama安装包
①登录Ollama官网下载Ollama安装包,选择相应操作系统,建议另存安装C盘以外地方
2.2、安装Ollama
①Windows下安装Ollama简单,双击.exe运行安装
②打开win+r终端,输入cmd,命令行输入ollama,若出现下图所示则安装成功
2.3、配置Ollama模型路径(超级重要)
2.3.1、模型路径原配置
因为windows 的安装默认不支持修改程序安装目录,
①默认安装后的目录:C:\Users\username\AppData\Local\Programs\Ollama
②默认安装的模型目录:C:\Users\username\ .ollama
③默认的配置文件目录:C:\Users\username\AppData\Local\Ollama
2.3.2、更改模型路径原配置
由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中,避免C盘容量紧张,需要配置环境变量OLLAMA_MODELS,设置为指定的路径,如F:\LLM\ollama
①窗口搜索环境变量并打开
②依次执行并添加系统环境变量:变量名:OLLAMA_MODELS 变量值:F:\LLM\ollama(添加自己电脑的文件目录即可),最后一定要依次点击确定
2.4、下载deepseek R1模型
2.4.1、deepseek模型选择
①进入ollama官网,根据一下步骤
2.4.2、部署deepseek R1模型:7B
温馨提示:模型的参数大小根据自己电脑的配置选择,部署的本地模型越大,使用的深度求索效果就越好。相应的配置表如下:
①win + r打开终端,输入cmd,输入ollama run deepseek-r1:7b,安装过程比较漫长,约20分钟左右,成功会有如下提示:
2.4.3、模型问答测试
至此:deepseek R1:7B本地部署已完成
①由于终端问答测试不美观,需要安装OpenWebUI在Web端测试
三、安装OpenWebUI
3.1、安装Docker
3.1.1、下载Docker
3.1.2、启动微软Hyper-V
①依次操作:控制面板→查看方式-→程序→启用或关闭Windows功能→勾选Hyper-V→重启电脑后安装成功
注意事项:
①若没有Hyper-V选项,使用如下命令安装
pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hv.txt
for /f %%i in ('findstr /i . hv.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hv.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V -All /LimitAccess /ALL
Pause
②将上述命令复制到Hyper-V.bat批处理文件中,然后以管理员身份运行,并重启电脑
3.1.3、安装Docker
①将3.1.1步骤中下载的.exe文件双击执行
②打开并测试Docker,一般用命令行操作
3.1.4、Docker切换国内镜像源
①操作如下:设置→Docker Engine→复制添加→Apply&restart
{
"registry-mirrors": [
"https://82m9ar63.mirror.aliyuncs.com",
"http://hub-mirror.c.163.com",
"https://docker.mirrors.ustc.edu.cn"
],
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false,
"features": {
"buildkit": true
}
}
3.2、安装OpenWebUI
安装地址
①进入github地址,下拉找到如图命令
②win+r后,cmd打开终端,输入命令:docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
ps:安装比较漫长,请耐心等待
3.3、Web访问测试
①访问地址:http://localhost:3000/。 前提是终端后台启动Docker DeskTop和deepseek R1:7B,启动方式如下:
deepseek-r1:7b:win+r后,输入cmd,再输入命令:ollama run deepseek-r1:7b
Docker DeskTop:双击快捷方式启动即可
②提问测试
四、总结与感谢
①利用Hyper-V创建虚拟化环境,通过Ollama高效管理和部署deepseek R1大语言模型,并结合OpenWebUI提供直观的交互界面,这些技术的结合能够实现高效、灵活的自然语言处理应用开发与测试,适用于多种场景的智能化解决方案。
②以上内容和步骤亲测有效,若有问题请私信我,创作不易,亲爱的家人们多多支持哦!