谁说NAS硬件强大无用?记一次极空间Z423部署本地大模型Ollama的详细体验

发布于:2024-06-21 ⋅ 阅读:(58) ⋅ 点赞:(0)

谁说NAS硬件强大无用?记一次极空间Z423部署本地大模型Ollama的详细体验

哈喽小伙伴们好,我是Stark-C~

我记得之前我分享了一次在我的华硕AS6704T NAS上玩本地大模型Ollama的时候虽说部署成功,但是因为NAS的性能毕竟有限,最后的体验可以说是非常的难受,最主要的是NAS跑起来也是非常的吃力,处理器几乎一直满载运行,温度也是迅速飙升,大有爆炸之势...

Snipaste_2024-06-15_15-25-44

🔺如是我看到了桌前的极空间Z423旗舰版,搭载了AMD 锐龙7 5825U处理器,8核16线程,最高频率可达4.5Ghz;内置AMD Radeon Graphics(VEGA 7)核显,2.0GHz核显主频,8个执行单元,且还标配了32GB的内存,整体配置都达到了性能主机的标准,可以说是目前家用旗舰NAS的天花板。

然后我在想,如果在极空间Z423旗舰版跑Ollama大模型,效果是不是会好一些呢(换句话说,炸起来的样子会不会更帅些?)。

反正都是折腾,先盘起来再说!

部署

和之前的部署方案一样,咱们此次部署也是需要两个项目的支持:

  • Ollama:这个就不用说了,Ollama大型语言模型的主程序,专门用于部署和本地运行开源大型语言模型,比如今天要说的Llama 3模型。

  • Open WebUI:这个是一个开源的 Web 用户界面工具,为用户提供了友好的可视化界面来与 Ollama 平台进行对接和交互。

Snipaste_2024-06-15_15-52-59

🔺不过相比上次华硕NAS部署还需要两个Docker容器相比,此次我们就只需要一个Docker容器即可。因为官方推出了一个Open WebUI捆绑Ollama的镜像文件,部署起来就更简单了!

Snipaste_2024-06-15_14-40-25

🔺根据Docker Run命令,咱们需要提前建立两个数据存储的持久化映射目录,所以我们在极空间的Docker目录里分别新建两个文件夹:【ollama】【open-webui】

Snipaste_2024-06-15_14-39-08

🔺然后打开极空间Docker管理器的镜像仓库,自定义拉取镜像“ghcr.io/open-webui/open-webui:ollama”。

Snipaste_2024-06-15_14-39-45

🔺因为是两个镜像合并,所以总容量有些大,咱们可能需要多等待一点时间。

PS:别问我为什么镜像拉取不受影响,我只能说“网是折腾的基础,有网走遍天下”。

Snipaste_2024-06-15_14-43-35

🔺等待镜像下载完毕双击镜像开始部署容器。

Snipaste_2024-06-15_14-44-25

🔺显示“基本设置”这里,因为跑Ollama大模型还是非常占用资源的,所以我们这里需要取消勾选“启用性能限制”,同时前面在介绍Z423的配置我说过,它搭载的AMD 锐龙7 5825U处理器以及核显性能都不错,而Ollama大模型恰好也支持CPU与GPU两种运行模式,所以我们这里可以勾选“调用核心显卡”看看它的表现如何(稍后我也会不勾选看看有什么区别~)。

Snipaste_2024-06-15_14-45-25

🔺文件路径就按我们前面新建的两个文件夹,添加以下两个映射:

  • open-webui:/app/backend/data

  • ollama:/root/.ollama

Snipaste_2024-06-15_21-15-39

🔺最后是“端口”,本地端口设置任意没被占用的即可。其它的就没什么好更改的了,直接点“应用”完成容器部署。

Snipaste_2024-06-15_14-46-46

🔺回到极空间Docker管理器的容器列表等待容器启动,需要等待大概10秒钟的样子,当看到容器前面显示“正常”,就说明可以使用了。

体验

Snipaste_2024-06-15_14-47-24

🔺部署成功后我们就可以打开Open WebUI容器的WEB页面,也就是浏览器【http:// NAS的局域网IP:端口号】 。首次进入需要点击“Sign up”注册一个账号。

Snipaste_2024-06-15_14-47-51

🔺注册很简单,就随意设置名称、邮箱、密码三项即可。

Snipaste_2024-06-15_14-48-47

🔺进入Open WebUI后台它默认还是英文主页面,好在它是原生支持中文的,点击右上角的“设置”。

Snipaste_2024-06-15_14-49-25

🔺根据上图提示设置成简体中文并保存。

Snipaste_2024-06-15_15-01-17

🔺接着添加Llama 3大语言模型,也是在“设置”页面,选择“模型”。它会提示让你拉取一个模型,但前提是我们需要知道模型的名称。如果你不清楚可以点它给出的提示“点击这里”。

Snipaste_2024-06-15_15-01-41

🔺然后会重新打开另一个新的页面,第一个便是Llama 3。

Snipaste_2024-06-15_15-02-09

🔺进入Llama 3页面会有版本选择,以及对应的模型容量大小。我选择了容量相对小一点的“8b”,然后它对应的名称就是上图方框所示的“llama 3:8b”,我们将这个名称复制下来。

Snipaste_2024-06-15_15-02-36

🔺粘贴到Open WebUI“设置”页面的模型这里,点“下载”图标。

Snipaste_2024-06-15_15-03-13

🔺它就会将模型下载到本地了,并且在下方会有一个下载的进度条显示。因为llama 3:8b模型较大,所以下载的时候可能会比较长,咱们耐心等待便是。我这里不知道是不是个例,中途页面假死了两次,我是刷新进又重新拉取,好在它支持续传,并没有耽误之前的下载。

Snipaste_2024-06-15_15-22-57

🔺下载成功之后会弹出提示。

Snipaste_2024-06-15_15-23-56

🔺然后回到Open WebUI主页,在顶部位置选中我们下载好的llama 3:8b模型就可以直接使用了。

Snipaste_2024-06-15_15-29-01

🔺我尝试问了两个问题,等待了差不多10秒钟它便开始出答案,并且出答案的速度差不多每秒5--8个字,虽说谈不上快,但是已经属于能接受的那种水平,比之前一个字一个字的蹦出了强多了。

Snipaste_2024-06-15_15-26-35

🔺我在它回答问题的时候打开极空间的设备监控,可以看到当前资源确实被Ollama模型占用,不过CPU占用为48%(之前华硕NAS的N5105处理器直接99%),内存占用15%,区别还是挺大的。

Snipaste_2024-06-15_15-30-37

🔺我尝试不调用核心显卡(停止容器重新编辑)。

Snipaste_2024-06-15_15-33-55

🔺然后也是在它回答问题的时候打开极空间的设备监控,可以看到处理器占用稍微提高到55%,内存占用依然为15%,和之前的区别貌似不大(并不排除我可能并没有成功启用GPU来跑这个模型)。

最后

不得不说,极空间Z423旗舰版作为目前私有云NAS的天花板,拥有强大的硬件性能输出,带来的一些体验还是很多其它同类产品所不能匹敌的,所以说如果你对NAS有性能方面的需求,或者和我一样是个极致的折腾爱好者,那么极空间Z423旗舰版可能就是你需要的。

【极空间极空间 2023旗舰款】极空间私有云Z423 旗舰版 “8”盘位8核32G内存 万兆网络 双系统 Nas网络存储【无内置硬盘】碳晶灰【行情 报价 价格 评测】-京东

好了,以上就是今天给大家分享的内容,我是爱分享的Stark-C,如果今天的内容对你有帮助请记得收藏,顺便点点关注,我会经常给大家分享各类有意思的软件和免费干货,咱们下期再见!谢谢大家~