Ollama 的安装
前往 Ollama 官网 https://ollama.com/，下载对应版本的安装包，默认安装路径为 C 盘。安装完成后，需要设置两个重要的环境变量：
OLLAMA_HOST：用于设置网址端口，确保后续能够正常访问和使用 Ollama 服务。
OLLAMA_MODELS：该变量用于指定后续下载的大语言模型的存储路径，方便对模型进行管理和查找。
Ollama 的测试
安装好 Ollama 后，可以通过命令行来测试其是否正常运行。例如，使用查看版本的命令，在命令行中输入相关指令，若能正确显示 Ollama 的版本信息，则说明安装成功且可以正常使用。
大语言模型的下载与使用
选择模型：进入 Ollama 官网的 model 页 https://ollama.com/models，浏览丰富的大语言模型列表，根据自己的需求选择想要下载的模型。
下载模型：使用特定的下载命令，将选中的模型下载到本地。在下载过程中，当进度达到 90% 以后，可能会出现下载速度极慢的情况。此时，无需长时间等待，可以直接通过
CTRL+C中断下载进程，然后重新运行下载命令，Ollama 支持断点续传，重新下载时速度会明显加快。下载完成后，在之前设置的OLLAMA_MODELS路径下，就能看到已下载的模型文件，这时模型即可运行使用。
Open WebUI 服务的配置与使用
如果希望使用 Open WebUI 服务，需要借助 docker 来实现。在这个过程中，可能会遇到一些问题，以下是详细的解决办法和操作步骤：
（一）更新 WSL
如果当前的 WSL 版本不满足要求，可以前往 github 上 WSL 的下载页面（可在 https://github.com/ 搜索 “WSL” 查找最新版 msi 安装包）下载最新版本的 WSL，选择 msi 文件进行下载安装，安装完成后需要重启电脑。虽然可以使用命令wsl --update --web-download进行更新，但由于该命令可能需要读取服务器，存在失败的风险，因此直接下载安装包更为稳妥。
（二）安装 docker desktop
从 docker 官网 https://www.docker.com/ 下载 docker desktop，默认安装在 C 盘。安装完成后，在命令行中输入docker -v，若能显示 docker 的版本信息，则说明安装成功。
（三）解决端口占用问题
在执行ollama serve命令行时，可能会遇到端口被占用的提示。此时，打开任务管理器，找到所有的ollama.exe进程并将其中断，然后重新运行ollama serve命令即可。
（四）下载与配置 Open WebUI
Open WebUI 有多种版本，如普通版、适用于 Ollama 在其他机器上的版本以及支持 nvidia 加速的版本。根据 Ollama 的实际位置，选择合适的命令进行下载：
- Ollama 在本地：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- Ollama 在其他服务器：将
OLLAMA_BASE_URL修改为对应服务器的 URL：
docker run -d -p 3000:8080 -e OLLAMA\_BASE\_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- 使用 Nvidia GPU 加速：
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
若之前已经下载过 Open WebUI，可先将旧容器重命名，例如：
# 先修改旧容器名字（例如加个 -old 后缀）
docker rename open-webui open-webui-old
# 再用原名字创建新容器
docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
（五）使用 Open WebUI
完成上述配置后，打开浏览器，在地址栏输入localhost:3000，即可开始使用 Open WebUI，轻松体验大语言模型带来的强大功能。
五、查看显卡利用情况（Windows 系统）
在 Power Shell 中输入以下命令，可以实时查看显卡的使用情况：
while (\$true) { nvidia-smi; Start-Sleep -Seconds 3; Clear-Host }
该命令会每隔 3 秒刷新一次显卡状态信息，方便用户监控显卡的负载和运行情况。