在服务器上搭配大模型的运行环境详细版（docker+ollama+langchain等工具）

用到的工具

1.anaconda3环境安装

anaconda3导出环境

#导出环境
conda env export --name your_env_name > custom_environment.yaml
#导入环境
conda env create -f environment.yaml

2.前置的docker软件安装、docker镜像如何进行转移

sudo apt-get update
#时期能访问阿里云
sudo apt install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
# 确认docker未被篡改
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo apt-get update
sudo apt install docker-ce
在测试或开发环境中 Docker 官方为了简化安装流程，提供了一套便捷的安装脚本，Ubuntu 系统上可以使用这套脚本安装，另外可以通过 --mirror 选项使用国内源进行安装：
curl -fsSL get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun

添加用户

#将当前用户加入用户组
sudo gpasswd -a $USER docker
修改并保存完成后，重新加载守护并重启socket即可

sudo systemctl daemon-reload
sudo systemctl restart docker.socket

安装ollama命令
此为cpu版本
docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
gpu版本
docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

#docker装pgvector
docker run --name pgvector --restart=always -e POSTGRES_USER=pgvector -e POSTGRES_PASSWORD=pgvector -v /srv/tlw/pgvectordata:/var/lib/postgresql/data -p 54333:5432 -d pgvector/pgvector:pg16
#docker装openwebui
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

#docker装openwebui与ollama捆绑的
gpu版本
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama 


#以export import方式
docker export 容器名字 > container.tar
cat container.tar | docker import - <新容器名称>

#save load方式
docker save -o my-open-webui-image.tar my-open-webui-image
docker load -i my-open-webui-image.tar
这会将my-open-webui-image.tar文件中的镜像加载到Docker中，之后你就可以像使用任何其他本地镜像一样使用它了
docker run -it -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v /path/on/target/machine/open-webui:/app/backend/data \
  --name new_open_webui \
  my-open-webui-image
  
 请确保替换/path/on/target/machine/open-webui为目标电脑上的实际路径。

通过以上步骤，你就能成功地将一个Docker容器转换为镜像，并将其转移到另一台电脑上使用了

3.gpu环境配置

删除已安装的cuda环境

sudo apt-get --purge remove nvidia*

sudo apt autoremove

To remove CUDA Toolkit:

$ sudo apt-get --purge remove "*cublas*" "cuda*"

To remove NVIDIA Drivers:

$ sudo apt-get --purge remove "*nvidia*"

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
这些命令有的需要关机之后才生效！！！
sudo apt-get update  # 更新源
sudo apt-get install -y nvidia-container-toolkit 这个工具也是需要安装的
此为gpu安装工具包
sudo apt-get install dkms
安装nvidia-smi
ubuntu-drivers devices # 查看推荐安装的driver
sudo apt install nvidia-driver-545-open # 进行安装之后需要重启计算机
输入nvidia-smi命令查看可安装版本
安装对应的版本
sudo dkms install -m nvidia -v 450.57

4.pycharm配置

5.langchain环境搭配

langchain使用的技术有Agent、memory、分词器、pgvector

直接pip安装，后面缺什么按需要装什么就行了

在后台一直运行该项目

nohup streamlit run app.py > streamrun.log 2>&1 &

6.网络方面

1.网络方面

查看防火墙

ufw status

添加端口开启

sudo ufw allow 22

iptables -nvL

添加用户

sudo useradd -r -m -s /bin/bash munan
sudo passwd 。。。 #设置密码
切换用户
su 。。。

2.unsloth（对大模型进行微调的框架）

官方地址：unslothai/unsloth: Finetune Llama 3, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memory (github.com)

unsloth如何使用

unsloth之后将模型保存，保存完之后需要进行量化操作

make clean && make all -j

python convert-hf-to-gguf.py /home/munan/fine_tune/lora_quantity_models/lama3-instruct/model
#后面跟的是模型保存得路径，先将其转换为gguf格式
./quantize /home/munan/fine_tune/lora_quantity_models/lama3-instruct/model/ggml-model-f16.gguf /home/munan/fine_tune/lora_quantity_models/lama3-instruct/quantity/ggml-model-q4_0.gguf q4_0
#该命令是对模型进行量化，后面得q4_0为进行4位量化

量化完成之后将其导入到ollama

在ollama里面还需要Modelfile文件，防止模型进行胡言乱语。

# 导入ollama
docker exec -it ollama-gpu /bin/bash -c "ollama create travel_llama3 -f /home/{your_path}/quantity/Modelfile.txt"
#创建模型
docker exec -it ollama-gpu /bin/bash -c 'ollama rm travel_llama3'
#将modelfile.txt复制一份到其他地方
#以交互式方式进入容器
docker exec -it ollama-gpu bash
# 将modelfile.txt移动到容器内
docker cp /home/munan/fine_tune/lora_quantity_models/{your_path}/quantity/ ollama-gpu:/home/{your_path}/quantity/

3.phidata（大模型开发所要使用的框架）其中前端页面使用了streamlit框架

其中包含了可以加入Memory+Knowledge+Tools

官方地址：phidatahq/phidata: Build AI Assistants with memory, knowledge and tools. (github.com)

4.openwebui（大模型开发所要使用的框架）

实际体验中感觉openwebui比phidata好用。

官方地址：open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI) (github.com)

安装nodejs

运行将为 Node.js 20 包配置 APT 存储库的脚本。
sudo apt update && sudo apt install -y nodejs

5.opencompass（对大模型进行评测的框架）

官方地址：open-compass/opencompass: OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100+ datasets. (github.com)

看官方文档