使用LLaMA-Factory微调ollama中的大模型(一)------家用电脑安装LLaMA-Factory工具

发布于:2025-05-23 ⋅ 阅读:(32) ⋅ 点赞:(0)

前提:本机已安装python,且版本大于3.9,推荐3.10

官方规定如下

我已安装

1.安装torch

查看自己电脑显卡信息

说明我没有装CUDA

使用 nvidia-smi 命令查看驱动信息

说明我NVIDIA 显卡已安装驱动,支持的 CUDA Runtime 版本为 12.6

去PyTorch 官网查一下用什么命令,官网:Previous PyTorch Versions

安装命令

pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126

发现被墙掉了,那就下载 .whl 文件后手动安装

访问这个网站:https://download.pytorch.org/whl/cu126/torch/  找到了我的,

下载完了直接扔D盘,执行命令pip install D:\torch-2.6.0+cu126-cp310-cp310-win_amd64.whl,就看到在装了,装完这个就能删掉了,如果网络环境访问官方 PyPI 很慢或不稳定(尤其在中国大陆常见),这里也会失败,可以切换到国内的镜像站

我这里安装完成了

开始验证

依次输入红框内容

这里报错没有NumPy,那就装一个

执行命令pip install numpy

安装完了继续验证

命令依次如下:

python

import torch

torch.cuda.current_device()

torch.cuda.get_device_name(0)

torch.cuda.get_device_name(0)

都没问题,那么前提的python环境已经ok了。

2.安装LLaMA-Factory

​​​去github上下载人家的项目:​​​​https://github.com/hiyouga/LLaMA-Factory

我这里是放到D盘中

cmd进到这个目录

根据官方文档,安装这两个组件,当然Extra dependencies available说明这些组件也可以安装,这里快速尝试,先不管这些了

执行命令 pip install -e ".[torch,metrics]" ,使用隔离环境,不用--no-build-isolation,防止出现问题

这里就安装完成了,验证一下,看看版本号,命令:llamafactory-cli version

3.下载模型

去魔搭社区下载个模型来试试,网址:

魔搭社区

找个小点的模型试试

有介绍怎么下载

我选择用git安装在LLaMA-Factory文件夹下面

4.运行软件

在文件夹下执行llamafactory-cli webui,就启动了

可以看到启动成功

可以看到我们的模型已经加载进来了,找到chat,点击加载模型,试着聊天,没问题就说明完成了


网站公告

今日签到

点亮在社区的每一天
去签到