一、简介
Llama(Large Language Model Meta AI)是 Meta(原 Facebook)开发的一系列开源大型语言模型。它的目标是提供一个高性能、可扩展的基础模型,供研究社区和开发者使用,推动人工智能领域的开放研究。
发布时间:Llama 系列模型于 2023 年 2 月首次发布。
开源性质:Llama 是开源的,但仅限于非商业用途和研究目的,需要申请访问权限。
模型规模:Llama 提供了多种规模的模型,参数量从 70 亿(7B)到 650 亿(650B)不等。
- Llama-7B:70 亿参数
- Llama-13B:130 亿参数
- Llama-30B:300 亿参数
- Llama-65B:650 亿参数
二、权重下载
2.1 方法一:Meta 官网申请下载
首先来到 Meta官网
点击 Download models
在页面中填入相关信息,并勾选想要下载的 models
注:国家、地区最好选择 US
提交后会跳转另一个界面,并有一封邮件发到你的邮箱
按照步骤简单配置一下环境
pip install llama-stack
查看有哪些模型
llama model list
会弹出如下相关可下载的模型
可能的报错:llama: command not found
可能的原因:python版本过低,查看自己python版本是否低于3.10。若是,则重新安装一个python 3.10的版本
然后选择自己想要下载模型的对应的ID,替换下面命令中的MODEL_ID
llama model download --source meta --model-id MODEL_ID
此时会弹出一个让你输入 URL 链接的窗口
注意!!要将你邮件收到的那个很长的URL复制,然后粘贴到终端中。直接复制网页中的链接可能会失败。。。(听说)
如果正常,则会开始下载,下载成功就可以愉快的使用了
可能的报错:403 Forbidden
注意,模型下载在国内网络会出现“不好”的情况,需要使用“更佳”的网络来下载
尝试方法1:再申请一次,重新用新的连接(有时确实容易出现莫名的失败)
尝试方法2:使用了“更佳”的网络,但是还是失败。可能是因为当前终端没有挂载代理.
查看 http_proxy 和 https_proxy 环境变量
echo $http_proxy
echo $https_proxy
临时设置
export https_proxy=你的代理网址
取消设置
unset https_proxy
如果还是不行,可以参考官网相关issue来查看自己的解决方案
2.2 方法二:使用 hugging face 下载
待记录…