LM Studio
LM Studio是一款支持离线大模型部署的推理服务框架,提供了易用的大模型部署web框架,支持Linux、Mac、Windows等平台,并提供了OpenAI兼容的SDK接口,主要使用LLama.cpp和MLX推理后端,在Mac上部署时选择MLX推理后端会显著提升大模型的生成速度。
环境信息
- 机器信息:Mac studio M2 192G, MacOS
- 部署模型:部署DeepSeek-R1-Distill-LLama-70B 8bit / DeepSeek-R1-Distill-Qwen-32B 8bit 模型
- 部署框架:LM Studio 0.3.13
安装
- LM Studio官网下载安装文件,正常安装即可。
模型下载
通过命令行或者web界面进行大模型下载时,默认走huggingface.co,国内需要特殊设置才能访问,因此推荐换掉该源使用modelscope或者hf-mirror进行下载。
- 下载源更换:
- 命令行进入目录:/Applications/LM Studio.app/Contents/Resources/app/.webpack,执行
open .
,会以文件形式弹出该目录 - 文本编辑器分别打开文件:main/index.js和rederer/main_window.js,选择用 modelscope.cn 或者 hf-mirror.com 替换掉 huggingface.co,全部替换,保存关闭
- 重启LM Studio即可。
- 命令行进入目录:/Applications/LM Studio.app/Contents/Resources/app/.webpack,执行
- 大模型下载:
- 方式一:web页面下载
在web页面选择需要下载的大模型,等待完成即可,完成后在web界面l或者命令行load(lms load [模型名称]
)。 - 方式二:命令行形式下载
在命令窗口使用命令lms get [model name]
, 模型名称需要上述下载源里面存在,完成后在web界面l或者命令行load(lms load [模型名称]
)。 - 方式三:Git lfs 下载
上述两种方式,我这儿下载时经常遇到下载暂停的形象,为解决这个问题,推荐 Git 大文件下载方式(推荐Modelscope)。- 安装Git lfs、初始化git lfs,可自行deepseek问下。
- 模型下载后(Mac上通常选择mlx-community仓库中的mlx模型)将其放入目录:~/.lmstudio/models,结构是:仓库名称(可自定义)->包含文件权重的文件夹(文件夹名称可自定义)
- 最后在web界面l或者命令行load(
lms load [模型名称]
)。 - 注意:也可通过lms imort命令去导入,但是文件夹下只能含有一个文件,而safetensors文件基本是多个,所以不是很推荐
- 方式一:web页面下载
模型服务
- 模型load完成后,可在web页面聊天,lm studio自带web聊天界面
- 模型load完成后,可使用OpenAI SDK接口调用,若提供给局域网其他使用,需开启local server模型并开启局域网访问,可在web界面操作