大模型推理:LM Studio在Mac上部署Deepseek-R1模型

发布于:2025-03-16 ⋅ 阅读:(18) ⋅ 点赞:(0)

LM Studio

LM Studio是一款支持离线大模型部署的推理服务框架,提供了易用的大模型部署web框架,支持Linux、Mac、Windows等平台,并提供了OpenAI兼容的SDK接口,主要使用LLama.cpp和MLX推理后端,在Mac上部署时选择MLX推理后端会显著提升大模型的生成速度。

环境信息

  • 机器信息:Mac studio M2 192G, MacOS
  • 部署模型:部署DeepSeek-R1-Distill-LLama-70B 8bit / DeepSeek-R1-Distill-Qwen-32B 8bit 模型
  • 部署框架:LM Studio 0.3.13

安装

模型下载

通过命令行或者web界面进行大模型下载时,默认走huggingface.co,国内需要特殊设置才能访问,因此推荐换掉该源使用modelscope或者hf-mirror进行下载。

  • 下载源更换
    • 命令行进入目录:/Applications/LM Studio.app/Contents/Resources/app/.webpack,执行open . ,会以文件形式弹出该目录
    • 文本编辑器分别打开文件:main/index.js和rederer/main_window.js,选择用 modelscope.cn 或者 hf-mirror.com 替换掉 huggingface.co,全部替换,保存关闭
    • 重启LM Studio即可。
  • 大模型下载
    • 方式一:web页面下载
      在web页面选择需要下载的大模型,等待完成即可,完成后在web界面l或者命令行load(lms load [模型名称])。
    • 方式二:命令行形式下载
      在命令窗口使用命令 lms get [model name], 模型名称需要上述下载源里面存在,完成后在web界面l或者命令行load(lms load [模型名称])。
    • 方式三:Git lfs 下载
      上述两种方式,我这儿下载时经常遇到下载暂停的形象,为解决这个问题,推荐 Git 大文件下载方式(推荐Modelscope)。
      • 安装Git lfs、初始化git lfs,可自行deepseek问下。
      • 模型下载后(Mac上通常选择mlx-community仓库中的mlx模型)将其放入目录:~/.lmstudio/models,结构是:仓库名称(可自定义)->包含文件权重的文件夹(文件夹名称可自定义)
      • 最后在web界面l或者命令行load(lms load [模型名称])。
      • 注意:也可通过lms imort命令去导入,但是文件夹下只能含有一个文件,而safetensors文件基本是多个,所以不是很推荐

模型服务

  • 模型load完成后,可在web页面聊天,lm studio自带web聊天界面
  • 模型load完成后,可使用OpenAI SDK接口调用,若提供给局域网其他使用,需开启local server模型并开启局域网访问,可在web界面操作

参考文献