DeepSeek-R1模型现已登录亚马逊云科技

发布于:2025-04-05 ⋅ 阅读:(20) ⋅ 点赞:(0)

在今年的Amazon re:Invent大会上,亚马逊CEO安迪·贾西分享了公司内部开发近 1,000 个生成式 AI应用程序的经验教训。基于如此大规模的AI部署实践,贾西提出了三个关键观察,这些观察塑造了亚马逊在企业AI实施方面的方法。

第一点是,当生成式AI应用程序达到一定规模时,计算成本确实很重要。人们非常渴望更高的性价比。第二点是,构建一个真正优秀的生成式AI应用程序实际上非常困难。第三点是,当我们让开发者自由选择他们想做的事情时,所使用的模型呈现出多样性。这并不让我们感到惊讶,因为我们一次又一次地吸取同样的教训——永远不会有“一个工具统治世界”的情况。

正如安迪所强调的,亚马逊提供的广泛而深入的模型系列,使客户能够选择最适合其独特需求的精确能力。通过密切关注客户需求和技术进步,亚马逊云科技持续扩展我们精选的模型库,在纳入成熟的行业热门模型的同时,也加入有前景的新模型。这种高性能和差异化模型产品的持续扩展,帮助客户始终站在AI创新的前沿。

这就不得不提到中国AI初创公司DeepSeek。DeepSeek于2024年12月推出DeepSeek-V3,随后在2025年1月20日发布了包含6710亿参数的DeepSeek-R1、DeepSeek-R1-Zero,以及参数规模从15亿到700亿不等的DeepSeek-R1-Distill系列模型。2025年1月27日,他们又新增了基于视觉的Janus-Pro-7B模型。这些模型均已公开可用,据称比同类模型节省90-95%的成本,具有显著的价格优势。深度求索表示,其模型凭借强化学习等创新训练技术,在推理能力方面表现尤为突出。

今日起,你可以通过Amazon Bedrock和Amazon SageMaker AI在亚马逊云科技中部署 DeepSeek-R1模型。Amazon Bedrock 最适合希望通过API快速集成预训练基础模型的团队,而Amazon SageMaker AI则适合需要高级定制、训练和部署,并能访问底层基础设施的组织。此外,你还可以通过Amazon Trainium和Amazon Inferentia,借助 Amazon Elastic Compute Cloud或Amazon SageMaker AI经济高效地部署 DeepSeek-R1-Distill模型。

借助亚马逊云科技,你可以使用DeepSeek-R1模型构建、试验并负责任地扩展生成式AI创意,这款强大且高性价比的模型仅需最低限度的基础设施投入。你还可以基于专为安全设计的亚马逊云科技服务,充满信心地推动生成式AI创新。我们强烈建议将在Amazon Bedrock Guardrails部署DeepSeek-R1模型,为你的生成式AI应用添加保护层。

你可以选择以下几种方式在亚马逊云科技上部署DeepSeek-R1模型:通过Amazo Bedrock Marketplace获取DeepSeek-R1模型、通过Amazon SageMaker JumpStart获取DeepSeek-R1模型、通过Amazon Bedrock Custom Model Import导入DeepSeek-R1-Distill模型、通过Amazon EC2 Trn1实例运行DeepSeek-R1-Distill模型。

无论你是构建首个AI应用程序,还是扩展现有解决方案,搜能找到适合你专业水平和需求的方式。

使用Amazon Bedrock Marketplace中的DeepSeek-R1

Amazon Bedrock Marketplace 不仅提供当前行业领先的模型,还汇集了100多个热门、新兴和专业的 FM。你可以在统一的模型目录中轻松发现所需模型,订阅后即可将其部署至托管终端节点。

要在Amazon Bedrock Marketplace中使用DeepSeek-R1模型,请访问Amazon Bedrock控制台,在"基础模型"部分选择"模型目录"。你可以通过搜索或按模型供应商筛选快速找到DeepSeek模型。

 

在查看包含模型功能和实施指南的详情页面后,你只需提供终端节点名称、选择实例数量并指定实例类型,即可直接部署该模型。

 

你还可以配置高级选项,自定义 DeepSeek-R1 模型的安全性和基础设施设置,包括 VPC 网络、服务角色权限和加密设置。对于生产部署,你应审查这些设置,以符合你组织的安全性和合规性要求。

使用 Amazon Bedrock Guardrails,你可以独立评估用户输入和模型输出。你可以通过过滤生成式 AI 应用程序中的不良和有害内容,使用你定义的政策集来控制用户与 DeepSeek-R1 之间的交互。Amazon Bedrock Marketplace 中的 DeepSeek-R1 模型只能与 Bedrock 的 ApplyGuardrail API 一起使用,以评估用户输入和模型响应,以适用于 Amazon Bedrock 之外的自定义和第三方 FMs。

Amazon Bedrock Guardrails 还可以与其他 Bedrock 工具集成,包括 Amazon Bedrock Agents 和 Amazon Bedrock Knowledge Bases,以构建符合负责任 AI 政策的更安全、更可靠的生成式 AI 应用程序。

你可以使用 Bedrock playground 来了解模型如何响应各种输入,并优化你的提示词以获得最佳结果。

在 Bedrock 的 playground 或 InvokeModel API 中使用 DeepSeek-R1 模型时,请使用 DeepSeek 的聊天模板以获得最佳效果。例如,

<|begin_of_sentence|><|User|>content for inference<|Assistant|>

 

使用Amazon SageMaker JumpStart中的DeepSeek-R1

Amazon SageMaker JumpStart 是一个机器学习中心,提供基础模型、内置算法和预构建的ML解决方案,你只需点击几下即可部署。要在SageMaker JumpStart中部署DeepSeek-R1,你可以在SageMaker Unified Studio、SageMaker Studio、SageMaker AI控制台中发现DeepSeek-R1模型,或通过SageMaker Python SDK以编程方式进行操作。

在Amazon SageMaker AI控制台中,打开SageMaker Studio,选择JumpStart,并在“所有公共模型”页面搜索“DeepSeek-R1”。

你可以选择该模型并点击“部署”以使用默认设置创建一个端点。当端点状态变为 InService 时,你可以通过向其端点发送请求进行推理。

你可以利用Amazon SageMaker的AI功能来分析模型性能并控制机器学习操作。该模型部署在亚马逊云科技的安全环境中,并受你的虚拟私有云控制,有助于支持数据安全。

与Bedrock Marketplace类似,你可以在SageMaker JumpStart中使用 ApplyGuardrail API,使你的生成式AI应用程序的安全防护与DeepSeek-R1模型解耦。现在,你可以在不调用基础模型的情况下使用防护机制,这为应用程序流程的标准化和经过充分测试的企业级安全防护的集成提供了更多可能性,而不受所使用模型的限制。

使用Amazon Bedrock自定义模型导入 DeepSeek-R1-Distill

Amazon Bedrock自定义模型导入使你能够通过单一的无服务器统一API导入和使用你的自定义模型,与现有的基础模型一起运行,而无需管理底层基础设施。借助 Amazon Bedrock自定义模型导入,你可以导入DeepSeek-R1-Distill模型,范围涵盖 15 亿至 700 亿参数。蒸馏过程涉及训练更小、更高效的模型,使其模仿参数量高达 6710 亿的DeepSeek-R1大模型的行为和推理模式。

在将这些公开可用的模型存储到 Amazon Simple Storage Service存储桶或 Amazon SageMaker 模型注册表后,进入 Amazon Bedrock 控制台的基础模型下的“导入的模型” ,然后通过 Amazon Bedrock 在全托管的无服务器环境中导入并部署它们。这种无服务器方法无需管理基础设施,同时提供企业级安全性和可扩展性。

导入蒸馏模型后,你可以使用Bedrock playground来了解蒸馏模型对你的输入的响应。

 

使用Amazon Trainium和Amazon Inferentia的DeepSeek-R1-Distill

Amazon深度学习AMI提供了定制的机器镜像,你可以在各种Amazon EC2实例中用于深度学习,从小型仅支持CPU的实例到最新的高性能多GPU实例。你可以将 DeepSeek-R1-Distill模型部署在Amazon Trainium或Amazon Inferentia实例上,以获得最佳的性价比。

要开始,进入Amazon EC2控制台,启动一个trn1.32xlarge EC2实例,并使用名为Deep Learning AMI Neuron (Ubuntu 22.04) 的Neuron多框架DLAMI。

当你连接到已启动的EC2实例后,请安装vLLM并从Hugging Face下载DeepSeek-R1-Distill模型。你可以使用vLLM部署模型并调用模型服务器。

你也可以访问Hugging Face上的DeepSeek-R1-Distill模型卡片,例如DeepSeek-R1-Distill-Llama-8B或deepseek-ai/DeepSeek-R1-Distill-Llama-70B。选择"Deploy",然后选择"Amazon SageMaker"。在"Amazon Inferentia and Trainium"标签页中,复制用于部署DeepSeek-R1-Distill模型的示例代码。

亚马逊云科技还提供众多免费云产品,感兴趣的话可以访问:亚马逊云科技

写在最后

以下是需要了解的几项重要内容:

  • 计费方式:对于DeepSeek-R1等公开可用模型,通过Amazon Bedrock Marketplace、Amazon SageMaker JumpStart和Amazon EC2使用时,仅按所选推理实例时长收取基础设施费。通过Bedrock Custom Model Import使用时,仅按自定义模型的活跃副本数量收取模型推理费用。
  • 数据安全:Amazon Bedrock和Amazon SageMaker提供企业级安全功能,保障你的数据和应用程序安全私密。你的数据不会与模型提供商共享,你的数据不会用于改进模型,该安全策略适用于所有模型。


网站公告

今日签到

点亮在社区的每一天
去签到