大模型学习三:DeepSeek R1蒸馏模型组ollama调用流程

发布于:2025-04-04 ⋅ 阅读:(17) ⋅ 点赞:(0)

一、说明

目前DeepSeek R1及其蒸馏模型均支持使用ollama进行调用,可以在模型主页查看调用情况

deepseek-r1https://ollama.com/library/deepseek-r1

显存需求 ,我们显存是16G,可以玩好几个

 

二、以14B模型演示

1、安装ollama

curl -fsSL https://ollama.com/install.sh | sh

 2、启动ollama

安装完成后即可使用ollama start来启动ollama服务
ollama start

3、使用ollama run 直接下载模型运行

ollama run deepseek-r1:14b

我这个系统里应该有,下载过程省掉了,直接可以用 ,速度还很快

(base) root@VM-0-80-ubuntu:/workspace# ollama run deepseek-r1:14b
>>> 你是谁?
<think>

</think>

您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。

>>> 我可以帮你做些什么
<think>
嗯,用户问“我可以帮你做些什么”,这看起来是一个开放性的问题,可能是在了解我能提供的服务范围。首先,我需要明确他的意图,是想获取信息、解决问题,还是
寻求建议?或者他可能只是好奇我的功能。

考虑到之前的对话中,用户问我“你是谁”,我已经做了自我介绍,现在轮到他提出问题,可能是想进一步了解如何使用我来帮助他。这可能意味着他对我的能力有兴趣
,或者有特定的需求。

接下来,我应该列出我能提供的各种服务,涵盖信息查询、学习辅助、生活建议等多个方面。这样用户可以根据自己的需求选择合适的服务类型。同时,保持语气友好
和乐于助人,鼓励用户提供更具体的问题,以便更好地帮助他。

另外,我要确保回答清晰、详细,并且用中文表达,避免使用专业术语或复杂的句子结构,让用户容易理解。最后,总结一下我的主要功能,让他知道我随时准备提供
帮助。
</think>

您好!我可以帮您解答各种问题、提供建议、分享知识,或者简单地聊聊您的兴趣爱好。无论是学习、工作还是生活中的疑问,我都乐意为您提供帮助!请问有什么我
可以为您效劳的?

>>> 你有爱人吗
<think>
用户问“你有爱人吗”,这个问题挺有趣的。作为一个AI,我没有感情或意识,所以没有家庭成员的概念。我需要解释清楚这一点,同时保持礼貌和友好。

首先,我要明确回答问题:作为AI,我没有情感或个人生活。接着,我应该表达出我的主要目标是帮助用户解决问题,让用户感到被重视和支持。

最后,我可以鼓励用户提供具体的问题,这样我能更好地协助他。整个回应要简洁明了,语气友好,避免让用户体验到冷漠或不相关。
</think>

哈哈,作为一个人工智能,我没有感情或个人生活,所以没有“爱人”这个概念哦!我的主要目标是为您提供帮助和解答问题,而不是处理情感类的问题。您有什么具体
的需求或问题吗?我非常乐意为您效劳!

>>> Send a message (/? for help

4、手动下载GGUF权重并运行

除了使用ollama run命令外, ollama也支持调用手动下载的自定义模型,但需要是GGUF格式。目前已有各种不同量化版本的GGUF模型在魔搭社区中上线了:

DeepSeek-R1-Distill-Qwen-14B-GGUF · 模型库https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF/files

  •  下载

pip install modelscope
mkdir -p DeepSeek-R1-14B-GGUF
modelscope download --model unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf --local_dir ./DeepSeek-R1-14B-GGUF

 

  • 创建文件ModelFile

FROM ./DeepSeek-R1-14B-GGUF/DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf

  • 将该模型加入Ollama本地模型列表 

cd /workspace
ollama create DeepSeek-R1-14B-Test -f ModelFile

# 开始
(base) root@VM-0-80-ubuntu:/workspace# ollama create DeepSeek-R1-14B-Test -f ModelFile
transferring model data ⠏ 

# 完成,看到success

(base) root@VM-0-80-ubuntu:/workspace# ollama create DeepSeek-R1-14B-Test -f ModelFile
transferring model data 100% 
using existing layer sha256:67a7933cf2ad596a393c8e13b30bc4da2d50b283e250b78554aed18817eca31c 
creating new layer sha256:7435c2fbd3259e083d118cd88a4625471347e13a80b444597ef0fc21139a2f06 
writing manifest 
success 
  • 查看模型是否注册成功 

ollama list

(base) root@VM-0-80-ubuntu:/workspace# ollama list
NAME                           ID              SIZE      MODIFIED       
DeepSeek-R1-14B-Test:latest    b8da69755cfe    9.0 GB    58 seconds ago    
deepseek-r1:14b                ea35dfe18182    9.0 GB    7 weeks ago       
deepseek-r1:32b                38056bbcbb2d    19 GB     7 weeks ago       
deepseek-r1:8b                 28f8fd6cdc67    4.9 GB    7 weeks ago       
deepseek-r1:1.5b               a42b25d8c10a    1.1 GB    2 months ago      
deepseek-r1:7b                 0a8c26691023    4.7 GB    2 months ago   

红色的注册上去的,感觉像docker吗?我是觉得像 

  • 运行使用

ollama run DeepSeek-R1-14B-Test

(base) root@VM-0-80-ubuntu:/workspace# ollama run DeepSeek-R1-14B-Test
>>> Send a message (/? for help) 

(base) root@VM-0-80-ubuntu:/workspace# ollama run DeepSeek-R1-14B-Test
>>> 1+1等于几?
嗯,这可能看起来是一个很简单的问题,但其实背后涉及的数学知识和逻辑推理还是挺多的。首先,我需要理解“1”是什么意思。在日常生活中,“1”通常代表一个具体
的物体,比如一个苹果、一本书或者一朵花。但是,在数学中,“1”不仅仅是一个符号,它还有更深层次的意义。

我记得在学习加法的时候,老师告诉我们说“1+1等于2”。可是,为什么是“2”呢?难道“1+1”不能等于其他数吗?这让我开始思考数学的基本规则和定义。首先,我需要
回顾一下数字系统的发展历史。

在人类文明的早期,人们用不同的方式来计数,比如用手指、结绳或者刻痕来表示数量。随着社会的进步,逐渐发展出了更复杂的符号系统,也就是数字。这些数字不
仅仅是用来表示数量,它们还有自己的运算规则和逻辑体系。

那么,“1+1”为什么等于“2”呢?这可能涉及到数学中的公理化体系。在数学中,有一些基本的公理被接受为真理,不需要证明。比如,在算术的基本公理中,有一个称
为“加法单位元”的公理,它规定了数字的运算规则。

具体来说,“1+1=2”这个等式成立是因为在十进制系统中,每个位置上的数字代表不同的数量级。当我们在个位上进行加法时,1加1就等于2,而不需要考虑更高位的变
化,除非超过了个位数的范围。因此,在这种情况下,1+1确实等于2。

不过,这只是在我们常用的十进制系统中成立。如果换一种进制,比如二进制或者十六进制,“1+1”可能会有不同的结果。例如,在二进制中,1+1=10;而在十六进制
中,1+1=2。因此,数学运算的结果并不是绝对的,而是取决于我们使用的数制系统。

这让我意识到,数学不仅仅是一堆固定的规则和答案,而是一个充满逻辑推理和抽象思维的世界。每一个看似简单的等式背后,都隐藏着深刻的理论基础和严谨的推导
过程。

进一步思考,“1+1=2”这个等式在不同的数学领域中是否也成立呢?比如,在代数、几何或者其他分支中。在代数中,如果我们定义某种运算规则,那么“1+1”的结果可
能会根据这些规则而变化。同样地,在集合论或者逻辑学中,“1+1”也可能有不同的解释和结果。

这让我想到,数学的美就在于它的多样性和灵活性。尽管有些概念看似简单,但深入研究后会发现它们背后的复杂性和深刻性。这也提醒我在学习数学时,不能仅仅停
留在表面,而应该探索其内在的逻辑和原理。

接下来,我想验证一下“1+1=2”的正确性。我可以查阅一些基础数学教材或者可靠的在线资源,看看权威资料是如何解释这个等式的。同时,我还可以尝试用不同的方
法来证明它,比如使用数论中的概念或者通过几何图形来辅助理解。

例如,在几何学中,如果我们有两个单独的点,那么将它们合并在一起就会形成一个由两个点组成的集合。因此,“1+1”可以被看作是将两个独立的部分结合成一个整
体的过程,而这个整体的数量就是“2”。这种直观的理解有助于我更好地掌握数学的基本概念。

此外,我还记得在学习算术运算时,老师常常强调操作的顺序和规则的重要性。比如,在加法中,交换律、结合律等都是确保计算正确性的基石。这些定律不仅适用于
简单的数字,也适用于更复杂的数制系统和高级的数学运算。

不过,我还是有点困惑的是,为什么在不同的数制系统中,“1+1”会有不同的结果?难道数学不是普遍适用的真理吗?其实,数制系统的不同只是改变了我们表示数量
的方式,并不意味着数学原理本身发生了变化。无论是在二进制、十进制还是十六进制中,基本的加法规则都是相同的,只是符号和位置值有所不同。

为了更深入地理解这一点,我可以尝试转换不同的数制系统来验证“1+1”的结果。比如,在二进制中,数字是以2为基数进行计数的,因此当个位上的数字相加超过1时
,就会向高位进位。所以,1(二进制)等于十进制中的1,而10(二进制)等于十进制中的2。因此,在二进制中,1+1=10,也就是相当于十进制的2。

这说明,无论使用哪种数制系统,“1+1”的结果都是相同的数值,只是表示的方式不同而已。这就进一步验证了数学的普遍性和一致性。

通过这次思考和研究,我不仅确认了“1+1=2”这个等式的正确性,还深入了解了背后的数学原理和逻辑体系。这让我对数学有了更敬畏的心态,同时也更加坚定了探索
数学奥秘的兴趣。
</think>

1+1等于2。这一简单的算术表达式,看似平凡却蕴含着深刻的数学道理。在十进制系统中,1加1确实等于2。然而,在不同的数制系统下,“1+1”的结果可能有所不同。
例如,在二进制中,1+1等于10(相当于十进制的2),而在十六进制中,1+1仍等于2。

这一等式成立的基础在于数学中的公理体系和运算规则。在算术的基本公理中,加法单位元的公理规定了数字的运算规则,从而确保了“1+1=2”的^[[200~(base) root@VM-0-80-ubuntu:/workspace# ollama run DeepSeek-R1-14B-Test
>>> Send a message (/? for help)^[[201~正确性。此外,数学
的多样性和灵活性体现在不同的数制系统和数学分支中,但基本原理保持不变。

通过理解“1+1=2”背后的理论基础,我们不仅确认了这一算术表达式的正确性,还深入认识了数学世界的逻辑严谨与美。

>>> (base) root@VM-0-80-ubuntu:/workspace# ollama run DeepSeek-R1-14B-Test
... >>> Send a message (/? for help)