实验环境
- Raspberry Pi4 8G
- Raspiois_arm64
- llama.cpp
- qwen2-0_5b-instruct-q5_k_m.gguf
- modelscope
- openai
前言
这几年人工智能很火，事实上，以1956年达特茅斯会议为节点开始，到现在人工智能经历了三次主要的浪潮，现在正是第三次浪潮。杰弗里·埃弗里斯特·辛顿（Geoffrey Everest Hinton）在2006年发表的一篇论文《A fast learning algorithm for deep belief nets》，标志着机器学习里的一个重要分支深度学习的出现，深度学习简单来说就是借鉴人脑的神经网络，搭建一个神经网络模型，具有输入层、隐藏层和一个输出层，让模型去学习人类输入进去的数据，得到经验。
而真正引爆第三次人工智能浪潮的是2012年由辛顿（Hinton）和他的学生伊利亚・苏茨克沃（Ilya Sutskever）以及亚历克斯・克里切夫斯基（Alex Krizhevsky）设计出的AlexNet深度神经网络，第一次使用了nvidia的显卡进行矩阵的并行计算，表现出了GPU在深度神经网络训练上表现出的惊人能力。由此大家似乎看到了我们一直想要实现的可以自主学习的人工智能有了实现的可能。时至今日，在人工智能（Artificial Intelligence）这个领域已经产出了诸多的路线和理论。
近两年比较火的便是LLM大语言模型，其属于NLP自然语言处理这个子领域，2017年由Google的研究人员发表了一篇论文，提出了一种名叫Transformer的序列建模神经网络架构，后续基于transformer的相关研究，则催生了两个最著名的Transformer模型类别：生成预训练Transformer——GPT和基于Transformer的双向编码器表示——BERT。后来在2022年年底由Openai发布的ChatGPT则引发了人们惊叹生成式AI的不可思议，到今天已经一年半过去，在这段时间里催生了诸多新的研究，可以乐观的想，是时候了，就趁现在。
随着大模型不断的变小，人们希望大模型能够就在自己的手机里运行。下面我将演示在树莓派搭建一个qwen2 0.5b的模型推理服务，可以像调用OpenAI的服务一样使用。
环境准备
1.安装python库
2.下载qwen2模型
由于huggingface在国内访问比较麻烦，可以考虑在modelscope上下载，这是由阿里云搭建的跟huggingface一样的平台。
也可以使用modelscope来下载
3.下载llama.cpp
3.1下载代码仓库
git clone https://github.com/ggerganov/llama.cpp
3.2 编译
这里的编译是CPU编译，对于有CUDA等GPU推理的环境可以针对相应的硬件进行编译。
也可以使用cmake编译
使用make编译后的文件就在当前目录下，使用cmake编译后的文件在build/bin目录下
编译成功后可看见
使用
1.使用llama.cpp实现模型推理对话
此处使用cmake编译，需要进入build/bin目录，如果使用make编译，注意相对路径的问题
2.使用llama.cpp实现模型推理服务
./llama-server -m /home/pi/qwen2-0_5b-instruct-q5_k_m.gguf -n 1024 --host 0.0.0.0 --
port 8000
3.使用openai调用推理服务
如何学习大模型
现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。
作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上 AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享 出来，需要的小伙伴可以扫取。
一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。
二、AI大模型视频教程
三、AI大模型各大学习书籍
四、AI大模型各大场景实战案例
五、结束语
学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。
再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。
因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。