AIOps 与大模型知识指南
AIOps 的实现离不开现在大模型的大力发展，所以要做 AIOps 相关的业务，就需要了解并使用大模型相关知识。本次内容将从以下6个章节介绍大模型相关的知识：
- Prompt Engineering
- Chat Completions、Memory、JSON Mode
- Function Calling
- Fine-tuning
- 检索增强生成（RAG、Graph RAG）
- 本地部署常见的开源模型
Prompt Engineering
Prompt简介
Prompt Engineering 是指通过设计、优化输入给 AI 模型的“提示词”（Prompt），来引导模型生成更准确、有用或创意性输出的技术。它是一门结合语言理解、任务建模与人机交互的艺术与科学。
尽管现在的大模型具备强大的自然语言理解和生成能力，但它的行为高度依赖输入的提示词（Prompt），所以 Prompt 决定着大模型的输出质量。
当用户输入 Prompt，大模型接受到的其实是一个个 Token，这是为什么呢？在大模型中，Token 是模型处理文本的基本单位，人类是通过文本来理解内容，而大模型是通过 Token 来理解内容。它可以是一个单词、标点符号、数字，甚至是一个子词（subword）。不同模型对 Token 的划分方式略有不同，但总体上可以理解为：把一段文字切分成一小块一小块的“单元”就是 Token 。
比如，当用户输入 "Hello, world!"，会被拆分为以下几个 Token（以 GPT 模型为例）：“Hello”、“,”、" world"、“!”，所以一共是 4 个 token。当大模型接收 Token 后，会根据这些 Token 进行推理生成新的 Token，最后再把这些 Token 转换成人类可读的文本输出。
Tips：
每个模型都有最大上下文长度限制（比如 GPT-3.5 是 4096 tokens，GPT-4 可达 32768 tokens），包括你的 Prompt + 输出内容都不能超过这个限制。另外，目前商用大模型的Token免费额度都有限，如果设计的Prompt不合理，就会产生额外的费用，我们可以看看Prompt中的哪些内容对Token的数量有实质的影响。
| 类型 | 影响程度 | 说明 |
|---|---|---|
| 文字长度 | ⬆️ 高 | 内容越长，Token 越多 |
| 标点符号 | ⬆️ 中 | 逗号、句号、引号等都会单独算作Token |
| 专业术语/生僻词 | ⬆️ 中 | 某些模型可能将其拆成多个Token |
| 语言种类 | ⬆️ 中 | 英语通常比中文Token更少 |
| 编程语言 | ⬆️ 高 | 特殊符号多，Token数量上升快 |
所以，我们在设计Prompt的时候要记住 并非输入的越多，回答的就越好 。要记住设计 Prompt 的几个核心原则：
- 具体描述，避免模糊：不说 “不要遗漏重点”，而是明确 “请突出 XX、XX 两个关键信息”；
- 排序重要事项：如果有多个需求，按优先级说明，比如 “首先分析日志错误，其次统计出现频率，最后给出解决方案”；
- 使用标准格式：比如用 Markdown 的标题、列表等结构，让模型输出更规整，例如 “请用 ### 问题原因、### 解决步骤的格式整理结果”；
- 拆解任务，给出思路：复杂问题分步骤引导，比如 “先分析错误类型，再匹配历史案例，最后生成修复建议”。
Prompt的开发模式：Zero-shot 和 Few-shot
日常工作中，常用的Prompt编写模式是 Zero-shot 和 Few-shot。
- Zero-shot 模式是纯自然的描述任务，不提供具体的例子，比如仅说明识别用户意图可能涉及查询日志、指标或运维操作。
- Few-shot 模式在自然语言任务描述之外，提供参考例子，如给出三个示例，以增强大模型的推理准确性。
由于 Few-shot 模式会给大模型提供例子，这能使大模型回答的更加精准， 所以在日常使用中，我们优先采用 Few-shot 模式。但是，对于处理逻辑性比较强的任务时，单纯 Few-shot 不太够用，这时候就要引入 思维链（Chain of Thought）。
Chain of Thought
思维链是一种技巧，旨在让大模型在给出答案前进行逐步思考，并在每一步提供解释，以增强答案的解释性和提高推理的准确性。
一个典型的 CoT Prompt 包括以下几个部分：
- 问题描述
- 明确要求分步思考
- 示例演示（可选）
- 最终要求输出答案
示例Prompt：
问题：小明有 5 个苹果，吃了 2 个，又买了 3 个。他现在有多少个苹果？
请一步步思考这个问题，并写出你的推理过程，最后给出答案。
大模型可能的回答是：
- 小明最开始