LLMs基础学习（八）强化学习专题（1）

LLMs基础学习（八）强化学习专题（1）

学习资料资源

这部分是为想学习强化学习的人准备的 “知识储备库”，提供不同形式的学习素材：

• 书籍资料
  • 权威著作：2024 年图灵奖得主 Richard S. Sutton 和 Andrew G. Barto 的相关作品（如《BartoSutton.pdf》 ），是强化学习领域经典理论奠基读物，能帮读者搭建扎实理论基础。
  • 实验室资料：西湖大学智能无人系统实验室（WINDY Lab）赵世钰分享的资料（仓库地址 https://github.com/MathFoundationRL/Book-Mathematical-Foundation-of-Reinforcement-Learning ），可从数学视角深入剖析强化学习底层逻辑，适合想钻研理论深度的学习者。
• 视频资料：提到 “强化学习的数学原理” 相关视频（未给出具体链接，但可推测是从数学推导、公式逻辑角度讲解强化学习，帮学习者理解算法背后数学支撑 ）。
• 博客资料：给出博客链接 https://www.cnblogs.com/pinard/p/9385570.html ，这类技术博客通常会用更通俗、案例化的方式讲解强化学习概念、算法实践，适合辅助理解理论知识。

强化学习是什么

• 核心问题：研究智能体（agent）在复杂、不确定的环境（environment） 里，如何通过一系列交互，最大化自身能获得的奖励 。简单说，就是教智能体在多变环境中 “做对的事”，拿到最多 “好处”。
• 组成要素：由智能体（agent） 和环境（environment） 两部分构成，二者持续交互推动学习过程。
• 交互流程
  1. 智能体行动：智能体先从环境中获取当前状态（state） ，基于这个状态，输出一个动作（action） ，也叫 “决策（decision）” 。比如机器人（智能体）在房间（环境）里感知到自己在角落（状态），就会输出 “移动到中间” 的动作。
  2. 环境反馈：智能体的动作在环境中执行后，环境会给出两部分反馈：一是下一个状态（next state） （比如机器人移动后，新的位置状态）；二是当前动作带来的奖励（reward） （若移动到中间能充电，奖励就是 “获得能量” ）。
  3. 目标导向：智能体持续重复 “感知状态→输出动作→接收反馈” 循环，最终目的就是尽可能多地从环境中获取奖励 ，让自己的 “收益” 最大化。

强化学习一句话精准定义

这部分用简洁表述，把强化学习本质提炼出来：

• 英文原版：“Reinforcement learning is learning what to do – how to map situations to actions – so as to maximize a numerical reward signal.” 直接翻译是 “强化学习是学习做什么（即如何把当前情境映射成动作），从而最大化数值化的奖励信号” 。

强化学习与其他学习类型的对比

强化学习 vs 监督学习

强化学习 vs 非监督学习

三者总结对比

损失函数 对比

强化学习发展历史梳理

强化学习（Reinforcement Learning, RL）作为机器学习重要分支，核心目标是智能体通过与环境交互，学会最大化累积奖励，其发展历经多阶段，以下按时间线与关键节点拆解：

传统强化学习阶段（1950s - 2000s）

聚焦基础理论与经典方法，为后续发展奠基，包含三类核心技术：

1. 动态规划（Dynamic Programming, DP）

• 原理：用递归分解问题，计算每个状态最优价值函数（如价值迭代），或直接优化策略（如策略迭代）。
• 特点：首次将数学规划引入决策，需完整环境模型（如状态转移概率）；但计算复杂度高，仅适用于小规模问题。

2. 蒙特卡罗方法（Monte Carlo, MC）

• 原理：通过随机采样轨迹（如 “玩完一局游戏”）估计价值函数，无需环境模型。
• 特点：解决 DP 依赖模型的问题，但需完整轨迹，存在方差大、收敛慢问题；如蒙特卡罗策略迭代，靠经验平均更新策略，数据利用率低。

3. 时序差分学习（Temporal Difference, TD）

• 代表算法：Q - learning（1989）、SARSA（State - Action - Reward - State - Action，1994）。
• 原理：结合 DP（利用模型）与 MC（采样轨迹），通过单步更新（如 Q - learning 的 “当前奖励 + 未来估计”）在线学习。
• 特点：Q - learning 是 “免模型” 算法，支持在线学习；但受限于离散状态动作空间，难处理高维问题。

策略优化与深度强化学习阶段（2000s - 2010s）

引入策略梯度、深度学习，突破传统方法局限，迈向更复杂场景：

1. 策略梯度（Policy Gradient, PG）

• 原理：直接优化策略（如动作概率分布），靠梯度上升最大化期望奖励。
• 特点：适配连续动作空间（如机器人控制）；但梯度估计方差大、训练不稳定。REINFORCE 算法（1992 年 Williams 提出）是早期代表，通过整条轨迹更新策略，样本效率低。

2. A - C 方法（Actor - Critic）

• 原理：结合 “策略梯度（Actor，负责生成动作）” 与 “值函数（Critic，评估动作价值）”。
• 特点：Critic 可减少梯度方差，提升训练效率；如 A3C（Asynchronous Advantage Actor - Critic）支持并行训练，优化训练流程。

3. 深度 Q 网络（Deep Q - Network, DQN, 2013）

• 原理：用深度神经网络近似 Q 值函数，结合经验回放（存储历史数据）、固定目标网络（稳定训练）。
• 特点：首次在 Atari 游戏中超越人类水平，解决高维状态（如图像输入） 表示问题；但动作空间仍需离散，限制应用场景。

深度强化学习扩展与优化（2010s - 至今）

在前期基础上迭代创新，覆盖更多复杂任务，核心方向包括：

1. 改进型 DQN 算法

• 代表算法：Double DQN（解决 Q 值高估）、Dueling DQN（分离状态价值与动作优势）。
• 特点：通过结构优化，提升算法稳定性与泛化能力，适配更多场景。

2. 策略优化进阶

• 代表算法：TRPO（Trust Region Policy Optimization，信任域策略优化）、PPO（Proximal Policy Optimization，近端策略优化）、GRPO（Group Relative Policy Optimization）。
• 特点：约束策略更新幅度，避免训练崩溃，适配复杂任务（如机器人行走），平衡训练效率与稳定性。

3. 模仿学习与逆强化学习

• 原理：模仿专家行为（如自动驾驶），或从数据反推奖励函数。
• 特点：减少智能体 “探索成本”，提升安全性与可解释性，让强化学习更贴近实际应用（如工业控制、自动驾驶）。

算法改进核心逻辑（技术演进脉络）

从传统到现代，强化学习算法优化围绕四大方向突破：

1. 模型依赖→免模型：DP 需完整环境模型，Q - learning、DQN 等免模型算法更通用，适配未知环境。
2. 离散空间→连续空间：Q - learning 局限于离散动作，策略梯度支持连续控制，拓展机器人、自动驾驶等场景。
3. 低效采样→高效利用：蒙特卡罗需完整轨迹，TD、Actor - Critic 实现单步更新；经验回放技术进一步提升数据利用率。
4. 单一方法→混合融合：Actor - Critic 结合值函数与策略梯度；深度强化学习融合深度学习特征提取能力，处理高维复杂输入。

小结

强化学习发展历经 “传统方法奠基→深度强化学习突破→扩展优化落地” 路径，核心是平衡环境适配性、训练效率与任务复杂度。从依赖环境模型到免模型、从离散到连续空间、从低效采样到高效利用，每一步突破都推动其在机器人、游戏、自动驾驶等领域落地，未来仍会围绕 “更高效、更稳定、更易解释” 持续演进 。

强化学习中不同方法的对比总结表

根据智能体动作选取方式分类

依据学习目标不同

基于价值的方法(Value-Based)

• 核心思想：优化价值函数（状态值函数 (V(s))、动作值函数 (Q(s,a)) ）间接找最优策略，选动作时追求未来累积奖励最大。
• 代表算法：
  • Q - Learning：用贝尔曼方程迭代更新 Q 表，适配离散状态 / 动作空间 。
  • DQN：神经网络拟合 Q 值函数，靠经验回放、目标网络解决训练不稳定，适用于高维状态空间。
• 特点与局限：
  • 优点是采样效率高、收敛稳定，适配离散动作场景；
  • 缺点是难处理连续动作空间，策略依赖价值函数估计精度；
  • 数学基础为贝尔曼方程驱动价值迭代 。

基于策略的方法（Policy-Based）

• 核心思想：直接优化策略函数 $(\pi (a|s)$（状态到动作的概率分布 ），不用显式算价值函数，靠策略梯度上升最大化长期回报。
• 代表算法：
  • REINFORCE：用蒙特卡洛采样估计梯度，但高方差让收敛慢。
  • PPO：剪切实例目标函数限制策略更新幅度，平衡探索和利用，在工业界（像 ChatGPT 训练 ）常用。
  • TRPO：引入 KL 散度约束策略更新，保障训练稳定。
• 特点与局限：
  • 优点：适配连续动作空间，策略表达（概率分布形式 ）灵活。
  • 缺点：高方差使样本效率低，易陷入局部最优。
  • 数学基础：策略梯度定理（Policy Gradient Theorem ）支撑。

结合价值与策略的方法（Actor-Critic）

• 核心思想：融合价值函数和策略函数优势，“演员（Actor）” 生成策略，“评论家（Critic）” 评估动作价值，协同优化策略 。
• 代表算法：
  • A2C/A3C：多线程异步更新加速训练，Critic 算优势函数指导 Actor 优化。
  • SAC：引入熵正则化鼓励探索，适配复杂连续控制任务（如机器人行走 ）。
• 特点与局限：
  • 优点：平衡探索与利用，训练效率高，适合复杂任务。
  • 缺点：结构复杂，要同时调优 Actor 和 Critic 网络。
  • 数学基础：TD 误差（Temporal Difference Error ）联合优化策略与价值函数。

强化学习中不同方法的对比总结表

从策略生成方式、动作空间适用性、训练稳定性和典型算法四个维度，对比了基于价值的方法、基于策略的方法、Actor - Critic 方法 ：

参考资料为《强化学习算法与应用综述 - 李茹杨.pdf》（1.26MB ），可辅助深入了解这些强化学习方法 。

马尔可夫决策过程（MDP）

MDP 整体定位

强化学习里，智能体与环境交互流程（智能体感知状态→执行动作→环境转移状态并反馈奖励 ），可用马尔可夫决策过程（MDP）建模，它是强化学习的基础理论框架。

核心概念

1. 马尔可夫（Markov）

• 定义：一种 “无记忆性”（Memoryless Property），即未来状态仅由当前状态决定，和过去历史状态无关 。
• 举例：天气预报中，若 “明天天气只看今天，不受昨天及更早影响”，就符合马尔可夫性。
• 起源：俄国数学家 Andrey Andreevich Markov 提出马尔可夫链，发现随机系统 “未来仅与当前相关” 的特性，为 MDP 奠定数学基础。

2. 马尔可夫最重要性质

• 核心：无记忆性，让建模 / 计算复杂度大幅降低 —— 无需记录完整历史，仅关注当前状态即可。
• 应用：在强化学习、排队论、自然语言处理等领域广泛应用，是马尔可夫模型的理论基石。
• 数学表达： $(P(S_{t+1}|S_t,S_{t-1},...,S_0)=P(S_{t+1}|S_t)$ 直观体现 “未来仅由现在决定，与过去无关”。

3. 马尔可夫过程（Markov Process，简称 MP）

• 定义：满足马尔可夫性的随机过程，由两部分组成：
  • 状态集合（State Space）：系统所有可能状态（如天气模型里的 {晴天、雨天} ）。
  • 状态转移概率矩阵（Transition Probability Matrix）：定义当前状态→下一状态的转移概率（如天气模型中，晴天→晴天概率 0.9、晴天→雨天概率 0.1 等 ）。
• 举例（天气模型）：
  • 状态集合：{Sunny（晴天）, Rainy（雨天）}
  • 转移概率矩阵： (\begin{bmatrix} 0.9 & 0.1 \ 0.5 & 0.5 \end{bmatrix}) （第一行：晴天保持晴天概率 0.9、转雨天概率 0.1；第二行：雨天保持雨天概率 0.5、转晴天概率 0.5 ）

4. 马尔可夫决策过程（Markov Decision Process，MDP）

• 定义：马尔可夫过程的扩展，引入智能体的 “动作” 和 “奖励机制”，用于建模序贯决策问题。核心元素用

  $⟨S,A,P,R,\gamma ⟩$表示：

  • S（状态集合）：环境所有可能状态（如天气模型的 {Sunny, Rainy} ）。
  • A（动作集合）：智能体可采取的动作（如天气模型里的 {带伞、不带伞} ）。
  • P（转移函数）：$P(s^{\prime }|s,a)$ 表示 “状态 s 下执行动作 a，转移到状态 (s’) 的概率”（天气模型中，转移由自然规律决定，与动作无关，仍用之前的转移矩阵 ）。
  • R（奖励函数）：$R(s,a,s^{\prime }$) 表示 “状态 s 执行动作 a 并转移到 (s’) 时，获得的即时奖励”（如天气模型里，晴天带伞获 -1 奖励、晴天不带伞获 0 奖励等 ）。
  • $\gamma$（折扣因子）：未来奖励的衰减系数，平衡 “当前奖励” 和 “未来奖励” 的重要性（如更看重眼前收益，或长期累积收益 ）。

• 目标：找到最优策略（Policy）—— 即从 “状态→动作” 的映射，最大化长期累积奖励。求解方法包括动态规划、蒙特卡洛方法、时序差分学习等。

• 举例（天气模型深化）：

  • 状态集合（S）：{Sunny, Rainy}（天气的两种可能状态 ）。
  • 动作集合（A）：{带伞（Umbrella）, 不带伞（No_Umbrella）}（智能体在天气下的行为选择 ）。
  • 转移函数（P）：同马尔可夫过程，天气转移由自然规律决定，与动作无关，转移矩阵不变。
  • 奖励函数（R）：
    • 晴天（Sunny）：带伞→奖励 -1（携带不便）；不带伞→奖励 0（舒适）。
    • 雨天（Rainy）：带伞→奖励 2（避免淋雨，抵消携带不便）；不带伞→奖励 -3（被淋湿）。

MDP小结

简言之，MDP 以 “马尔可夫无记忆性” 为基石，先通过马尔可夫过程描述状态的随机演变，再扩展引入 “动作” 和 “奖励”，让智能体可主动决策、优化长期收益，是强化学习建模序贯决策问题的核心工具。