深度强化学习 | 图文详细推导软性演员-评论家SAC算法原理

0 专栏介绍

本专栏以贝尔曼最优方程等数学原理为根基，结合PyTorch框架逐层拆解DRL的核心算法(如DQN、PPO、SAC)逻辑。针对机器人运动规划场景，深入探讨如何将DRL与路径规划、动态避障等任务结合，包含仿真环境搭建、状态空间设计、奖励函数工程化调优等技术细节，旨在帮助读者掌握深度强化学习技术在机器人运动规划中的实战应用

🚀详情：《运动规划实战精讲：深度强化学习篇》

1 最大熵贝尔曼方程

经典强化学习的目标是希望得到使累计奖赏最大的策略

$${\pi }^{\ast }=\underset{\pi \in \Pi }{\mathrm{argmax}}{\mathbb{E}}_{\left(s_t,a_t\right)\pi }\left[\sum _t{R}_{s_t\to s_{t+1}}^{a_t}\right]$$

由于从$\pi$产生动作过程中的最大值算子$argmax$(确定性策略)或高斯采样(随机性策略)，此时策略是如图所示的单峰分布。

单峰策略的缺陷在于容易过拟合到局部最优点。如下图所示，迷宫寻路问题中，一个训练好的智能体按照既定的最优决策运动到目标点，此时环境中增加噪声，在单峰策略作用下，智能体将在动态障碍物处反复做出过往的最优动作，产生徘徊无解的现象。

为了解决这个问题，最大熵强化学习(Maximum Entropy Reinforcement Learning)引入了熵作为额外的策略优化目标

$${\pi }^{\ast }=\underset{\pi \in \Pi }{\mathrm{argmax}}{\mathbb{E}}_{\left(s_t,a_t\right)\pi }\left[\sum _t{R}_{s_t\to s_{t+1}}^{a_t}+\alpha H\left(\pi \left(s_t,a_t\right)\right)\right]$$

其中熵

$$H\left(\pi \left(s_t,a_t\right)\right)={\mathbb{E}}_{\left(s_t,a_t\right)\pi }\left[-\log \pi \left(s_t,a_t\right)\right]$$

衡量了决策的随机性，温度系数$\alpha$衡量了熵的重要性，特别地，均匀分布的熵最大，即每个动作都有同等概率被选择。不妨令

$$R_{s_t\to s_{t+1}}^{\mathrm{soft},a_t}=R_{s_t\to s_{t+1}}^{a_t}+\gamma \alpha H\left(\pi \left(s_{t+1},a_{t+1}\right)\right)$$

则应用经典贝尔曼递推算子可以保证收敛，对经典贝尔曼公式不熟悉的同学可以参考：

• 经典强化学习 | 策略评估与贝尔曼期望方程详细推导
• 经典强化学习 | 策略改进定理与贝尔曼最优方程详细推导

最大熵贝尔曼价值函数为

$$V_{\mathrm{soft}}^{\pi }\left(s\right)\stackrel{\Delta }{=}\alpha \log {\int }_a\exp \left(\frac{1}{\alpha }{Q}_{\mathrm{soft}}^{\pi }\left(s,a\right)\right)\mathrm{d}a$$

所以最大熵强化学习输出一个多峰策略，且峰值正比于价值 。如图所示，多峰策略的优势在于探索性强，可以适应于多模态、多目标的复杂任务；鲁棒性强，熵正则会让智能体倾向于学习所有较优动作

2 SAC算法原理推导

软性演员-评论家(Soft Actor-Critic, SAC)算法是基于最大熵原理的离线策略方法，具有高效的采样效率和泛化能力

2.1 参数化动作-价值函数

同样出于降低过估计的目的设置Critic网络$Q\left(\mathbf{s},\mathbf{a};\mathbf{w}\right)$与$\hat{Q}\left(\mathbf{s},\mathbf{a};\hat{\mathbf{w}}\right)$，结合最大熵贝尔曼方程可设计损失函数

$$J\left(\mathbf{w}\right)=\frac{1}{2}\mathbb{E}\left[\left(Q\left(\mathbf{s},\mathbf{a};\mathbf{w}\right)-\left(r_{\mathbf{s}\to {\mathbf{s}}^{\prime }}+\gamma \underset{{\mathbf{a}}^{\prime }}{\max }\left(\hat{Q}\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime };\hat{\mathbf{w}}\right)-\alpha \log \pi \left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime };\mathbf{\theta }\right)\right)\right)\right)\right]$$

2.2 参数化策略

设SAC算法的输出是一个高斯分布，为了便于求导进行重参数化，令$\pi \left(\mathbf{s},\mathbf{a};\mathbf{\theta }\right)$的输出是均值$\mathbf{\mu }\left(\mathbf{s};\mathbf{\theta }\right)$和标准差$\mathbf{\sigma }\left(\mathbf{s};\mathbf{\theta }\right)$，从标准正态分布$\mathcal{N}\left(0,1\right)$中采样$\epsilon$，则可得动作$\rho \left(\mathbf{u}|\mathbf{s}\right)=\mu \left(\mathbf{s};\mathbf{\theta }\right)+\epsilon \cdot \sigma \left(\mathbf{s};\mathbf{\theta }\right)$。由于正态分布的取值不受限，SAC进一步采用$\tanh$函数进行压缩，以考虑有限区间的动作，即

$$\mathbf{a}=\pi \left(\mathbf{s},\mathbf{a};\mathbf{\theta }\right)=\tanh \left(\mathbf{u}\right)$$

动作压缩导致概率分布的不一致性$\pi \left(\mathbf{a}|\mathbf{s}\right)\ne \rho \left(\mathbf{u}|\mathbf{s}\right)$，所以

$$\pi \left(\mathbf{a}|\mathbf{s}\right)=\rho \left(\mathbf{u}|\mathbf{s}\right){\left|\frac{\mathrm{d}\mathbf{a}}{\mathrm{d}{\mathbf{u}}^T}\right|}^{-1}\Rightarrow \log \pi \left(\mathbf{a}|\mathbf{s}\right)=\log \rho \left(\mathbf{u}|\mathbf{s}\right)-\log \left|\frac{\mathrm{d}\mathbf{a}}{\mathrm{d}{\mathbf{u}}^T}\right|$$

接着，根据最大熵贝尔曼策略改进定理设计策略损失函数

$$J\left(\mathbf{\theta }\right)={\mathbb{E}}_{\left(\mathbf{s},\mathbf{a}\right)\pi }\left(\log \pi \left(\mathbf{s},\mathbf{a};\mathbf{\theta }\right)-\frac{1}{\alpha }Q\left(\mathbf{s},\mathbf{a};\mathbf{w}\right)+\log Z\left(\mathbf{s}\right)\right)$$

简化为

$$J\left(\mathbf{\theta }\right)={\mathbb{E}}_{\left(\mathbf{s},\mathbf{a}\right)\pi }\left(\alpha \log \pi \left(\mathbf{s},\mathbf{a};\mathbf{\theta }\right)-Q\left(\mathbf{s},\mathbf{a};\mathbf{w}\right)\right)$$

2.3 参数化温度

在训练过程中，随着策略的改善，熵可能会发生不可预测的变化，因此采用固定的温度超参数$\alpha$衡量熵项的权重将使训练效果不稳定。SAC设计了温度的自适应调整机制，要求在最大化期望回报的同时，每次迭代的策略需要满足最小熵约束。设置损失函数

$$J\left(\alpha \right)=\mathbb{E}\left[-\alpha \log \pi \left(\mathbf{s},\mathbf{a};\mathbf{\theta }\right)-\alpha H_0\right]$$

$J\left(\alpha \right)$指出，若动作熵大于目标熵，则正梯度将减小温度系数$\alpha$，降低策略分布的随机性，使模型专注于获得更高的单峰回报；若动作熵小于目标熵，则负梯度将增大温度系数$\alpha$，提升策略分布的随机性，防止产生过拟合

至此完成了SAC算法的参数化过程

3 算法流程

SAC算法完整的流程如下所示

🔥 更多精彩专栏：

• 《ROS从入门到精通》
• 《Pytorch深度学习实战》
• 《机器学习强基计划》
• 《运动规划实战精讲》
• …