【行云流水ai笔记】粗粒度控制：推荐CTRL、GeDi 细粒度/多属性控制：推荐TOLE、GPT-4RL

TOLE模型完整启动方法指南

TOLE (Token-level Optimization with Language Models) 是一种基于强化学习的可控文本生成方法，通过token级别的反馈实现对文本多个属性的精确控制。以下是完整的启动方法指南：

1. 环境准备

1.1 创建虚拟环境

conda create -n tole_rl python=3.9
conda activate tole_rl

1.2 安装依赖

# 基础依赖
pip install torch==2.0.0 transformers==4.30.2 datasets==2.14.4 rouge-score nltk

# 强化学习依赖
pip install gymnasium==0.28.1 stable-baselines3

# 其他工具
pip install numpy pandas tqdm tensorboard

2. 数据准备

2.1 数据集格式

确保数据集包含以下字段：

• text: 原始文本
• sentiment: 情感标签 (如positive/negative)
• topic: 主题标签 (如politics/entertainment)

2.2 示例数据集结构

data/
├── train.jsonl
├── dev.jsonl
└── test.jsonl

3. 模型准备

3.1 预训练语言模型

下载并缓存预训练模型（如gpt2-medium）：

python -c "from transformers import GPT2LMHeadModel, GPT2Tokenizer; \
model = GPT2LMHeadModel.from_pretrained('gpt2-medium'); \
tokenizer = GPT2Tokenizer.from_pretrained('gpt2-medium')"

3.2 准备评分器(checkpoint)

确保已有训练好的情感分类器和主题分类器：

models/
├── sentiment_scorer/    # 情感评分器checkpoint
└── topic_scorer/        # 主题评分器checkpoint

4. 训练权重器(Weigher)

权重器用于平衡不同属性评分器的重要性：

python weigher.py \
  --sent_scorer_path models/sentiment_scorer \
  --topic_scorer_path models/topic_scorer \
  --train_data_path data/train.jsonl \
  --eval_data_path data/dev.jsonl \
  --output_dir models/weigher \
  --learning_rate 5e-5 \
  --batch_size 32 \
  --num_epochs 10

参数说明：

• sent_scorer_path: 情感评分器路径
• topic_scorer_path: 主题评分器路径
• output_dir: 权重器保存路径

5. 运行Token-level RL训练

使用训练好的权重器和评分器进行策略模型训练：

python token_main.py \
  --sent_reward_model models/sentiment_scorer \
  --topic_reward_model models/topic_scorer \
  --weigher_ckpt models/weigher/final_checkpoint \
  --train_data_path data/train.jsonl \
  --eval_data_path data/dev.jsonl \
  --output_dir models/policy_model \
  --learning_rate 1e-5 \
  --batch_size 8 \
  --num_epochs 5 \
  --max_length 128 \
  --gamma 0.99 \
  --kl_coef 0.2

参数说明：

• sent_reward_model: 情感奖励模型路径
• topic_reward_model: 主题奖励模型路径
• weigher_ckpt: 权重器检查点路径
• gamma: 奖励折扣因子
• kl_coef: KL散度惩罚系数

6. 模型推理与评估

6.1 生成文本

python generate.py \
  --model_path models/policy_model/final_checkpoint \
  --input_text "Once upon a time" \
  --sentiment positive \
  --topic entertainment \
  --output_file generated_texts.txt

6.2 评估模型

python evaluate.py \
  --model_path models/policy_model/final_checkpoint \
  --eval_data_path data/test.jsonl \
  --metrics_file metrics.json

7. 常见问题与解决方案

1. CUDA内存不足

   • 降低batch_size
   • 使用--gradient_accumulation_steps 4

2. 训练不稳定

   • 调整kl_coef（建议范围：0.1-0.5）
   • 降低learning_rate

3. 环境依赖冲突

   • 使用pip freeze > requirements.txt保存当前环境
   • 使用Docker容器化部署

8. 参考资料

• 论文链接：Reinforcement Learning with Token-level Feedback for Controllable Text Generation (NAACL 2024)
• 代码仓库：https://github.com/hust-nlp/TOLE
• 联系邮箱：wendili@hust.edu.cn

如果遇到任何问题，请通过邮箱联系作者获取支持。以下是基于强化学习的可控文本生成方法的概述，主要介绍TOLE模型外的代表性工作及其核心思想：

1. 基于奖励函数设计的方法

1.1 CTRL (Keskar et al., 2019)

• 核心思想：在输入文本前添加控制代码（Control Codes），通过微调语言模型学习遵循控制信号。
• RL实现：使用奖励函数引导模型生成符合控制条件的文本（如情感、主题）。
• 特点：简单直接，但控制粒度较粗。

1.2 GeDi (Krause et al., 2021)

• 核心思想：设计梯度引导的解码算法，通过奖励函数修改生成概率分布。
• RL实现：使用分类器作为奖励函数，通过策略梯度优化生成过程。
• 特点：无需微调模型，支持零样本控制。

2. 基于价值函数学习的方法

2.1 PPLM (Dathathri et al., 2019)

• 核心思想：通过微调语言模型的隐层表示，使用KL散度约束保持语义连贯性。
• RL实现：使用策略梯度优化隐层扰动，使生成文本符合控制目标。
• 特点：可实现细粒度控制（如情感强度）。

2.2 GPT-4RL (Ouyang et al., 2022)

• 核心思想：结合人类反馈的强化学习（RLHF），通过奖励模型优化生成策略。
• RL实现：使用近端策略优化（PPO）训练语言模型。
• 特点：控制效果强，但依赖大量人工标注数据。

3. 多属性/多目标优化方法

3.1 DARN (Fu et al., 2020)

• 核心思想：设计多任务奖励函数，同时优化多个文本属性（如流畅性、相关性）。
• RL实现：使用加权奖励组合不同属性的评分器。
• 特点：支持多属性联合控制，但权重需人工调整。

3.2 TOLE (本文方法)

• 核心思想：提出token级别的反馈机制，通过学习权重器自动平衡多个属性。
• RL实现：使用token-level的策略梯度优化，动态调整属性权重。
• 特点：控制精度高，支持复杂属性组合。

4. 基于对抗训练的方法

4.1 SeqGAN (Yu et al., 2017)

• 核心思想：将文本生成视为序列生成对抗网络，生成器与判别器博弈。
• RL实现：使用策略梯度训练生成器，判别器提供奖励信号。
• 特点：可生成高质量文本，但训练稳定性较差。

4.2 LeakGAN (Guo et al., 2018)

• 核心思想：改进SeqGAN，通过泄露GAN结构缓解训练不稳定问题。
• RL实现：引入记忆机制和阶段性奖励函数。
• 特点：提高了文本生成的连贯性。

5. 基于结构化策略的方法

5.1 Constrained Text Generation (Belz & Reiter, 2006)

• 核心思想：在生成过程中显式约束某些语法或语义结构。
• RL实现：将约束转化为奖励函数，引导模型生成符合规则的文本。
• 特点：适用于模板化文本生成（如报告、摘要）。

5.2 COMET (Bosselut et al., 2019)

• 核心思想：结合知识图谱和RL，生成符合常识的文本。
• RL实现：使用知识图谱的推理路径作为奖励信号。
• 特点：增强了生成文本的逻辑性。

方法对比与选择建议

总结

• 粗粒度控制：推荐CTRL、GeDi
• 细粒度/多属性控制：推荐TOLE、GPT-4RL
• 轻量级实现：推荐PPLM（无需微调）
• 复杂结构控制：推荐COMET、Constrained Text Generation

选择方法时需考虑控制精度需求、计算资源和数据规模。TOLE的优势在于token级控制和自动权重学习，适合高精度多属性场景。