【摘要】
本论文介绍了WebGPT，这是一种通过浏览器辅助问答系统来使用人类反馈进行训练和优化的模型。具体来说，该系统通过与基于文本的网络浏览环境互动，使模型能够搜索和导航网络，从而提高其回答长文本问题的能力。通过将任务设计为人类可以完成的任务，研究人员能够利用模仿学习和人类反馈来训练和优化模型。
主要贡献包括：
- 创建了一个基于文本的网络浏览环境，使得模型可以互动，从而改进了检索和合成。
- 生成带有参考文献的答案，这有助于人类评估答案的准确性，而无需进行繁琐的独立研究。
- 使用ELI5数据集进行模型训练，该数据集来自Reddit用户提出的问题。
实验结果表明：
- 最佳模型通过行为克隆（behavior cloning）训练，并结合拒绝采样（rejection sampling）的策略，其答案被人类更偏好56%的时间，比Reddit的最高投票答案高出69%。
- WebGPT在多个评估任务中的表现均优于基线GPT-3模型，尤其是在TruthfulQA数据集上，其答案更准确且更具信息性。
- 参数规模对性能的影响：随着模型参数规模的增加，WebGPT的回答表现也有所提升，尤其是在TruthfulQA数据集上。
研究发现：
- WebGPT在处理out-of-distribution问题时表现较差，这表明模型需要更多的训练和优化。
- 人类反馈对模型表现至关重要，因为仅仅通过模仿人类示范是无法超越50%准确度的。
- WebGPT在回答问题时倾向于引用可靠的来源，但仍需注意避免引用不准确的来源。
未来工作方向：
- 改进模型对错误信息的识别能力，尤其是在应对复杂或主观问题时。
- 探索如何减缓模型对偏差和偏见的传播，尤其是在生成回答时。
- 提高参考文献的准确性和一致性，以增强人类评估的可靠性。
- 进一步研究如何利用拒绝采样和奖励模型来优化模型性能。
总的来说，WebGPT代表了一种新的长文本问答方法，通过结合模仿学习和强化学习，能够更准确地回答复杂的问题。
【数据来源】
以下是论文数据来源的总结：
该研究的数据来源于以下几个方面：
ELI5数据集：
- 研究的主要数据集是ELI5，这是一个包含长篇问题回答的数据集。
- 研究团队使用ELI5数据集来训练和评估WebGPT模型。
- 最好的模型（175B best-of-64模型）在ELI5测试集上的表现优于人类56%的时间。
人类演示和比较数据：
- 为了收集人类演示和比较数据，研究团队从Upwork和Surge AI等平台雇佣了自由职业工人。
- 他们提供了详细的操作指南和任务描述，以确保数据质量。
- 数据处理包括两个主要步骤：演示和比较。
- 演示数据用于行为克隆和奖励模型训练。
- 比较数据用于奖励模型训练和强化学习。
- 每个模型的最终版本通过多次比较和评估来优化。
其他数据集：
- 为了增加多样性和实验性，研究团队还使用了其他数据集，如TriviaQA、AI2 Reasoning Challenge (ARC)、手工编写的问题集和ELI5事实检查集。
- 这些数据集有助于验证模型在不同任务上的表现。
奖励模型和比较数据：
- 研究团队使用奖励模型来评估模型生成的答案质量。
- 他们通过比较两个答案来生成奖励模型的训练数据。
- 比较数据用于评估模型在不同任务上的表现，包括长篇问题回答和简短问题回答等。
验证数据和测试集：
- 验证数据和测试集用于评估模型在真实世界任务中的表现。
- 实验中使用了ELI5开发集和测试集，以及TruthfulQA数据集来评估模型的回答准确性。
通过这些数据和方法，研究团队能够训练出能够在网络上进行搜索和导航以回答复杂问题的模型。
【模型架构】
这篇论文介绍了一种新的长形式问答模型WebGPT，它通过与一个基于文本的网络浏览环境进行交互，来生成对于开放性问题的答案。以下是该论文模型架构的主要总结：
1. 模型概述
- 目标: WebGPT旨在通过浏览网页来回答长篇幅的问题，同时收集参考信息以方便人工评估答案的准确性。
- 架构: WebGPT结合了行为克隆（Behavior Cloning, BC）、奖励模型（Reward Modeling, RM）以及强化学习（Reinforcement Learning, RL）等技术，通过这些方法优化模型的回答质量。
2. 环境设计
- 环境: WebGPT使用了一个基于文本的网络浏览环境，该环境允许模型进行搜索和导航，最终生成答案。
- <