- 作者：Ainaz Eftekhar, Luca Weihs, Rose Hendrix, Ege Caglar, Jordi Salvador, Alvaro Herrasti, Winson Han, Eli VanderBil, Aniruddha Kembhavi, Ali Farhadi, Ranjay Krishna, Kiana EhsaniKuo-Hao Zeng∗2
- 单位：华盛顿大学，艾伦人工智能研究所
- 标题：The One RING: a Robotic Indoor Navigation Generalist
- 原文链接：https://arxiv.org/pdf/2412.14401v1
- 项目主页: https://one-ring-policy.allen.ai/
主要贡献
- 论文提出了机器人室内导航通用策略RING，该策略在模拟中通过大规模随机生成的机器人实体进行训练，能够在未见过的实体上实现零样本泛化。
- 训练时，能够适应各种不同的机器人实体（如摄像头配置、身体尺寸和旋转中心点），并在真实世界中表现出色。这种跨实体的适应性减少了为每个特定机器人重新训练的需求。
- 训练后，可以直接转移到真实世界的机器人平台上，而不需要任何额外的适应或微调。这展示了模拟训练在跨实体泛化中的强大能力。
- RING能够根据其实体和与环境的交互动态调整其行为。这种实体自适应行为使得策略能够在不同的机器人平台上表现出最优的导航策略，从而提高了整体的导航性能。
研究背景
研究问题
现有的导航策略大多是特定于某个机器人配置的，无法很好地泛化到其他机器人上，即使是小的身体尺寸或相机视角的变化也可能导致失败。
论文主要解决的问题是如何训练一个能够在不同机器人平台上零样本迁移的导航策略。
研究难点
该问题的研究难点包括：
- 不同机器人的形状、尺寸和传感器配置差异导致的行为多样性；
- 如何在没有大量真实世界数据的情况下，训练出一个能够适应多种配置的通用导航策略；
- 如何弥合模拟训练和真实世界之间的差距。
相关工作
- 跨具身实体训练：
- 跨具身实体训练近年来受到了研究社区的广泛关注。Open-X-Embodiment (OXE) 是一个代表性的项目，旨在覆盖多个机器人任务，特别是操作任务。尽管OXE在RT-X中取得了显著的性能提升，但由于在现实世界中收集数据的巨大成本，进一步扩展仍然具有挑战性。
- CrossFormer 是一个基于Transformer的策略，通过在30个机器人上的900k轨迹进行训练，包括来自OXE、GNM和DROID的数据。然而，由于训练期间观察到的实体数量相对较少，它在未见过的实体上并不具备泛化能力。
- GET-zero 专注于灵巧操作，通过使用连接图来告知策略实体结构，以偏置注意力。相比之下，论文中提出的方法通过生成大量实体进行训练，实现了对未见过的实体的零样本部署。
- 基础导航策略：
- 在点目标导航、运动、敏捷控制、探索和社会导航方面取得了显著进展。然而，在更复杂的任务（如语义或对象目标导航）中，由于缺乏高效的探索和语义理解能力，取得类似的结果仍然具有挑战性。
- NoMaD 和 GNM 等方法使用模仿学习从最短路径轨迹进行训练，并在特定实体上进行导航策略的学习。这些方法通常需要拓扑图或图的重建来进行高层次规划，而论文中的策略是完全端到端的，能够在没有显式地图的情况下探索新场景。
- 许多研究尝试使用大型语言模型（LLMs）或视觉语言模型（VLMs）来学习实体无关的策略，但这些方法通常只解决短视距导航任务，并进行单步预测。相比之下，RING通过Transformer解码器建模时序信息，能够处理更复杂的环境。
RING
问题定义
- 多任务学习问题：学习跨多个具身实体的导航策略是一个多任务问题。每个具身实体由其配置向量 定义，包括摄像头设置、智能体碰撞器大小、旋转中心等。任务被建模为部分可观测马尔可夫决策过程（POMDP），其中状态空间 和动作空间 是共享的，但观察空间 因具身实体的不同而变化。
- 状态和动作空间：状态 和动作 的下一个状态 取决于当前状态、动作和具身实体参数 。观察 是状态和具身实体参数的函数。
大规模具身实体随机化
- 具身实体随机化：通过在模拟中对机器人实体的广泛随机化来训练策略，以实现对新实体的鲁棒部署。实体被建模为一个不可见的碰撞器盒，每个智能体可以有一个或两个RGB摄像头，其位置和参数随机采样。
- 参数范围：具体参数包括碰撞器大小、旋转中心、摄像头的垂直和水平视场角、摄像头俯仰角、摄像头位置和RGB图像的尺寸。这些参数的范围被设定为确保能够涵盖大多数机器人的特征。
架构设计
- 模型架构：RING的架构结合了视觉编码器、目标编码器和Transformer状态编码器，以及一个因果Transformer解码器。每个时间步，模型接受N个RGB图像和一个语言指令，预测动作分布。
- 视觉和目标编码器：视觉编码器（如ViT）和目标编码器（如语言模型）分别将RGB观察和指令编码为视觉和目标嵌入。这些嵌入与特殊的状态标记向量一起堆叠，并通过多层Transformer状态编码器进行处理。
- Transformer解码器：Causal Transformer解码器通过因果注意力对沿时间轴堆叠的状态嵌入进行显式记忆建模，输出当前信念。线性actor-critic头进一步预测动作的对数概率和价值估计。
训练范式
- 模仿学习：首先在随机实体的大规模专家轨迹上进行模仿学习预训练。使用交叉熵损失计算动作对数概率和专家动作之间的差异。
- 强化学习微调：随后在模拟中使用强化学习对策略进行微调。采用DD-PPO算法，使用AdamW优化器进行训练。通过试错学习，策略能够适应多种实体并提高导航性能。
实验
零样本泛化到未见具身实体
- 实验设置：在四个机器人实体（Stretch RE-1、LoCoBot和Unitree A1）上进行零样本评估。基线方法包括模仿学习（IL）和强化学习（RL）策略，这些策略在特定实体上训练并在未见过的实体上进行评估。
- 结果：RING在所有未见过的实体上表现出强大的泛化能力，平均成功率比单一实体基线高出16.7%。RING在某些情况下甚至超过了在目标实体上训练的基线策略。
转移到真实世界的具身实体
- 机器人评估：在三个未见过的真实世界机器人（Stretch RE-1、LoCoBot和Unitree Go1）上进行零样本评估。所有评估均直接在大型公寓中进行，没有进一步的适应或微调。
- 人类评估：作为进一步展示策略的泛化能力，论文还进行了人类评估。五名参与者在厨房区域跟随策略的输出动作进行导航。RING在人类实体上的表现优于在Stretch RE-1上训练的基线策略。
具身实体专用策略的快速适应
- 实验设置：展示了RING如何通过最小化微调快速适应特定机器人实体。基线FLARE在每个实体上进行最多20M RL步骤的微调。
- 结果：RING在特定实体上表现出更好的性能，显示出其在不同实体之间的一致适应性。
具身实体自适应行为
- RING在导航策略中显示出实体自适应行为。例如，不同的实体在相同的起始位置和动作序列下表现出不同的行为。RING能够根据实体的特性动态调整其导航策略。
消融研究
- 更强大的视觉编码器：研究了使用更强大的视觉编码器对性能的影响。结果表明，更强大的视觉编码器显著提高了零样本性能。
- 碰撞惩罚：添加小的碰撞惩罚到奖励函数中，结果显示碰撞率降低了50%，策略变得更加保守。
总结
- 论文介绍了RING，一种在模拟中训练的、不依赖于特定机器人配置的导航策略。
- 通过在大规模随机生成的机器人配置上进行训练，RING实现了零样本迁移到未见过的真实世界机器人平台，并在多个基准上取得了最优的性能。
- 此外，RING还能够根据机器人的身体特征动态调整其行为，展示了其在实际应用中的潜力。
