引言
在前面的章节中，我们已经了解了LeRobot的基础概念和仿真环境应用。本章将带领读者进入更加激动人心的领域——在真实机器人上实现模仿学习。通过本章的学习，你将掌握如何训练神经网络来自主控制真实机器人，实现从人工演示到机器人自主执行的完整流程。
模仿学习（Imitation Learning）是机器人学习的重要分支，它通过观察和模仿人类或专家的行为来学习执行特定任务。在真实机器人应用中，模仿学习具有显著优势：无需复杂的奖励函数设计，能够直接从演示数据中学习，并且可以快速适应新的任务场景。
本章将以一个具体的任务为例——训练机器人抓取乐高积木并将其放入指定容器中，来展示完整的模仿学习流程。这个看似简单的任务实际上包含了机器人学习的核心要素：感知、决策和执行。
6.1 系统架构与工作流程
LeRobot的真实机器人模仿学习系统采用了端到端的学习架构，整个工作流程可以分为四个主要阶段：
第一阶段：系统设置与校准。在开始数据收集之前，需要对机器人硬件和遥操作设备进行精确校准。这一步骤确保了遥操作指令能够准确转换为机器人动作，为后续的数据收集奠定基础。
第二阶段：遥操作与数据收集。操作者使用遥操作设备（如主导臂或键盘）控制机器人执行目标任务，系统同时记录机器人的状态信息、动作序列以及环境观测数据。这些数据构成了训练神经网络的基础数据集。
第三阶段：神经网络训练。利用收集到的演示数据训练深度神经网络，使其学会从观测信息到动作指令的映射关系。LeRobot支持多种先进的模仿学习算法，如ACT（Action Chunking with Transformers）等。
第四阶段：策略评估与部署。将训练好的神经网络部署到机器人上，让机器人自主执行任务，并通过评估指标来衡量学习效果。
这种端到端的学习方式避免了传统机器人编程中复杂的手工特征设计和规则制定，能够直接从原始传感器数据学习到高级的行为策略。
6.2 硬件准备与环境配置
在开始实际操作之前，需要准备合适的硬件设备和软件环境。LeRobot支持多种机器人平台，包括但不限于SO101、Koch等型号的机械臂。
机器人硬件要求：机器人需要具备足够的自由度来执行目标任务，通常6自由度的机械臂能够满足大多数操作需求。同时，机器人应该配备力矩传感器和位置编码器，以提供精确的状态反馈。
遥操作设备：可以选择主导臂（Leader Arm）或键盘作为遥操作设备。主导臂能够提供更加直观和精确的控制体验，特别适合复杂的操作任务。键盘控制虽然精度相对较低，但成本更低，适合初学者入门。
视觉系统：摄像头是模仿学习系统的重要组成部分，它为神经网络提供环境观测信息。建议使用高分辨率摄像头（如1920×1080），并确保摄像头位置能够清晰观察到操作区域。摄像头的安装位置需要经过仔细考虑，既要保证视野覆盖完整，又要避免遮挡机器人的运动空间。
软件环境：LeRobot基于Python开发，需要安装相应的依赖包。建议使用conda或pip来管理Python环境，确保版本兼容性。此外，如果计划使用GPU加速训练，还需要安装CUDA和相应的深度学习框架。
在硬件连接方面，需要注意设备的ID管理。LeRobot使用设备ID来存储校准文件，因此在遥操作、数据记录和策略评估的整个流程中，必须保持设备ID的一致性。这样可以确保校准参数的正确应用，避免因参数不匹配导致的控制精度问题。
6.3 遥操作系统详解
遥操作是模仿学习的第一步，也是最关键的环节之一。高质量的遥操作数据直接决定了最终学习效果的上限。LeRobot提供了简洁而强大的遥操作接口，能够支持多种设备和配置方案。
6.3.1 基础遥操作配置
LeRobot的遥操作系统采用主从式架构，其中主导设备（Leader）负责接收人类操作指令，从动设备（Follower）即目标机器人负责执行相应动作。以SO101机器人为例，基础的遥操作命令如下：
python -m lerobot.teleoperate \
--robot.type=so101_follower \
--robot.port=/dev/tty.usbmodem58760431541 \
--robot.id=my_awesome_follower_arm \
--teleop.type=so101_leader \
--teleop.port=/dev/tty.usbmodem58760431551 \
--teleop.id=my_awesome_leader_arm
这个命令会自动执行两个重要步骤：首先检测并完成必要的设备校准，然后建立主从设备之间的通信连接并启动遥操作模式。
设备校准是确保控制精度的关键步骤。校准过程会建立主导设备动作与从动设备响应之间的精确映射关系，补偿硬件差异和机械误差。LeRobot会自动检测缺失的校准参数并引导用户完成校准流程，这大大简化了系统配置的复杂度。
6.3.2 集成视觉系统的遥操作
在实际应用中，视觉信息对于操作者判断和决策至关重要。LeRobot支持在遥操作过程中实时显示摄像头画面和机器人关节状态，为操作者提供全面的反馈信息。
python -m lerobot.teleoperate \
--robot.type=koch_follower \
--robot.port=/dev/tty.usbmodem58760431541 \
--robot.id=my_awesome_follower_arm \
--robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 1920, height: 1080, fps: 30}}" \
--teleop.type=koch_leader \
--teleop.port=/dev/tty.usbmodem58760431551 \
--teleop.id=my_awesome_leader_arm \
--display_data=true
摄像头配置参数需要根据实际硬件情况进行调整。分辨率设置应该在图像质量和处理性能之间找到平衡点，通常1920×1080的分辨率能够提供足够的细节信息而不会过度消耗计算资源。帧率设置为30fps可以保证流畅的视觉反馈，对于大多数操作任务来说已经足够。
display_data=true参数启用了实时数据可视化功能，操作者可以同时观察摄像头画面和机器人关节角度变化，这对于精确控制和任务执行非常有帮助。
6.4 数据收集策略与最佳实践
数据收集是模仿学习成功的基础，高质量的演示数据能够显著提升学习效果。LeRobot提供了完整的数据收集工具链，支持从数据记录到云端存储的全流程管理。
6.4.1 数据收集环境准备
在开始数据收集之前，需要完成Hugging Face Hub的配置。LeRobot利用Hugging Face Hub的强大功能来管理和分享数据集，这不仅便于数据的版本控制，也促进了研究社区的协作。
首先需要获取Hugging Face的写访问令牌，可以在Hugging Face设置页面生成。然后使用以下命令完成登录配置：
huggingface-cli login --token ${HUGGINGFACE_TOKEN} --add-to-git-credential
接下来设置用户名变量，这将用于后续的数据集命名：
HF_USER=$(huggingface-cli whoami | head -n 1)
echo $HF_USER
6.4.2 数据记录流程
LeRobot的数据记录功能集成了遥操作和数据存储，能够在执行任务的同时自动记录所有相关信息。以下是一个完整的数据记录命令示例：
python -m lerobot.record \
--robot.type=so101_follower \
--robot.port=/dev/tty.usbmodem585A0076841 \
--robot.id=my_awesome_follower_arm \
--robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 1920, height: 1080, fps: 30}}" \
--teleop.type=so101_leader \
--teleop.port=/dev/tty.usbmodem58760431551 \
--teleop.id=my_awesome_leader_arm \
--display_data=true \
--dataset.repo_id=${HF_USER}/record-test \
--dataset.num_episodes=5 \
--dataset.single_task="Grab the black cube"
这个命令会记录5个任务执行片段（episodes），每个片段包含完整的状态-动作序列。任务描述"Grab the black cube"不仅有助于数据集的组织管理，也为后续的任务理解和迁移提供了语义信息。
6.4.3 数据收集参数优化
LeRobot提供了丰富的参数来控制数据收集过程，合理设置这些参数对于获得高质量数据集至关重要。
时间参数配置：
--dataset.episode_time_s=60：设置每个片段的最大记录时间为60秒--dataset.reset_time_s=60：设置片段间的环境重置时间为60秒--dataset.num_episodes=50：设置总共记录的片段数量为50个
这些时间参数需要根据具体任务的复杂度进行调整。简单的抓取任务可能只需要10-20秒，而复杂的装配任务可能需要更长时间。充足的重置时间确保了每个片段都从一致的初始状态开始，这对于学习算法的收敛性很重要。
交互式控制：数据收集过程支持实时的键盘控制，提供了灵活的操作方式：
- 右箭头键（→）：提前结束当前片段或跳过重置时间
- 左箭头键（←）：取消当前片段并重新记录
- ESC键：立即停止整个记录会话并上传数据
这些控制选项让操作者能够根据实际情况灵活调整记录流程，确保数据质量。
6.4.4 数据质量保证策略
高质量的演示数据是模仿学习成功的关键。基于实践经验，以下几个原则对于数据收集至关重要：
一致性原则：在数据收集过程中，应该保持摄像头位置、光照条件和环境布局的一致性。这样可以减少环境变化对学习算法的干扰，让神经网络专注于学习任务本身的执行策略。
可观测性原则：确保操作对象在摄像头视野中始终可见。一个简单的验证方法是，操作者应该能够仅通过观看摄像头画面就能完成任务。如果人类都无法仅凭视觉信息完成任务，那么机器人学习这个任务的难度会大大增加。
渐进复杂度原则：建议从简单场景开始，逐步增加任务复杂度。例如，可以先在固定位置进行抓取训练，获得稳定的基础性能后，再引入位置变化、不同抓取方式等变化因素。过早引入过多变化可能会影响学习效果。
对于初始数据集，建议至少收集50个成功的任务执行片段，每个操作位置收集10个片段。这个数量能够为大多数基础任务提供足够的训练数据，同时不会过度消耗数据收集时间。
6.5 神经网络训练深度解析
数据收集完成后，下一步是训练神经网络来学习从观测到动作的映射关系。LeRobot集成了多种先进的模仿学习算法，其中ACT（Action Chunking with Transformers）是目前表现最优秀的方法之一。
6.5.1 训练环境配置
在开始训练之前，需要确保计算环境满足深度学习的要求。对于大多数机器人学习任务，GPU加速是必不可少的，它能够将训练时间从数天缩短到数小时。
LeRobot的训练脚本设计得非常简洁，一个基础的训练命令如下：
python lerobot/scripts/train.py \
--dataset.repo_id=${HF_USER}/so101_test \
--policy.type=act \
--output_dir=outputs/train/act_so101_test \
--job_name=act_so101_test \
--policy.device=cuda \
--wandb.enable=true \
--policy.repo_id=${HF_USER}/my_policy
这个命令中的每个参数都有其特定的作用。--dataset.repo_id指定了训练数据的来源，LeRobot会自动从Hugging Face Hub下载相应的数据集。--policy.type=act选择了ACT算法作为学习方法，这个算法特别适合处理机器人的连续控制任务。
6.5.2 ACT算法原理简介
ACT算法是近年来在机器人模仿学习领域取得突破性进展的方法。它的核心思想是将动作预测问题转化为序列生成问题，利用Transformer架构的强大表征能力来学习复杂的行为模式。
与传统的单步动作预测不同，ACT采用了"动作块"（Action Chunk）的概念，即一次预测未来多个时间步的动作序列。这种设计有两个重要优势：首先，它能够捕捉动作之间的时序依赖关系，使得机器人的行为更加连贯和自然；其次，它减少了推理频率，提高了实时控制的效率。
LeRobot中的ACT实现会自动适应不同机器人的配置。无论是关节数量、摄像头数量还是动作空间维度，算法都能够自动调整网络结构来匹配具体的硬件配置。这种自适应性大大简化了算法的部署和使用。
6.5.3 训练过程监控
训练过程通常需要几个小时到十几个小时，具体时间取决于数据集大小、网络复杂度和硬件性能。LeRobot集成了Weights & Biases（wandb）来提供实时的训练监控和可视化。
通过设置--wandb.enable=true，可以在训练过程中实时观察损失函数变化、学习率调度、以及各种性能指标。这些信息对于判断训练状态和调整超参数非常有价值。如果是首次使用wandb，需要先运行wandb login完成账户配置。
训练过程中会自动保存检查点（checkpoint），默认保存在outputs/train/act_so101_test/checkpoints目录下。这些检查点不仅用于恢复中断的训练，也是后续模型评估和部署的基础。
6.5.4 训练参数优化
LeRobot提供了丰富的配置选项来优化训练效果。对于不同的硬件环境，可以选择合适的计算设备：
--policy.device=cuda：使用NVIDIA GPU加速--policy.device=mps：在Apple Silicon芯片上使用Metal Performance Shaders加速--policy.device=cpu：使用CPU训练（不推荐，速度较慢）
如果训练过程中出现中断，可以使用以下命令从最近的检查点恢复：
python lerobot/scripts/train.py \
--config_path=outputs/train/act_so101_test/checkpoints/last/pretrained_model/train_config.json \
--resume=true
这个恢复机制确保了长时间训练任务的可靠性，避免了因意外中断而重新开始训练的损失。
6.5.5 云端训练方案
对于没有高性能GPU的用户，LeRobot提供了Google Colab的训练方案。Colab提供了免费的GPU资源，虽然在连续使用时间上有一定限制，但对于大多数教学和研究项目来说已经足够。
使用Colab训练的优势不仅在于硬件资源，还在于环境配置的简便性。LeRobot提供了预配置的Colab notebook，用户只需要上传数据集并运行相应的代码块即可开始训练。
6.5.6 模型管理与版本控制
训练完成后，LeRobot支持将模型自动上传到Hugging Face Hub，这不仅便于模型的存储和管理，也促进了研究成果的分享和复现。
huggingface-cli upload ${HF_USER}/act_so101_test \
outputs/train/act_so101_test/checkpoints/last/pretrained_model
除了最终模型，也可以上传训练过程中的中间检查点，这对于分析训练动态和选择最优模型很有帮助：
CKPT=010000
huggingface-cli upload ${HF_USER}/act_so101_test${CKPT} \
outputs/train/act_so101_test/checkpoints/${CKPT}/pretrained_model
通过合理的模型管理，可以建立完整的实验记录，便于后续的分析和改进。
6.6 策略评估与性能分析
训练完成的神经网络需要在真实机器人上进行评估，以验证其实际性能。LeRobot提供了完整的评估框架，能够自动执行测试任务并记录性能数据。
6.6.1 评估环境配置
策略评估使用与数据收集相同的硬件配置，但控制逻辑发生了根本变化：不再由人类操作者提供控制指令，而是由训练好的神经网络根据当前观测自动生成动作。
评估命令的结构与数据记录命令非常相似，主要区别在于添加了策略路径参数：
python -m lerobot.record \
--robot.type=so100_follower \
--robot.port=/dev/ttyACM1 \
--robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
--robot.id=my_awesome_follower_arm \
--display_data=false \
--dataset.repo_id=${HF_USER}/eval_so100 \
--dataset.single_task="Put lego brick into the transparent box" \
--policy.path=${HF_USER}/my_policy
--policy.path参数可以指向Hugging Face Hub上的模型仓库，也可以是本地的模型文件路径。这种灵活性使得模型的部署和测试变得非常便捷。
6.6.2 性能评估指标
机器人任务的评估通常关注以下几个关键指标：
成功率：这是最直观的性能指标，表示机器人在多次尝试中成功完成任务的比例。对于抓取任务，成功率通常定义为物体被正确放置到目标位置的比例。
执行效率：包括任务完成时间和动作的流畅性。高质量的模仿学习不仅要求任务成功，还要求执行过程接近人类演示的效率和自然度。
鲁棒性：评估机器人在面对环境变化时的适应能力，如物体位置的微小变化、光照条件的改变等。
安全性：确保机器人在执行任务过程中不会产生危险的动作，如过大的力矩输出或碰撞风险。
6.6.3 评估数据分析
LeRobot会自动记录评估过程中的所有数据，包括成功/失败的任务执行、执行时间、以及详细的状态-动作轨迹。这些数据为深入分析模型性能提供了基础。
通过对比训练数据和评估数据的分布，可以识别模型的泛化能力和潜在的过拟合问题。如果模型在训练环境中表现良好但在略有变化的测试环境中性能下降，这通常表明需要增加训练数据的多样性。
评估结果也会自动上传到Hugging Face Hub，形成完整的实验记录。这种做法不仅便于结果的分享和讨论，也为后续的模型改进提供了基准。
6.6.4 故障诊断与优化建议
如果评估结果不理想，可以从以下几个方面进行诊断和改进：
数据质量检查：回顾训练数据的质量，确保演示动作的一致性和正确性。不一致或错误的演示数据会直接影响学习效果。
环境一致性验证：确认评估环境与训练环境的一致性，包括摄像头位置、光照条件、物体摆放等。即使是微小的环境差异也可能影响视觉感知的准确性。
模型复杂度调整：如果模型过于简单，可能无法捕捉任务的复杂性；如果过于复杂，可能出现过拟合。根据任务特点和数据量选择合适的模型规模。
训练策略优化：调整学习率、批次大小、训练轮数等超参数，或者尝试不同的数据增强策略来提高模型的泛化能力。
6.7 实际应用案例分析
为了更好地理解LeRobot模仿学习的实际应用，我们以一个具体的抓取任务为例，详细分析从数据收集到部署的完整流程。
6.7.1 案例背景：乐高积木分拣任务
任务目标是训练机器人识别并抓取不同颜色的乐高积木，然后将它们放入对应颜色的容器中。这个任务虽然看似简单，但包含了机器人学习的多个核心要素：视觉感知、精确抓取、路径规划和目标识别。
第一阶段：环境设置。在工作台上放置不同颜色的乐高积木和对应的分拣容器，确保摄像头能够清晰观察到整个操作区域。摄像头安装在机器人上方约50厘米处，视角覆盖整个工作台面。
第二阶段：演示数据收集。操作者使用主导臂控制机器人，演示如何抓取红色积木并放入红色容器、抓取蓝色积木并放入蓝色容器等。每种颜色的积木在不同位置各演示10次，总共收集60个成功的演示片段。
第三阶段：模型训练。使用收集到的数据训练ACT模型，训练过程持续约6小时，最终收敛到较低的损失值。训练过程中通过wandb监控显示，模型在第3小时后开始稳定收敛。
第四阶段：性能评估。在测试环境中，机器人面对随机摆放的积木进行分拣任务。经过100次测试，成功率达到85%，其中失败案例主要集中在积木重叠或边缘位置的情况。
6.7.2 关键成功因素分析
通过这个案例，我们可以总结出几个关键的成功因素：
数据多样性的重要性：虽然任务看似简单，但积木的位置、角度、光照条件的变化都会影响学习效果。在数据收集过程中，有意识地增加这些变化因素能够显著提高模型的泛化能力。
演示质量的一致性：所有演示动作都应该遵循相同的策略和风格。例如，抓取方式、移动路径、放置精度等都应该保持一致，这样神经网络才能学到稳定的行为模式。
环境控制的精确性：训练和测试环境的一致性对于性能至关重要。即使是摄像头位置的微小变化也可能导致性能下降，因此需要建立标准化的环境设置流程。
6.8 最佳实践与经验总结
基于大量的实践经验，以下是使用LeRobot进行真实机器人模仿学习的最佳实践建议：
6.8.1 数据收集策略
渐进式复杂度增加：从最简单的场景开始，逐步增加任务复杂度。例如，先在固定位置进行抓取训练，然后引入位置变化，最后加入角度和姿态的变化。这种渐进式方法能够确保每个阶段都有稳定的基础。
充分的数据量保证：对于基础任务，建议至少收集50个成功的演示片段。如果任务涉及多个变化因素，每个变化组合都应该有足够的演示数据。数据不足是导致学习失败的主要原因之一。
质量控制机制：建立明确的数据质量标准，包括任务成功的定义、演示动作的规范等。在数据收集过程中，应该及时剔除质量不佳的片段，确保训练数据的高质量。
6.8.2 训练优化技巧
合理的硬件配置：GPU加速对于训练效率至关重要，建议使用至少8GB显存的GPU。如果硬件资源有限，可以考虑使用Google Colab或其他云计算平台。
超参数调优策略：LeRobot的默认参数对大多数任务都有良好的表现，但针对特定任务进行微调能够进一步提升性能。建议重点关注学习率、批次大小和训练轮数这三个关键参数。
训练监控与早停：通过wandb等工具实时监控训练过程，如果验证损失开始上升，应该及时停止训练以避免过拟合。
6.8.3 部署与维护
环境标准化：建立详细的环境设置文档，包括摄像头位置、光照条件、物体摆放等。这样可以确保系统在不同时间和地点都能保持一致的性能。
性能监控机制：在实际部署中，应该建立持续的性能监控机制，定期评估系统的成功率和稳定性。如果性能出现下降，需要及时分析原因并采取相应措施。
安全保障措施：在真实机器人应用中，安全性是首要考虑因素。应该设置适当的力矩限制、碰撞检测和紧急停止机制，确保系统在异常情况下能够安全停止。
总结
本章详细介绍了使用LeRobot在真实机器人上实现模仿学习的完整流程。从系统架构到具体实现，从数据收集到模型部署，我们覆盖了实际应用中的各个关键环节。
LeRobot的优势在于其简洁的接口设计和完整的工具链支持，使得复杂的机器人学习任务变得相对容易上手。通过遵循本章介绍的最佳实践，读者应该能够成功地在自己的机器人平台上实现模仿学习应用。需要强调的是，模仿学习虽然降低了机器人编程的门槛，但高质量的演示数据仍然是成功的关键。投入足够的时间和精力来收集和管理数据，往往比调整算法参数更能影响最终的性能表现。
参考资料：
[1] HuggingFace LeRobot Documentation - Imitation Learning on Real-World Robots. https://huggingface.co/docs/lerobot/il_robots