DeepSeek 开源周：第五天 - Fire-Flyer 文件系统（3FS）

（下面文字主要由 Grok 3 协助生成）

概述

        Deepseek 今天开源的 Fire-Flyer 文件系统（3FS）是一个高性能分布式文件系统，专门为 AI 训练和推理设计。研究表明，它解决了 AI 工作负载中处理海量数据的高效存储需求问题。

GitHub - deepseek-ai/3FS: A high-performance distributed file system designed to address the challenges of AI training and inference workloads.

解决的问题

3FS 针对 AI 训练和推理中的几个关键挑战提供了解决方案：

• 高吞吐量与低延迟：AI 模型训练，尤其是大型语言模型（LLM），需要处理数万亿字节的数据。3FS 通过利用现代 NVMe SSD 和 RDMA 网络，提供高吞吐量存储。例如，在一个包含 180 个存储节点（每个节点配备 16 个 15.36TB PCIe 4.0x4 SSD 和 2 个 200Gbps InfiniBand NIC）的集群中，3FS 达到了 6.6 TiB/s 的峰值读取吞吐量（3FS GitHub 仓库）。这解决了传统文件系统在面对 AI 工作负载时的 I/O 瓶颈问题。

• 分布式环境中的一致性与可靠性：在分布式训练中，多个计算节点需要同时访问和修改数据，确保数据一致性至关重要。3FS 实现了 Chain Replication with Apportioned Queries (CRAQ) 机制，提供强一致性，使应用程序代码更简单且易于推理（Fire-Flyer AI-HPC 论文）。这避免了分布式系统常见的数据不一致问题。

• 数据准备与随机访问：AI 训练需要高效的数据加载器（dataloader）以支持随机访问训练样本。3FS 消除了预取或数据集混洗的需要，支持计算节点跨节点随机访问数据，特别适用于分布式训练场景（3FS GitHub 仓库）。

• 检查点和推理优化：3FS 支持高吞吐量的并行检查点保存和加载，例如在 LLM 训练中，每 5 分钟保存一次检查点，速度超过每节点 10 GiB/s（Fire-Flyer AI-HPC 论文）。此外，3FS-KV（基于 3FS 的键值存储扩展）通过 KVCache 技术为推理提供成本效益的缓存替代方案，峰值吞吐量可达 40 GiB/s，显著降低 LLM 服务成本（High-Flyer 网站）。

关键性能指标

带来的影响

3FS 的开源发布可能对 AI 研究和行业产生多方面的影响：

• 社区创新与协作：通过在 GitHub 上开源（3FS GitHub 仓库），3FS 允许研究人员和开发人员贡献代码、修复错误并开发新功能。这可能加速文件系统技术的进步，并促进 AI 领域的协作。例如，社区可能根据具体需求定制 3FS，以适应不同的硬件配置或工作负载。

• 降低成本与准入门槛：3FS 设计为在商用硬件上运行，例如 AMD EPYC CPU 和 InfiniBand 网络，这降低了构建高性能 AI 基础设施的成本（Fire-Flyer AI-HPC 论文）。Fire-Flyer AI-HPC 系统展示了 3FS 在 10,000 个 PCIe A100 GPU 上的部署，性能接近 NVIDIA DGX-A100，但成本降低一半，能源消耗减少 40%。这对资源有限的学术机构和中小企业尤为重要。

• 行业标准与竞争：3FS 的高性能指标，例如 GraySort 基准测试中的 110.5 TiB 数据排序，显示其在大数据处理中的潜力（3FS GitHub 仓库）。这可能推动 AI 文件系统领域的新标准，与现有系统如 WekaFS、DAOS 和 BeeGFS 竞争（Fire-Flyer AI-HPC 论文）。然而，其广泛采用和长期影响仍需观察，取决于社区反馈和实际部署案例。

• 意想不到的细节：3FS-KV 的引入为 LLM 推理提供了成本效益的缓存方案，通过在磁盘上实现 KV Context Caching，显著降低了服务成本（High-Flyer 网站）。这对商业 AI 应用尤其重要，可能改变 LLM 部署的经济模型。

讨论与局限性

        虽然 3FS 显示出强大的性能，但其开源时间较短（截至 2025 年 2 月 27 日），外部审查和实际部署案例有限。社区反馈可能揭示潜在的扩展性问题或兼容性挑战。此外，3FS 的设计更适合 AI 工作负载，通用文件系统场景下的表现可能不如专用系统。

小结

        3FS 是 Deepseek 为 AI 训练和推理设计的创新性解决方案，通过高性能和成本效益解决存储瓶颈。其开源性质可能推动社区创新，降低 AI 研究的准入门槛，并设定行业新标准。然而，其长期影响和广泛采用仍需进一步观察。

关键引文

• GitHub - deepseek-ai/3FS: 高性能分布式文件系统设计，解决 AI 训练和推理挑战

• Fire-Flyer AI-HPC 论文：成本效益的软件硬件协同设计，用于深度学习

• High-Flyer 官网：专注于 AI 技术的前沿科技研发平台

• DeepSeek 官网：探索 AGI 奥秘，基于好奇心和长期主义