PyTorch v2.6 Overview

发布于：2025-02-24 ⋅ 阅读:(13) ⋅ 点赞:(0)

PyTorch v2.6 Overview

  • Python API
  • Libraries

PyTorch 是一个优化的张量库，用于使用 GPU 和 CPU 进行深度学习。

Python API

序号 API 名称 解释
1 torch PyTorch 核心库(中文:火炬) PyTorch 的核心库，提供了张量操作、自动求导等基础功能。
2 torch.nn 神经网络模块 包含构建神经网络所需的各种模块，如层、损失函数等。
3 torch.nn.functional 神经网络函数 提供了许多与神经网络相关的函数，如激活函数、卷积操作等。
4 torch.Tensor 张量 PyTorch 中用于表示多维数组的基本数据结构。
5 Tensor Attributes 张量属性 用于描述张量的各种特性，如形状、数据类型等。
6 Tensor Views 张量视图 提供对张量数据的不同视角，不改变底层数据。
7 torch.amp 自动混合精度 用于在训练过程中自动混合使用单精度和半精度浮点数，以提高训练效率。
8 torch.autograd 自动求导 实现自动计算梯度的功能，是 PyTorch 实现反向传播的基础。
9 torch.library 库 用于管理和组织自定义操作和函数。
10 torch.accelerator 加速器 用于支持不同的硬件加速器，如 GPU、TPU 等。
11 torch.cpu CPU 表示使用中央处理器进行计算。
12 torch.cuda CUDA 用于支持 NVIDIA GPU 计算的库。
13 Understanding CUDA Memory Usage 理解 CUDA 内存使用情况 帮助用户了解和管理 CUDA 设备上的内存使用。
14 Generating a Snapshot 生成快照 用于生成 CUDA 内存使用的快照。
15 Using the visualizer 使用可视化工具 借助可视化工具查看 CUDA 内存使用情况。
16 Snapshot API Reference 快照 API 参考 提供生成和管理 CUDA 内存快照的 API 文档。
17 torch.mps 苹果 Metal Performance Shaders 用于在苹果设备上利用 Metal 进行加速计算。
18 torch.xpu XPU（通用加速器） 可指代不同类型的硬件加速器。
19 torch.mtia Meta 张量内存集成架构 Meta 相关的张量内存管理架构。
20 torch.mtia.memory Meta 张量内存管理 Meta 架构下的张量内存管理模块。
21 Meta device Meta 设备 Meta 相关的计算设备抽象。
22 torch.backends 后端 管理不同的计算后端，如 CUDA、MKL 等。
23 torch.export 导出 用于将 PyTorch 模型导出为其他格式。
24 torch.distributed 分布式计算 支持在多个设备或节点上进行分布式训练。
25 torch.distributed.tensor 分布式张量 用于在分布式环境下处理张量。
26 torch.distributed.algorithms.join 分布式算法联合 与分布式算法的联合操作相关。
27 torch.distributed.elastic 弹性分布式训练 支持在分布式训练中动态调整节点数量。
28 torch.distributed.fsdp 完全分片数据并行 一种分布式训练策略，可减少内存使用。
29 torch.distributed.fsdp.fully_shard 完全分片 FSDP 中的完全分片操作。
30 torch.distributed.tensor.parallel 分布式张量并行 在分布式环境下进行张量并行计算。
31 torch.distributed.optim 分布式优化器 用于在分布式训练中进行参数优化。
32 torch.distributed.pipelining 分布式流水线 支持分布式训练中的流水线并行。
33 torch.distributed.checkpoint 分布式检查点 用于在分布式训练中保存和恢复模型状态。
34 torch.distributions 概率分布 提供各种概率分布类，用于生成随机样本和计算概率。
35 torch.compiler 编译器 用于对 PyTorch 模型进行编译优化。
36 torch.fft 快速傅里叶变换 实现快速傅里叶变换相关操作。
37 torch.func 函数式编程 支持 PyTorch 的函数式编程风格。
38 torch.futures 异步执行 用于异步执行任务和处理未来结果。
39 torch.fx 函数式中间表示 用于对 PyTorch 模型进行符号化表示和转换。
40 torch.fx.experimental 实验性 FX 功能 包含一些处于实验阶段的 FX 相关功能。
41 torch.hub 模型仓库 提供预训练模型的下载和使用功能。
42 torch.jit 即时编译 用于将 PyTorch 模型编译为可执行代码，提高运行效率。
43 torch.linalg 线性代数 提供线性代数相关的操作，如矩阵乘法、求逆等。
44 torch.monitor 监控 用于监控 PyTorch 程序的运行状态。
45 torch.signal 信号处理 提供信号处理相关的操作。
46 torch.special 特殊函数 包含一些特殊的数学函数。
47 torch.overrides 操作重载 用于重载 PyTorch 的操作符。
48 torch.package 模型打包 用于将 PyTorch 模型及其依赖打包。
49 torch.profiler 性能分析器 用于分析 PyTorch 程序的性能瓶颈。
50 torch.nn.init 参数初始化 提供神经网络参数的初始化方法。
51 torch.nn.attention 注意力机制 用于实现注意力机制相关的模块。
52 torch.onnx ONNX 导出 用于将 PyTorch 模型导出为 ONNX 格式。
53 torch.optim 优化器 提供各种优化算法，如 SGD、Adam 等。
54 Complex Numbers 复数 支持复数运算的相关功能。
55 DDP Communication Hooks 分布式数据并行通信钩子 用于自定义分布式数据并行训练中的通信行为。
56 Quantization 量化 用于将模型参数和计算进行量化，以减少内存使用和提高推理速度。
57 Distributed RPC Framework 分布式远程过程调用框架 支持在分布式环境下进行远程过程调用。
58 torch.random 随机数生成 用于生成随机数。
59 torch.masked 掩码操作 支持使用掩码对张量进行操作。
60 torch.nested 嵌套张量 用于处理嵌套结构的张量。
61 torch.Size 张量大小 表示张量的形状。
62 torch.sparse 稀疏张量 用于处理稀疏数据的张量类型。
63 torch.Storage 存储 表示张量数据的底层存储。
64 torch.testing 测试工具 提供用于测试 PyTorch 代码的工具。
65 torch.utils 工具包 包含各种实用工具函数和类。
66 torch.utils.benchmark 基准测试 用于对 PyTorch 代码进行基准测试。
67 torch.utils.bottleneck 性能瓶颈分析 帮助找出 PyTorch 程序的性能瓶颈。
68 torch.utils.checkpoint 检查点机制 用于减少内存使用的检查点技术。
69 torch.utils.cpp_extension C++ 扩展 用于编写和使用 PyTorch 的 C++ 扩展。
70 torch.utils.data 数据处理 提供数据加载和处理的工具。
71 torch.utils.deterministic 确定性计算 确保 PyTorch 计算的结果具有确定性。
72 torch.utils.jit JIT 工具 与即时编译相关的实用工具。
73 torch.utils.dlpack DLPack 支持 用于与其他深度学习框架进行数据交换。
74 torch.utils.mobile_optimizer 移动优化器 用于优化 PyTorch 模型在移动设备上的性能。
75 torch.utils.model_zoo 模型库 提供预训练模型的管理和下载。
76 torch.utils.tensorboard TensorBoard 集成 用于将 PyTorch 训练过程可视化到 TensorBoard 中。
77 torch.utils.module_tracker 模块跟踪器 用于跟踪 PyTorch 模块的使用情况。
78 Type Info 类型信息 提供 PyTorch 数据类型的相关信息。
79 Named Tensors 命名张量 支持为张量的维度命名，提高代码可读性。
80 Named Tensors operator coverage 命名张量操作覆盖范围 表示命名张量支持的操作范围。
81 torch.config 配置信息 提供 PyTorch 的配置信息。
82 torch.future 未来特性 包含一些处于实验阶段的未来特性。
83 torch._logging 日志记录 用于 PyTorch 的日志记录功能。
84 Torch Environment Variables Torch 环境变量 用于配置 PyTorch 运行环境的变量。

Libraries

序号 LIB 名称 解释
1 torchaudio 音频处理库 用于音频数据的处理、加载和模型训练。
2 TorchData 数据处理库 提供数据加载和处理的工具和接口。
3 TorchRec 推荐系统库 用于构建和训练推荐系统模型。
4 TorchServe 模型服务库 用于将 PyTorch 模型部署为服务。
5 torchtext 文本处理库 用于文本数据的处理、加载和模型训练。
6 torchvision 计算机视觉库 提供计算机视觉相关的数据集、模型和工具。
7 PyTorch on XLA Devices XLA 设备上的 PyTorch 支持在 XLA 设备（如 TPU）上运行 PyTorch 模型。

网站公告

今日签到

点亮在社区的每一天
去签到

热门文章

最新发布