【网络】Linux 内核优化实战 - net.core.rmem_max

net.core.rmem_max 是 Linux 内核中控制 套接字接收缓冲区（Receive Buffer）最大允许值 的参数。它与 net.core.rmem_default（默认值）共同决定了网络数据接收的性能上限和内存使用策略。以下是详细解析：

参数作用与原理

• 核心功能：
  限制单个套接字接收缓冲区的最大字节数。应用程序可通过 setsockopt() 系统调用设置比 rmem_default 更大的缓冲区，但不能超过 rmem_max。

• 工作机制：

  • 当网络数据包到达时，内核会将数据暂存到接收缓冲区，直到应用程序读取。
  • 增大 rmem_max 可提高高带宽或高延迟网络环境下的吞吐量，但会增加内存消耗。

默认值与查看方法

• 默认值：
  通常为 212992 字节（约 208KB），但不同 Linux 发行版可能不同。

• 查看当前值：

  cat /proc/sys/net/core/rmem_max
  # 或
  sysctl net.core.rmem_max
  

调整场景与方法

适用场景

• 高带宽网络（如 10Gbps+）：
  默认值可能导致缓冲区溢出，需增大以支持更高吞吐量。

• 长距离或高延迟网络：
  如跨地域数据中心互联，需更大缓冲区补偿延迟带来的窗口限制（参考 TCP 窗口缩放）。

• 特殊应用需求：
  如高性能数据库（PostgreSQL、MySQL）或分布式系统（Kafka、Elasticsearch），可能需要自定义大缓冲区。

调整方法

1. 临时修改：

   sudo sysctl -w net.core.rmem_max=16777216  # 设置为 16MB
   

2. 永久修改：
   在 /etc/sysctl.d/ 目录下创建配置文件（如 99-network-tuning.conf）：

   net.core.rmem_max = 16777216
   

   保存后执行 sysctl -p 生效。

与其他参数的协同

性能影响与注意事项

• 增大值的影响：

  • 优势：提升高带宽或高延迟网络的吞吐量，减少因缓冲区不足导致的丢包和重传。
  • 风险：
    • 每个套接字可能占用更多内存（例如 10000 个连接各使用 16MB 缓冲区，共需约 160GB 内存）。
    • 可能触发系统 OOM（Out of Memory） Killer，优先终止占用大量内存的进程。

• 建议取值范围：

  网络环境	推荐值	说明
  普通服务器（1Gbps）	4MB-8MB	平衡内存使用与性能。
  高速网络（10Gbps+）	16MB-64MB	需配合 tcp_window_scaling=1 和 tcp_rmem 调整。
  内存受限环境	降低至默认值或更小	避免内存耗尽，优先保证系统稳定性。

• 验证方法：
  使用 ss -i 查看套接字实际使用的缓冲区大小：

  ss -i dst :80  # 查看 80 端口套接字的接收缓冲区状态
  

典型案例

• 案例1：高带宽传输优化
  某 10Gbps 服务器传输大文件时带宽仅达 5Gbps，调整参数后：

  net.core.rmem_max = 33554432  # 32MB
  net.ipv4.tcp_rmem = 4096 87380 33554432
  

  带宽利用率提升至 95%。

• 案例2：OOM 问题排查
  某服务器频繁触发 OOM，发现 rmem_max=128MB 且存在大量长连接。将其降至 16MB 后，系统稳定性显著提升。

总结

net.core.rmem_max 是高带宽、高并发场景下的关键调优参数，但需谨慎调整：

1. 按需配置：根据网络带宽、延迟和业务特性选择合适的值。
2. 协同优化：同时调整 tcp_rmem、tcp_window_scaling 等相关参数。
3. 监控内存：使用 free、vmstat 等工具监控系统内存使用，避免过度分配。

合理的缓冲区配置能显著提升网络性能，但需在吞吐量和资源消耗之间找到平衡点。