Linux 内核发包流程与路由控制实战

Linux 内核发包流程与路由控制实战

在网络调优、性能优化、SDN、NFV、容器网络等场景下，理解 Linux 内核发包路径和路由控制机制是必修课。
本文将从内核网络栈的原理入手，再结合 iproute2 命令和 策略路由给出实战案例。

一、Linux 内核发包流程（TX Path）

Linux 的发包路径可以分为 用户态 → 内核协议栈 → 网卡驱动 → 物理链路 四大阶段。

1. 用户态到内核

1. 应用调用 send()/sendto()/write() → 进入内核系统调用入口

2. 数据被拷贝到 内核 socket 缓冲（SKB）

3. 根据 socket 类型（TCP/UDP/RAW）进入对应的协议处理函数

   • TCP：进入 tcp_sendmsg()
   • UDP：进入 udp_sendmsg()

2. 协议栈处理（L4 → L3 → L2）

内核构造 sk_buff (skb) 结构，这是一块带有元数据的网络数据缓冲区。
流程：

1. 传输层（L4）

   • TCP：加 TCP 首部（端口、序号、校验和）
   • UDP：加 UDP 首部（端口、长度、校验和）

2. 网络层（L3）

   • 查路由表（fib_lookup）
   • 决定下一跳 IP、出接口
   • 加 IP 首部（源/目的地址、TTL、协议号、校验和）

3. 链路层（L2）

   • 根据下一跳查 ARP 缓存（或触发 ARP 请求）
   • 加以太网头（MAC 源地址、目的地址、类型字段）

3. qdisc（队列规则）与流量整形

• 数据进入 TC（Traffic Control）队列
• 默认是 pfifo_fast，可替换为 fq_codel、htb 等进行 QoS、带宽限制、优先级队列

命令示例：

# 查看当前 qdisc
tc qdisc show dev eth0

# 修改为 FQ（减少延迟）
tc qdisc replace dev eth0 root fq

4. 网卡驱动与 DMA

• 内核将 skb 交给网卡驱动
• 驱动将数据放入 TX 环形缓冲区（TX Ring Buffer）
• 通过 DMA 直接搬运到网卡硬件
• 网卡硬件发出数据帧到物理链路（光纤/电缆）

5. 关键优化点

• GSO/TSO：大包分片在网卡进行（减少 CPU 处理开销）
• XDP：绕过协议栈直接在驱动层处理数据（用于高性能转发/过滤）
• 多队列 RSS：多核并行发包

二、路由控制原理

Linux 内核使用 FIB（Forwarding Information Base） 进行路由决策。
核心思路：最长前缀匹配（Longest Prefix Match）

1. 路由查找顺序

1. 策略路由（Policy Routing）：

   • 根据规则（IP、端口、接口、fwmark）决定查哪个路由表

2. 路由表查找：

   • 按最长匹配前缀找到路由项

3. 邻居子系统（ARP/NDP）：

   • 找出下一跳的 L2 地址

2. 查看路由表

ip route show

输出示例：

default via 192.168.1.1 dev eth0
192.168.1.0/24 dev eth0 proto kernel scope link src 192.168.1.100
10.0.0.0/8 via 192.168.1.254 dev eth0

三、路由控制实战

1. 添加静态路由

# 发往 10.10.0.0/16 通过 192.168.1.254
ip route add 10.10.0.0/16 via 192.168.1.254 dev eth0

2. 策略路由（多出口场景）

场景：服务器有两个网卡，分别连两条不同的运营商线路，需要按源地址走不同出口。

# 添加自定义路由表
echo "200 net1" >> /etc/iproute2/rt_tables
echo "201 net2" >> /etc/iproute2/rt_tables

# 在表 net1 中添加路由
ip route add default via 192.168.1.1 dev eth0 table net1
# 在表 net2 中添加路由
ip route add default via 172.16.1.1 dev eth1 table net2

# 添加策略规则
ip rule add from 192.168.1.100 table net1
ip rule add from 172.16.1.100 table net2

验证：

ip rule show
ip route show table net1

3. 按端口路由（配合 iptables）

如果要按 TCP 端口选择出口，可以用 fwmark：

# 将目标端口 80 的流量打标 1
iptables -t mangle -A OUTPUT -p tcp --dport 80 -j MARK --set-mark 1

# 策略路由匹配 fwmark
ip rule add fwmark 1 table net1

4. 临时切换默认路由

ip route change default via 192.168.1.1 dev eth0

四、案例：高性能转发调优

场景：Linux 作为软件路由器（如容器网关、KVM 虚拟机宿主机）
优化思路：

1. 打开转发功能：

sysctl -w net.ipv4.ip_forward=1

2. 使用 XDP/eBPF 在驱动层转发包（减少协议栈延迟）
3. 调整邻居缓存大小与超时：

sysctl -w net.ipv4.neigh.default.gc_thresh3=8192

4. 优化路由查找性能（大规模路由表场景使用 FIB Trie 压缩）

五、关键知识点总结

• 发包路径：用户态 → 内核协议栈（L4→L3→L2）→ TC 队列 → 网卡驱动 → DMA → 链路

• 路由决策：

  • 策略路由优先于常规路由
  • 查找过程遵循最长前缀匹配

• 实战技巧：

  • 静态路由：ip route add
  • 多出口策略路由：ip rule + 自定义路由表
  • 按端口路由：iptables mangle + fwmark

• 性能优化：

  • 多队列 + RSS
  • GSO/TSO
  • XDP/eBPF
  • 合理的 ARP 缓存与路由压缩

。