理解并使用Linux 内核中的 Tracepoint

理解并使用Linux 内核中的 Tracepoint

1. 引言

1.1 为什么需要 Tracepoint？

在内核调试与性能分析中，传统的 printk 方法虽然简单直接，但存在几个显著的局限性：

• 日志噪音：printk 会将所有输出无差别地记录到系统日志或控制台，这会导致大量无关紧要的信息混杂其中，增加了排查问题的难度。
• 性能开销：频繁调用 printk 可能会对系统的实时性能造成负面影响，特别是在高并发场景下。
• 侵入性强：为了添加或移除 printk，往往需要修改源代码，重新编译并加载新的内核模块，这不仅增加了工作量，还可能引入新的错误。

相比之下，Tracepoint 提供了一种更为高效、灵活且低侵入性的方法来跟踪特定事件。它允许开发者和系统管理员在不影响正常业务逻辑的前提下，动态地开启或关闭跟踪功能，收集精确的时间戳和上下文信息，从而有效地减少了对系统性能的影响，并且能够更好地定位和解决复杂的问题。

1.2 什么是 Tracepoint？

Tracepoint 是 Linux 内核提供的一个轻量级机制，用于在不改变代码逻辑的情况下，通过预先定义好的钩子点（hook points）监控内核行为。这些钩子点是在内核编译时静态定义的，作为源码的一部分存在于特定的关键路径上。当内核执行流经过这些位置时，如果事先注册了监听器，则会触发对应的回调函数，使得用户可以在不修改内核代码的情况下，灵活地收集所需的数据或执行额外的操作。

每个 Tracepoint 实际上代表了一个可以被激活或停用的开关，这意味着它们可以在运行时根据需要选择性地启用，以最小化不必要的性能损失。此外，由于 Tracepoint 的设计考虑到了多处理器环境下的同步问题，因此它们也适用于 SMP（对称多处理）系统中的并发事件追踪。

1.3 内核中内置的 Tracepoint 简介

Linux 内核中已经内置了大量的 Tracepoint，涵盖了从文件系统操作到网络协议栈等多个方面。要查看当前系统中存在的所有 Tracepoint，可以使用如下命令：

ls /sys/kernel/debug/tracing/events/

该目录下的每一个子文件夹对应着一个不同的子系统或功能区域，例如 ext4 文件夹包含了 ext4 文件系统相关的所有 Tracepoint。进一步深入到具体的子文件夹中，可以看到一系列以 .enable 结尾的文件，这些文件控制着相应 Tracepoint 的启用状态；而以 .format 结尾的文件则描述了该 Tracepoint 所携带的数据结构及其格式说明。

对于想要深入了解某个特定 Tracepoint 的用户来说，可以通过阅读其 .format 文件了解如何解析由这个 Tracepoint 产生的数据。同时，也可以利用其他工具如 trace-cmd 或者 Ftrace 来更方便地管理和分析 Tracepoint 数据。

2. Tracepoint 的工作原理

Tracepoint 是一种在内核编译阶段静态定义的机制，作为内核源码的一部分存在。这些预先定义的钩子点（hook points）位于内核代码的关键路径上。当内核运行到这些位置时，如果该位置被注册了监听器，则会触发预先设定的回调函数。Tracepoint 允许开发者或管理员在不修改内核逻辑的情况下动态地附加回调函数，以便收集所需信息或执行额外操作。

为了更清楚地理解 Tracepoint 的工作方式，我们以 ext4/ext4_drop_inode 跟踪点为例来说明。下面的代码片段展示了如何在 ext4 文件系统中定义一个名为 ext4_drop_inode 的 Tracepoint：

// 定义 ext4_drop_inode Tracepoint
TRACE_EVENT(ext4_drop_inode,
	TP_PROTO(struct inode *inode, int drop), // 参数列表
	TP_ARGS(inode, drop), // 参数传递
	TP_STRUCT__entry(
		__field(dev_t, dev) // 定义记录字段
		__field(ino_t, ino)
		__field(int, drop)
	),
	TP_fast_assign(
		__entry->dev = inode->i_sb->s_dev; // 快速赋值
		__entry->ino = inode->i_ino;
		__entry->drop = drop;
	),
	TP_printk("dev %d,%d ino %lu drop %d", // 格式化输出
		  MAJOR(__entry->dev), MINOR(__entry->dev),
		  (unsigned long) __entry->ino, __entry->drop)
);

// 在 ext4_drop_inode 函数中调用 Tracepoint
static int ext4_drop_inode(struct inode *inode)
{
	int drop = generic_drop_inode(inode);
	if (!drop)
		drop = fscrypt_drop_inode(inode);
	trace_ext4_drop_inode(inode, drop); // 触发 Tracepoint
	return drop;
}

在这个例子中，TRACE_EVENT 宏用于创建一个新的 Tracepoint，具体步骤如下：

• 参数声明 (TP_PROTO)：指定 Tracepoint 接受的参数类型。
• 参数传递 (TP_ARGS)：将实际参数传递给 Tracepoint。
• 结构体定义 (TP_STRUCT__entry)：定义 Tracepoint 将保存的数据结构及其成员。
• 快速赋值 (TP_fast_assign)：提供一个简短的代码块，用于快速填充上述结构体中的字段。
• 格式化输出 (TP_printk)：定义如何将 Tracepoint 数据格式化为人类可读的字符串形式。

每当 ext4_drop_inode 函数被执行时，都会调用 trace_ext4_drop_inode() 来触发相应的 Tracepoint。此时，如果有任何监听器注册到了这个 Tracepoint 上，那么这些监听器所关联的回调函数就会被执行，从而可以进行日志记录或其他操作。

3. 如何在内核模块中使用 Tracepoint

为了让用户能够方便地利用 Tracepoint 进行监控，内核模块提供了一种机制来注册和注销回调函数，从而实现对特定事件的监听。

3.1 注册和注销回调函数

• 注册：通过 tracepoint_probe_register() 函数。
• 注销：通过 tracepoint_probe_unregister() 函数。

3.2 示例代码

下面的例子演示了如何创建一个简单的内核模块来捕捉 ext4/ext4_drop_inode 事件：

#include <linux/module.h> 
#include <linux/tracepoint.h>
#include <linux/fs.h>
#include <linux/ext4.h>

/* 用于管理感兴趣的tracepoint，即我要使用的tracepoint */
struct interest_tracepoint
{
    void *callback; /* 指向tracepoint要执行的回调函数 */
    struct tracepoint *ptr; /* 对应tracepoint的指针 */
    char is_registered; /* 记录回调函数是否已注册 */
};

/* 用于生成一个struct interest_tracepoint结构体并初始化，参数： tracepoint_name */
#define INIT_INTEREST_TRACEPOINT(tracepoint_name) \
    static struct interest_tracepoint tracepoint_name##_tracepoint = {.callback = NULL, .ptr = NULL, .is_registered = 0};

/* 该宏用于生成for_each_kernel_tracepoint的回调函数，前者用于遍历整个内核的tracepoint表 */
#define TRACEPOINT_FIND(tracepoint_name)                                             \
    static void tracepoint_name##_tracepoint_find(struct tracepoint *tp, void *priv) \
    {                                                                                \
        if (!strcmp(#tracepoint_name, tp->name))                                     \
        {                                                                            \
            ((struct interest_tracepoint *)priv)->ptr = tp;                          \
            return;                                                                  \
        }                                                                            \
    }

/* 用于注销一个tracepoint的回调函数 */
static void clear_tracepoint(struct interest_tracepoint *interest)
{
    if (interest->is_registered)
    {
        tracepoint_probe_unregister(interest->ptr, interest->callback, NULL);
    }
}

/* 生成并初始化struct interest_tracepoint ext4_drop_inode */
INIT_INTEREST_TRACEPOINT(ext4_drop_inode)

/* 生成ext4_drop_inode_tracepoint_find函数 */
TRACEPOINT_FIND(ext4_drop_inode)

/* tracepoint: ext4_drop_inode触发时的回调函数 */
static void ext4_drop_inode_tracepoint_callback(void *data, struct inode *inode)
{
    /* 这里可以插入你需要的自定义逻辑，例如打印inode的详细信息 */
    pr_info("ext4_drop_inode called for inode: %ld\n", inode->i_ino);
}

static int __init tracepoint_init(void)
{
    /* 在我们自己的struct interest_tracepoint中记录管理的tracepoint要调用的回调函数 */
    ext4_drop_inode_tracepoint.callback = ext4_drop_inode_tracepoint_callback;

    /* 使用for_each_kernel_tracepoint遍历并查找ext4_drop_inode的tracepoint */
    for_each_kernel_tracepoint(ext4_drop_inode_tracepoint_find, &ext4_drop_inode_tracepoint);

    /* 判断是否找到目标tracepoint */
    if (!ext4_drop_inode_tracepoint.ptr)
    {
        pr_info("ext4_drop_inode's struct tracepoint not found\n");
        return 0;
    }

    /* 注册回调函数到tracepoint */
    tracepoint_probe_register(ext4_drop_inode_tracepoint.ptr, ext4_drop_inode_tracepoint.callback, NULL);

    ext4_drop_inode_tracepoint.is_registered = 1; /* 记录回调函数已注册 */

    return 0;
}

static void __exit tracepoint_exit(void)
{
    clear_tracepoint(&ext4_drop_inode_tracepoint);
}

module_init(tracepoint_init);
module_exit(tracepoint_exit);
MODULE_LICENSE("GPL");

注意，上述代码中的输出信息采用了更加直观的命名方式，以便于理解和维护。

3.3 验证

加载模块后，可以通过 dmesg 命令检查内核消息缓冲区，验证是否成功捕捉到了 ext4_drop_inode 事件：

dmesg | grep ext4_drop_inode

这一步骤有助于确认我们的模块是否按预期工作。

4. 在用户空间使用 Tracepoint

除了内核模块之外，用户还可以借助一系列强大的工具，如 trace-cmd 和 perf，轻松捕获并分析 Tracepoint 事件。

4.1 使用 trace-cmd 捕获事件

以下是使用 trace-cmd 工具捕捉 ext4/ext4_drop_inode 事件的具体步骤：

1. 启动事件捕获

   sudo trace-cmd record -e ext4:ext4_drop_inode
   

2. 触发事件（例如删除一个文件）

   rm /path/to/file
   

3. 查看捕获结果

   trace-cmd report
   

输出示例：

rm-137270 [005] 333384.754465: ext4_drop_inode: device=8,2 inode=1357167 drop=1

5. 总结与延伸

与其他调试技术对比

核心回顾

Tracepoint 作为一种轻量级的跟踪解决方案，在保证系统稳定性的同时，提供了极大的灵活性。它特别适用于那些需要持续监测和优化的应用场景，帮助开发者更好地理解系统行为。

扩展方向

• 结合 ftrace 使用，进一步挖掘内核活动的细节。
• 利用 bpftrace 或其他 eBPF 工具，探索更为复杂的监控策略，包括跨层数据关联和实时反馈。