linux之perf(17)PMU事件采集脚本

Linux之perf(17)PMU事件采集脚本

Author: Once Day Date: 2025年2月22日

一位热衷于Linux学习和开发的菜鸟，试图谱写一场冒险之旅，也许终点只是一场白日梦…

漫漫长路，有人对你微笑过嘛…

全系列文章可参考专栏: Perf性能分析_Once_day的博客-CSDN博客。

参考文章:

• Tutorial - Perf Wiki (kernel.org)
• perf-top(1) - Linux manual page (man7.org)

1. Perf stat介绍

perf 是 Linux 内核提供的 性能分析工具，用于监控和分析 CPU、缓存、内存、I/O 等系统性能指标。

常用于统计 CPU 使用情况，分析函数调用热点(热点分析)，监测硬件事件(如缓存未命中、指令执行)，发现性能瓶颈。

在Linux系统上可以直接通过软件包管理器安装：

sudo apt install linux-tools-common linux-tools-$(uname -r)  # Ubuntu/Debian
sudo yum install perf                                        # CentOS/RHEL

perf stat 是 perf 的子命令，用于统计系统或进程的性能指标，比如指令执行数、CPU 时钟周期、缓存未命中等。

下面是一个基本用法示例：

root@linux:/var# perf stat      

 Performance counter stats for 'system wide':

       1969.215600      cpu-clock (msec)          #    2.000 CPUs utilized          
             24504      context-switches          #    0.012 M/sec                  
                 0      cpu-migrations            #    0.000 K/sec                  
              1221      page-faults               #    0.620 K/sec                  
        1969063645      cycles                    #    1.000 GHz                    
        1085510412      instructions              #    0.55  insn per cycle         
         115590912      branches                  #   58.699 M/sec                  
           4341812      branch-misses             #    3.76% of all branches        

       0.984769200 seconds time elapsed       

常用选项：

2. 设计与实现

2.1 采集事件来源

perf list 是 perf 工具的一个子命令，用于列出所有可用的性能监控事件（PMU 事件），包括 CPU 指令、缓存、内存、软件计数等。

perf list 事件分类：

通过使用 perf list 找到要监测的事件，然后用 perf stat -e <event> 进行分析。

例如，在设备上找到了以下与cache相关的事件：

硬件事件
    bus-cycles: 总线周期数
    cache-misses: cache miss次数
    cache-references: cache访问次数
硬件cache事件
    L1-dcache-load-misses: L1数据cache读miss次数
    L1-dcache-loads: L1数据cache读次数
    L1-dcache-store-misses: L1数据cache写miss次数
    L1-dcache-stores: L1数据cache写次数
    L1-icache-load-misses: L1指令cache读miss次数
    L1-icache-loads: L1指令cache读次数
    branch-load-misses: 分支预测表读miss次数
    branch-loads: 分支预测表读次数
    dTLB-load-misses: 数据TLB读miss次数
    iTLB-load-misses: 指令TLB读miss次数
内核PMU事件
    armv8_pmuv3/br_immed_retired/: 直接分支指令数
    armv8_pmuv3/br_mis_pred/: 预测失败分支数
    armv8_pmuv3/br_pred/: 预测成功分支数
    armv8_pmuv3/bus_access/: 总线访问事件
    armv8_pmuv3/bus_cycles/: 总线周期
    armv8_pmuv3/cid_write_retired/: 上下文ID寄存器写入事件
    armv8_pmuv3/cpu_cycles/: CPU周期
    armv8_pmuv3/exc_return/: 异常返回事件
    armv8_pmuv3/exc_taken/: 发生异常事件
    armv8_pmuv3/inst_retired/: 执行指令数
    armv8_pmuv3/l1d_cache/: L1数据cache访问事件
    armv8_pmuv3/l1d_cache_refill/: L1数据cache refill事件
    armv8_pmuv3/l1d_cache_wb/: L1数据cache写回事件
    armv8_pmuv3/l1d_tlb_refill/: L1数据TLB refill事件
    armv8_pmuv3/l1i_cache/: L1指令cache访问事件
    armv8_pmuv3/l1i_cache_refill/: L1指令cache refill事件
    armv8_pmuv3/l1i_tlb_refill/: L1指令TLB refill事件
    armv8_pmuv3/l2d_cache/: L2数据cache访问事件
    armv8_pmuv3/l2d_cache_refill/: L2数据cache refill事件
    armv8_pmuv3/l2d_cache_wb/: L2数据cache写回事件
    armv8_pmuv3/ld_retired/: 执行的load指令数
    armv8_pmuv3/mem_access/: 数据内存访问事件
    armv8_pmuv3/memory_error/: memory error事件
    armv8_pmuv3/pc_write_retired/: 执行的PC寄存器写指令数
    armv8_pmuv3/st_retired/: 执行的store指令数
    armv8_pmuv3/sw_incr/: 软件增加事件计数
    armv8_pmuv3/unaligned_ldst_retired/: 执行的非对齐的load/store指令数

然后分类为不同组，每组4-6个事件，不能太多，设备的PMU单元有限。当事件数超过硬件计数器支持的数量时，perf 会采用 多路复用（Multiplexing） 机制，导致每个事件只能在部分时间窗口内进行测量。

下面拆分为8个组事件：

# 定义以上提到的PMU事件, 单次最多支持6个事件
THIS_PMU_EVENTS = {
    "base-events": ["cycles", "instructions", "bus-cycles", "cache-misses", "cache-references"],
    "L1-dcache-events": ["L1-dcache-load-misses", "L1-dcache-loads", "L1-dcache-store-misses", "L1-dcache-stores", "dTLB-load-misses"],
    "L1-icache-events": ["L1-icache-load-misses", "L1-icache-loads", "iTLB-load-misses"],
    "armv8-base-events": ["bus_cycles", "bus_access", "mem_access", "memory_error", "cpu_cycles", "inst_retired"],
    "armv8-dcache-events": ["l1d_cache", "l1d_cache_refill", "l1d_cache_wb", "l1d_tlb_refill"],
    "armv8-icache-events": ["l1i_cache", "l1i_cache_refill", "l1i_tlb_refill"],
    "armv8-l2cache-events": ["l2d_cache", "l2d_cache_refill", "l2d_cache_wb"],
    "armv8-ldst-events": ["ld_retired", "st_retired", "unaligned_ldst_retired"],
}

2.2 使用CSV格式输出数据

perf stat支持输出CSV格式数据，我们不选择聚合数据，而是按照CPU分别输出，且每1s输出一次数据，如下：

perf stat -a -A -I 1000 -x , -e {events_str} sleep 10.5 2>&1

选项说明：

• -a：系统范围(system-wide)，监控所有 CPU，而不仅限于当前进程。
• -A：每个 CPU 单独显示统计数据(per-CPU statistics)。
• -I 1000：以 1000 毫秒(1 秒)为间隔，定期输出统计数据(定时采样)。
• -x ,：使用逗号(,)作为字段分隔符，以 CSV 格式输出数据，便于解析。
• -e {events_str}：指定要监控的硬件/软件事件，{events_str} 需要替换为具体的事件列表（如 cpu-cycles,instructions,cache-misses）。
• sleep 10.5：让 perf stat 运行 10.5 秒，然后退出。
• 2>&1：重定向标准错误输出到标准输出，确保所有输出信息都可以被捕获(例如写入文件或管道处理)。

下面是一个运行示例：

root@linux:/var# perf stat -e unaligned_ldst_retired,l2d_cache_refill -a -A -I 1000 -x ,
     # time,cpu,counter,unit,event,duration(ns),unit,,
     1.000226480,CPU0,73480,,unaligned_ldst_retired,1000147600,100.00,,
     1.000226480,CPU1,2807316,,unaligned_ldst_retired,1000158640,100.00,,
     1.000226480,CPU0,1343260,,l2d_cache_refill,1000152080,100.00,,
     1.000226480,CPU1,1282233,,l2d_cache_refill,1000149120,100.00,,

该 perf stat 命令定期(每秒)采样两个硬件事件 unaligned_ldst_retired(未对齐的加载/存储指令退役)和 l2d_cache_refill（L2 数据缓存未命中导致的填充），并按 CPU（CPU0 和 CPU1）分别统计。

从示例数据来看，在 1 秒内：

• 未对齐的加载/存储指令退役 (unaligned_ldst_retired)，CPU0 发生 73,480 次，CPU1 发生 2,807,316 次，CPU1 远高于 CPU0，可能存在未对齐内存访问较多的任务。
• L2 数据缓存填充 (l2d_cache_refill)，CPU0 发生 1,343,260 次，CPU1 发生 1,282,233 次，两个 CPU 的 L2 缓存填充次数接近，说明 L2 缓存访问特性相似。

采样时间间隔 约 1 秒（duration(ns) 约 1,000,000,000 纳秒）。

2.3 Python解析数据和保存数据

get_pmu_events 和 record_pmu_events 是两个用于收集和记录PMU（性能监控单元）事件数据的函数。

def get_pmu_events(events_str: str) -> dict[str, list[dict[str, str]]]:
    cmd_str = f"perf stat -a -A -I 1000 -x , -e {events_str} sleep 10.5 2>&1"
    logging.info(f"Start to collect PMU event data, command: {cmd_str}")
    result = os.popen(cmd_str).read()
    pmu_events = {}
    for line in result.split("\n"):
        line_data = line.strip().split(",")
        if len(line_data) != 9:
            logging.debug(f"Invalid data, skip: {line}")
            continue
        timestamp, cpu, counter, _, event_name, duration, _, _, _ = line_data
        timestamp = timestamp.strip()
        logging.info(f"Collect PMU event data: {timestamp}: {cpu}, {duration}, {event_name}: {counter}")
        event_data = {"timestamp": timestamp, "cpu": cpu, "cycles": duration, "counter": counter}
        if event_name not in pmu_events:
            pmu_events[event_name] = []
        pmu_events[event_name].append(event_data)
    return pmu_events

get_pmu_events 函数的作用是执行 perf stat 命令来收集指定的PMU事件数据，并解析结果，返回一个包含解析后数据的字典。

解析 perf stat 数据的步骤：

1. 构建 perf stat 命令字符串，指定要收集的事件、采集间隔和持续时间。
2. 使用 os.popen 异步执行 perf stat 命令，并读取输出结果。
3. 将结果按行分割，并逐行解析数据。
4. 每行数据按逗号分隔，提取时间戳、CPU编号、事件值和事件名称等信息。
5. 将解析后的数据存入字典中，字典的键是事件名称，值是包含事件数据的列表。

record_pmu_events 函数的作用是遍历指定的PMU事件组，逐个采集数据，并将数据保存到指定的文件中。

def record_pmu_events(event_groups: dict[str, list[str]], output_file: str, tag: str):
    for group_name, events in event_groups.items():
        logging.info(f"Start to collect PMU events data for group: {group_name} - {events}")
        events_str = ",".join(events)
        pmu_events = get_pmu_events(events_str)
        with open(output_file, "a+") as f:
            for event_name, event_data in pmu_events.items():
                for data in event_data:
                    f.write(f"{tag},{event_name},{data['timestamp']},{data['cpu']},{data['cycles']},{data['counter']}\n")
        logging.info(f"Save PMU events {group_name} data to file: {output_file}")
    logging.info(f"Record PMU events data finished, save to file: {output_file}")

保存数据到文件的步骤：

1. 遍历事件组，逐个采集PMU事件数据。
2. 调用 get_pmu_events 函数获取指定事件组的PMU事件数据。
3. 将解析后的数据以CSV格式保存到文件中。每条记录包含标签、事件名、时间戳、CPU编号、统计时长和计数器值。
4. 如果文件不存在，则创建文件并写入CSV表头。
5. 记录完成后，日志记录保存文件的操作。

2.4 制作图表

在设备上运行脚本后，可以生成CSV文件，信息如下：

tag,event_name,timestamp,cpu,cycles,counter
skip_soft_checksum,cycles,1.000446320,CPU0,1000195920,1000054507
skip_soft_checksum,cycles,1.000446320,CPU1,1000217200,1000190918
skip_soft_checksum,cycles,2.001181600,CPU0,1000808960,1000729035
skip_soft_checksum,cycles,2.001181600,CPU1,1000796640,1000787052
skip_soft_checksum,cycles,3.001844080,CPU0,1000659440,1000584718
skip_soft_checksum,cycles,3.001844080,CPU1,1000659520,1000649955
......

但这个数据不够形象，需要转换为图表，有很多种方式，比如python处理成图表，导入Excel处理等。

我们这里选择导入飞书多维数据表格，然后生成需要的图表。

3. 源码文件

'''
SPDX-License-Identifier: BSD-3-Clause

Copyright (c) 2025 Once Day <once_day@qq.com>, All rights reserved.

FilePath: /linux/perf/pmu-collect/pmu-collect.py
@Author: Once Day <once_day@qq.com>.
Date: 2025-02-22 12:57
@info: Encoder=utf-8,Tabsize=4,Eol=\n.

@Description:
    收集指定的PMU事件数据, 使用perf stat命令收集数据, 并将数据保存到指定的文件中.

@History:
    2025-02-22: 支持 【收集 + 触发开关 + 收集】 的简易控制变量模型

'''

from math import log
import os
import sys
import logging

# 日志配置, 默认INFO级别, 格式: 时间 <级别> 文件名-代码行: 消息, 重定向到标准输出
logging.basicConfig(level=logging.INFO, format="%(asctime)s <%(levelname)s> %(filename)s-%(lineno)d: %(message)s", stream=sys.stdout)

# PMU事件列表
"""
硬件事件
    bus-cycles: 总线周期数
    cache-misses: cache miss次数
    cache-references: cache访问次数
硬件cache事件
    L1-dcache-load-misses: L1数据cache读miss次数
    L1-dcache-loads: L1数据cache读次数
    L1-dcache-store-misses: L1数据cache写miss次数
    L1-dcache-stores: L1数据cache写次数
    L1-icache-load-misses: L1指令cache读miss次数
    L1-icache-loads: L1指令cache读次数
    branch-load-misses: 分支预测表读miss次数
    branch-loads: 分支预测表读次数
    dTLB-load-misses: 数据TLB读miss次数
    iTLB-load-misses: 指令TLB读miss次数
内核PMU事件
    armv8_pmuv3/br_immed_retired/: 直接分支指令数
    armv8_pmuv3/br_mis_pred/: 预测失败分支数
    armv8_pmuv3/br_pred/: 预测成功分支数
    armv8_pmuv3/bus_access/: 总线访问事件
    armv8_pmuv3/bus_cycles/: 总线周期
    armv8_pmuv3/cid_write_retired/: 上下文ID寄存器写入事件
    armv8_pmuv3/cpu_cycles/: CPU周期
    armv8_pmuv3/exc_return/: 异常返回事件
    armv8_pmuv3/exc_taken/: 发生异常事件
    armv8_pmuv3/inst_retired/: 执行指令数
    armv8_pmuv3/l1d_cache/: L1数据cache访问事件
    armv8_pmuv3/l1d_cache_refill/: L1数据cache refill事件
    armv8_pmuv3/l1d_cache_wb/: L1数据cache写回事件
    armv8_pmuv3/l1d_tlb_refill/: L1数据TLB refill事件
    armv8_pmuv3/l1i_cache/: L1指令cache访问事件
    armv8_pmuv3/l1i_cache_refill/: L1指令cache refill事件
    armv8_pmuv3/l1i_tlb_refill/: L1指令TLB refill事件
    armv8_pmuv3/l2d_cache/: L2数据cache访问事件
    armv8_pmuv3/l2d_cache_refill/: L2数据cache refill事件
    armv8_pmuv3/l2d_cache_wb/: L2数据cache写回事件
    armv8_pmuv3/ld_retired/: 执行的load指令数
    armv8_pmuv3/mem_access/: 数据内存访问事件
    armv8_pmuv3/memory_error/: memory error事件
    armv8_pmuv3/pc_write_retired/: 执行的PC寄存器写指令数
    armv8_pmuv3/st_retired/: 执行的store指令数
    armv8_pmuv3/sw_incr/: 软件增加事件计数
    armv8_pmuv3/unaligned_ldst_retired/: 执行的非对齐的load/store指令数
"""
# 定义以上提到的PMU事件, 单次最多支持6个事件
THIS_PMU_EVENTS = {
    "base-events": ["cycles", "instructions", "bus-cycles", "cache-misses", "cache-references"],
    "L1-dcache-events": ["L1-dcache-load-misses", "L1-dcache-loads", "L1-dcache-store-misses", "L1-dcache-stores", "dTLB-load-misses"],
    "L1-icache-events": ["L1-icache-load-misses", "L1-icache-loads", "iTLB-load-misses"],
    "armv8-base-events": ["bus_cycles", "bus_access", "mem_access", "memory_error", "cpu_cycles", "inst_retired"],
    "armv8-dcache-events": ["l1d_cache", "l1d_cache_refill", "l1d_cache_wb", "l1d_tlb_refill"],
    "armv8-icache-events": ["l1i_cache", "l1i_cache_refill", "l1i_tlb_refill"],
    "armv8-l2cache-events": ["l2d_cache", "l2d_cache_refill", "l2d_cache_wb"],
    "armv8-ldst-events": ["ld_retired", "st_retired", "unaligned_ldst_retired"],
}

# 采集PMU事件并且解析结果, 存入文件里面
"""
root@linux:/var# perf stat -e unaligned_ldst_retired,l2d_cache_refill -a -A -I 1000 -x ,
     # time,cpu,counter,unit,event,duration(ns),unit,,
     1.000226480,CPU0,73480,,unaligned_ldst_retired,1000147600,100.00,,
     1.000226480,CPU1,2807316,,unaligned_ldst_retired,1000158640,100.00,,
     1.000226480,CPU0,1343260,,l2d_cache_refill,1000152080,100.00,,
     1.000226480,CPU1,1282233,,l2d_cache_refill,1000149120,100.00,,
"""
def get_pmu_events(events_str: str) -> dict[str, list[dict[str, str]]]:
    """
    执行perf stat命令, 并且解析结果, 返回解析后的结果
        -a -A: 收集所有CPU的数据, 且按照CPU编号进行区分
        -I 1000: 每隔1s收集一次数据
        -x ,: 使用逗号分隔数据
        sleep 60: 收集60s的数据
    返回数据格式:
    {
        "unaligned_ldst_retired": [
            {"timestamp": "1.000226480", "cpu": "CPU0", "counter": "1000147600"},
            {"timestamp": "1.000226480", "cpu": "CPU1", "counter": "1000158640"}
        ],
        ......
    }
    """

    cmd_str = f"perf stat -a -A -I 1000 -x , -e {events_str} sleep 10.5 2>&1"
    # 异步执行perf stat命令, 并且将结果保存到文件中(添加到文件末尾)
    logging.info(f"Start to collect PMU event data, command: {cmd_str}")
    # 使用pipe读取数据
    result = os.popen(cmd_str).read()
    # logging.debug(f"Collect PMU event data finished, output result: {result}")

    # 解析结果
    pmu_events = {}
    for line in result.split("\n"):
        # 解析每一行数据
        line_data = line.strip().split(",")
        # 数据格式: time,cpu,counter,unit,event,duration,unit,, 9个数据
        if len(line_data) != 9:
            logging.debug(f"Invalid data, skip: {line}")
            continue
        # 时间戳, CPU编号, 事件值, 事件名称
        timestamp, cpu, counter, _, event_name, duration, _, _, _ = line_data
        # 去除timestamp中的空格
        timestamp = timestamp.strip()
        logging.info(f"Collect PMU event data: {timestamp}: {cpu}, {duration}, {event_name}: {counter}")
        # 保存数据
        event_data = {"timestamp": timestamp, "cpu": cpu, "cycles": duration, "counter": counter}
        if event_name not in pmu_events:
            pmu_events[event_name] = []
        pmu_events[event_name].append(event_data)
    return pmu_events

def record_pmu_events(event_groups: dict[str, list[str]], output_file: str, tag: str):
    """
        遍历PMU事件组, 逐个采集数据, 并且将数据保存到文件中.
    """
    for group_name, events in event_groups.items():
        # 采集PMU事件数据
        logging.info(f"Start to collect PMU events data for group: {group_name} - {events}")
        events_str = ",".join(events)
        pmu_events = get_pmu_events(events_str)
        # 解析数据, 保存到文件中, 记录为CSV格式: 标签, 事件名, 时间戳(s), CPU编号, 统计时长(us), 计数器值
        with open(output_file, "a+") as f:
            for event_name, event_data in pmu_events.items():
                for data in event_data:
                    f.write(f"{tag},{event_name},{data['timestamp']},{data['cpu']},{data['cycles']},{data['counter']}\n")
        logging.info(f"Save PMU events {group_name} data to file: {output_file}")
    logging.info(f"Record PMU events data finished, save to file: {output_file}")

if __name__ == "__main__":

    save_file = "this_pmu_events.csv"
    # 如果文件不存在, 则创建文件
    if not os.path.exists(save_file):
        with open(save_file, "w") as f:
            # CSV格式: 标签, 事件名, 时间戳(s), CPU编号, 统计时长(us), 计数器值
            f.write("tag,event_name,timestamp,cpu,cycles,counter\n")
        logging.info(f"Create new file: {save_file}")
    else:
        logging.info(f"Use existing file: {save_file}")

    # 标签名称来自于命令行参数
    if len(sys.argv) > 1:
        tag_str = sys.argv[1]
    else:
        tag_str = "default"
    logging.info(f"Start to collect PMU events data, tag: {tag_str}")

    # 采集THIS_PMU_EVENTS中定义的PMU事件, 并且保存到文件中
    record_pmu_events(THIS_PMU_EVENTS, save_file, tag_str)