Linux Kdump服务配置、触发与分析实战教程

一、Kdump简介

Kdump是一种基于kexec的内核崩溃转储机制，用于捕获Linux系统在内核崩溃时的内存状态，生成转储文件（如vmcore），以便后续分析。它通过保留一段内存并加载一个备用内核（捕获内核），在主内核崩溃时切换到备用内核，将崩溃时的内存和寄存器信息转储到磁盘文件中。

二、Kdump服务配置

1. 安装Kdump工具

• 基于RPM的系统（如CentOS、Red Hat）：

  yum install kexec-tools crash kernel-debuginfo
  

• 基于Debian的系统（如Ubuntu）：

  apt-get install linux-crashdump crash linux-image-amd64-dbg
  

2. 配置内核启动参数

• 直接编辑/boot/grub2/grub.cfg：

  vim /boot/grub2/grub.cfg
  

  在内核启动参数中添加crashkernel=auto，或者指定具体大小，如crashkernel=128M。
• 通过/etc/default/grub配置：

  vim /etc/default/grub
  

  添加或修改GRUB_CMDLINE_LINUX="crashkernel=auto"，然后运行以下命令更新GRUB配置：

  grub2-mkconfig -o /boot/grub2/grub.cfg
  

3. 配置/etc/kdump.conf

• 指定转储文件存储路径：

  path /var/crash
  

• 配置转储文件压缩：

  core_collector makedumpfile -c -l -message-level 1 -d 31
  

• 设置转储完成后的行为（如重启）：

  default reboot
  

4. 启动Kdump服务

• 启动服务：

  systemctl start kdump
  

• 设置开机自启：

  systemctl enable kdump
  

5. 验证配置

• 检查Kdump服务状态：

  systemctl status kdump
  

• 查看内核启动参数是否包含crashkernel：

  cat /proc/cmdline
  

三、Kdump文件触发

1. 自动触发

Kdump会在系统发生内核崩溃（如kernel panic）时自动触发，生成转储文件。

2. 手动触发

• 确保系统已配置Kdump服务。
• 执行以下命令手动触发内核崩溃：

  echo 1 > /proc/sys/kernel/sysrq
  echo c > /proc/sysrq-trigger
  

  系统将崩溃并重启，同时生成转储文件。

四、Kdump文件分析

1. 分析工具

• crash：用于分析内核转储文件，提供调用堆栈、寄存器值等详细信息。
• gdb：可用于分析转储文件中的内存映像。
• vmcore-dmesg：用于提取转储文件中的内核消息。
• makedumpfile：用于转换转储文件格式，便于分析。

2. 使用crash工具分析

• 安装crash工具：

  yum install crash
  

• 启动crash工具：

  crash /path/to/vmcore /usr/lib/debug/lib/modules/$(uname -r)/vmlinux
  

  其中/path/to/vmcore是转储文件路径。
• 常用crash命令：
  • 查看进程信息：

    ps
    

  • 查看调用堆栈：

    bt
    

  • 查看寄存器值：

    registers
    

五、实战案例

环境

• 系统：CentOS 7
• 转储文件路径：/var/crash

步骤

1. 配置Kdump：

   • 安装工具：

     yum install kexec-tools crash kernel-debuginfo
     

   • 修改启动参数：

     vim /etc/default/grub
     

     添加GRUB_CMDLINE_LINUX="crashkernel=auto"，并更新GRUB配置。
   • 配置/etc/kdump.conf：

     path /var/crash
     core_collector makedumpfile -c -l -message-level 1 -d 31
     default reboot
     

   • 启动服务：

     systemctl start kdump
     systemctl enable kdump
     

2. 手动触发崩溃：

   echo 1 > /proc/sys/kernel/sysrq
   echo c > /proc/sysrq-trigger
   

   系统崩溃并重启后，/var/crash目录下会生成转储文件。

3. 分析转储文件：

   • 安装kernel-debuginfo包。
   • 启动crash工具：

     crash /var/crash/$(hostname)-$(date +%Y-%m-%d-%H:%M:%S)/vmcore /usr/lib/debug/lib/modules/$(uname -r)/vmlinux
     

   • 使用crash命令分析：

     crash> bt
     crash> ps
     crash> registers
     

通过以上步骤，您可以完成Kdump的配置、触发和分析，帮助快速定位系统崩溃原因。