Python 数据建模与分析项目实战预备 Day 6 - 多模型对比与交叉验证验证策略

✅ 今日目标

• 引入多种常见分类模型（随机森林、支持向量机、K近邻等）
• 比较不同模型的训练效果
• 使用交叉验证提升评估稳定性

🧾 一、对比模型列表

🧪 二、交叉验证策略

使用 cross_val_score 进行 K 折交叉验证，常用 cv=5：

from sklearn.model_selection import cross_val_score
scores = cross_val_score(model, X, y, cv=5, scoring="accuracy")

还可以比较不同模型的：

• accuracy
• roc_auc
• f1_macro 等指标

🧪 今日练习任务

编写脚本 model_compare_cv.py，实现：

• 加载 processed_X_train.csv 与标签

• 初始化多个模型

• 对每个模型进行 5 折交叉验证

• 输出每个模型的平均准确率和 AUC

  # model_compare_cv.py - 多模型比较与交叉验证（优化版）
  
  import pandas as pd
  import numpy as np
  import warnings
  from sklearn.model_selection import cross_val_score
  from sklearn.preprocessing import StandardScaler
  from sklearn.linear_model import LogisticRegression
  from sklearn.neighbors import KNeighborsClassifier
  from sklearn.tree import DecisionTreeClassifier
  from sklearn.ensemble import RandomForestClassifier
  from sklearn.svm import SVC
  
  # 忽略数值计算警告
  warnings.filterwarnings("ignore", category=RuntimeWarning)
  
  # 读取训练数据
  X = pd.read_csv("./data/stage4/processed_X_train.csv")
  y = pd.read_csv("./data/stage4/processed_y_train.csv").values.ravel()
  
  # 检查数值问题
  print("🔎 是否包含 NaN:", X.isna().sum().sum())
  print("🔎 是否包含 Inf:", (~np.isfinite(X)).sum().sum())
  print("🔎 特征最大值:", X.max().max())
  print("🔎 特征最小值:", X.min().min())
  
  # 标准化所有特征
  scaler = StandardScaler()
  X_scaled = pd.DataFrame(scaler.fit_transform(X), columns=X.columns)
  
  # 定义模型集合
  models = {
      "Logistic Regression": LogisticRegression(max_iter=1000, random_state=42),
      "K-Nearest Neighbors": KNeighborsClassifier(),
      "Decision Tree": DecisionTreeClassifier(random_state=42),
      "Random Forest": RandomForestClassifier(random_state=42),
      "SVM": SVC(probability=True, random_state=42),
  }
  
  # 定义评价指标
  scoring = ["accuracy", "roc_auc"]
  
  # 逐模型评估
  for name, model in models.items():
      print(f"🔍 模型：{name}")
      for score in scoring:
          cv_scores = cross_val_score(model, X_scaled, y, cv=5, scoring=score)
          print(f"  [{score}] 平均得分: {cv_scores.mean():.4f} ± {cv_scores.std():.4f}")
      print("-" * 40)
  
  print("✅ 所有模型交叉验证完毕。")
  

  运行输出：

  🔎 是否包含 NaN: 0
  🔎 是否包含 Inf: 0
  🔎 特征最大值: 1.6341648019019988
  🔎 特征最小值: -1.6565987890014815
  🔍 模型：Logistic Regression
    [accuracy] 平均得分: 0.7500 ± 0.0988
    [roc_auc] 平均得分: 0.8409 ± 0.0656
  ----------------------------------------
  🔍 模型：K-Nearest Neighbors
    [accuracy] 平均得分: 0.6875 ± 0.0906
    [roc_auc] 平均得分: 0.7469 ± 0.0751
  ----------------------------------------
  🔍 模型：Decision Tree
    [accuracy] 平均得分: 0.6438 ± 0.0829
    [roc_auc] 平均得分: 0.6442 ± 0.0829
  ----------------------------------------
  🔍 模型：Random Forest
    [accuracy] 平均得分: 0.6937 ± 0.0696
    [roc_auc] 平均得分: 0.7739 ± 0.0815
  ----------------------------------------
  🔍 模型：SVM
    [accuracy] 平均得分: 0.6813 ± 0.0914
    [roc_auc] 平均得分: 0.7829 ± 0.0867
  ----------------------------------------
  ✅ 所有模型交叉验证完毕。