KEDA/HPA/VPA 三件套：ABP 后台作业的事件驱动伸缩

🚀 KEDA/HPA/VPA 三件套：ABP 后台作业的事件驱动伸缩

0. TL;DR ✨

• KEDA 👉 负责事件触发与0↔1 激活/休眠；并自动创建/接管 HPA（请不要再手写同目标的 HPA）。
• HPA 👉 负责1↔N 扩缩（默认15s同步；默认300s下行稳定窗，可在 behavior 中覆盖）。
• VPA 👉 收敛 requests/limits（建议先 Initial/Off，稳定后再灰度 Auto）。
• 整合 👉 KEDA（RabbitMQ QueueLength + MessageRate 双触发）+ HPA behavior（稳收限步）+ VPA（资源画像）+ ABP RateLimiter & Prefetch（削峰防抖）。

1. 背景与目标 🎯

ABP 的后台作业（Volo.Abp.BackgroundJobs.RabbitMQ）在洪峰来临时常瞬时积压。仅靠 CPU/内存型 HPA 会响应滞后。本文给出工程化、可复现的三件套方案：

事件敏感（KEDA） + 放大/收敛可控（HPA） + 资源自适应（VPA） + 端侧防抖（RateLimiter & Prefetch）。

2. 架构与协作机制 🧩

2.1 系统总览（组件与数据流）

要点：

• KEDA 轮询 RabbitMQ，生成外部指标供 HPA。
• HPA 按行为规则完成 1↔N；KEDA 负责 0↔1。
• VPA 仅调 requests/limits，与 HPA（外部指标）解耦。

2.2 0→1 激活 / 1→N 扩缩 时序

2.3 VPA 行为

3. 环境基线与安装要点 🧱

• KEDA（Helm）：官方 chart；安装后 KEDA 成为 external metrics 提供者并与 HPA 打通。
• HPA 控制循环：默认 15s 同步；默认 300s 下行稳定窗（behavior 可覆盖）。
• RabbitMQ in K8s：推荐 RabbitMQ Cluster Operator；或使用现有 RabbitMQ 并开启 Management API。
• 兼容性：KEDA 与云平台版本映射可能不同，请以平台文档为准。

4. 可复现部署清单 🛠️

命名空间 abp-jobs、Deployment 名 abp-background-job，容器名 app。RabbitMQ 已开 Management API。

4.1 安装 KEDA（Helm）

helm repo add kedacore https://kedacore.github.io/charts
helm repo update
helm install keda kedacore/keda -n keda --create-namespace
kubectl get pods -n keda

4.2 ABP 后台作业 Deployment（节选）

apiVersion: apps/v1
kind: Deployment
metadata:
  name: abp-background-job
  namespace: abp-jobs
spec:
  replicas: 1
  selector:
    matchLabels: { app: abp-background-job }
  template:
    metadata:
      labels: { app: abp-background-job }
    spec:
      containers:
        - name: app
          image: your-registry/abp-job:latest
          env:
            - name: RABBITMQ__Connections__Default__HostName
              value: "rabbitmq"
            - name: RABBITMQ__Connections__Default__Port
              value: "5672"
            - name: RABBITMQ__Connections__Default__UserName
              valueFrom: { secretKeyRef: { name: rmq-auth, key: username } }
            - name: RABBITMQ__Connections__Default__Password
              valueFrom: { secretKeyRef: { name: rmq-auth, key: password } }
          resources:
            requests: { cpu: "250m", memory: "256Mi" }
            limits:   { cpu: "1",    memory: "512Mi" }

🔧 ABP Prefetch 与队列前缀可在模块配置中设置（见 §5）。

（可选）创建 rmq-auth Secret（供应用连接 AMQP）

apiVersion: v1
kind: Secret
metadata:
  name: rmq-auth
  namespace: abp-jobs
type: Opaque
stringData:
  username: "user"
  password: "pass"

4.3 KEDA 认证 & 触发（RabbitMQ：队列长度 + 消息速率）

apiVersion: v1
kind: Secret
metadata:
  name: keda-rabbitmq
  namespace: abp-jobs
type: Opaque
data:
  # "http://user:pass@rabbitmq:15672/%2f" 的正确 base64
  host: aHR0cDovL3VzZXI6cGFzc0ByYWJiaXRtcToxNTY3Mi8lMmY=
---
apiVersion: keda.sh/v1alpha1
kind: TriggerAuthentication
metadata:
  name: keda-rmq-auth
  namespace: abp-jobs
spec:
  secretTargetRef:
    - parameter: host
      name: keda-rabbitmq
      key: host
---
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: abp-background-job
  namespace: abp-jobs
spec:
  scaleTargetRef:
    name: abp-background-job
    envSourceContainerName: app
  pollingInterval: 30
  cooldownPeriod: 300            # 回 0 的冷却
  initialCooldownPeriod: 120     # 刚创建时的保护窗口
  minReplicaCount: 0
  maxReplicaCount: 50
  fallback:
    failureThreshold: 3
    replicas: 2
  advanced:
    horizontalPodAutoscalerConfig:
      behavior:
        scaleUp:
          stabilizationWindowSeconds: 0
          policies:
            - type: Percent
              value: 200
              periodSeconds: 15
        scaleDown:
          stabilizationWindowSeconds: 300
          policies:
          - type: Percent
            value: 100
            periodSeconds: 60
  triggers:
    # A. QueueLength：控制 backlog/副本
    - type: rabbitmq
      metadata:
        protocol: http
        queueName: abp-queue
        mode: QueueLength
        value: "200"               # 每副本可承载 backlog 目标
        activationValue: "1"       # 严格 “>” 生效
        excludeUnacknowledged: "true"
      authenticationRef:
        name: keda-rmq-auth

    # B. MessageRate：控制吞吐/副本（必须 http）
    - type: rabbitmq
      metadata:
        protocol: http
        queueName: abp-queue
        mode: MessageRate
        value: "150"               # 每副本目标发布速率（msg/s）
        activationValue: "5"
      authenticationRef:
        name: keda-rmq-auth

📌 不要并行手写同目标 HPA；如需调上/下行行为，直接在 advanced.horizontalPodAutoscalerConfig.behavior 中配置。

4.4 VPA（先 Initial 观测，再灰度 Auto）

apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: abp-background-job
  namespace: abp-jobs
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: abp-background-job
  updatePolicy:
    updateMode: "Initial"   # 稳定后再切 Auto（会重建）
  resourcePolicy:
    containerPolicies:
      - containerName: app
        controlledResources: ["cpu","memory"]
        minAllowed: { cpu: "200m", memory: "256Mi" }
        maxAllowed: { cpu: "2",    memory: "2Gi" }

5. 应用侧防抖：RateLimiter + Prefetch 🛡️

5.1 后台作业可直接复用的 RateLimiter

// Program.cs
using System.Threading.RateLimiting;
using Microsoft.AspNetCore.RateLimiting;

builder.Services.AddSingleton<PartitionedRateLimiter<string>>(sp =>
    PartitionedRateLimiter.Create<string, string>(key =>
        RateLimitPartition.GetTokenBucketLimiter(
            partitionKey: key,
            factory: _ => new TokenBucketRateLimiterOptions {
                TokenLimit = 200,                 // 突发容量
                TokensPerPeriod = 200,            // 每秒补充
                ReplenishmentPeriod = TimeSpan.FromSeconds(1),
                QueueLimit = 0,
                QueueProcessingOrder = QueueProcessingOrder.OldestFirst,
                AutoReplenishment = true
            }
        )
    )
);

// 可选：同时保护 HTTP 入站入口
builder.Services.AddRateLimiter(options =>
{
    options.RejectionStatusCode = 429;
    options.AddPolicy("job-consume",
        _ => RateLimitPartition.GetTokenBucketLimiter("job-consume",
             __ => new TokenBucketRateLimiterOptions
             {
                 TokenLimit = 200,
                 TokensPerPeriod = 200,
                 ReplenishmentPeriod = TimeSpan.FromSeconds(1),
                 QueueLimit = 0,
                 QueueProcessingOrder = QueueProcessingOrder.OldestFirst,
                 AutoReplenishment = true
             }));
});

var app = builder.Build();
app.UseRateLimiter();

// 作业处理（示例）
public class MyJobHandler : IBackgroundJob<MyJobArgs>
{
    private readonly PartitionedRateLimiter<string> _limiter;
    public MyJobHandler(PartitionedRateLimiter<string> limiter) => _limiter = limiter;

    public async Task ExecuteAsync(MyJobArgs args)
    {
        using var lease = await _limiter.AcquireAsync("job-consume", 1);
        // 真正处理消息...
    }
}

5.2 ABP RabbitMQ Prefetch（精确控并发）

// Module.cs 中的配置示例
Configure<AbpRabbitMqBackgroundJobOptions>(opt =>
{
    opt.DefaultQueueNamePrefix = "myapp_jobs.";
    opt.PrefetchCount = 8; // 每消费者未确认消息上限
});

6. 压测与验证 🧪

推荐使用官方 RabbitMQ PerfTest 直接“灌队列”，无需第三方扩展。

# 以 1000 msg/s 发布到 abp-queue（按需调整）
docker run --rm pivotalrabbitmq/perf-test:latest \
  --uri amqp://user:pass@rabbitmq:5672/%2f \
  --queue abp-queue --rate 1000 --producers 4 --consumers 0

观察要点：

• 空载时保持 replicas=0；当 backlog 或 rate 超过 activationValue 时 0→1 激活；随后 HPA 进入 1→N。
• 停止发布后，观察 300s 冷却期回落到 0。
• 对比不同 PrefetchCount 与启/停 RateLimiter 时的抖动幅度。

7. 误触发与噪声治理 🧭

8. SLO 门槛与监控建议 📈

• 积压 SLO：queue_ready_messages 5 分钟 P95 ≤ 10k。
• 时延 SLO：发布→消费端到端延迟 P95 ≤ 2s；若用 MessageRate，关注“消费/发布速率比值”。
• 伸缩 SLO：扩容 TTR ≤ 60s；回落平滑度：每分钟收缩 ≤ 100%（由 HPA policies 限定）。

9. 常见坑与最佳实践 ✅

• 不要并行手写同目标 HPA：使用 advanced.horizontalPodAutoscalerConfig.behavior 在 ScaledObject 内调行为即可。
• MessageRate 必须 protocol: http；host 必须包含 vhost（根“/”需编码 %2f）。
• KEDA 只管 0↔1 + 指标；1↔N 频率由 HPA（默认 15s）决定。
• VPA Auto 会重建：生产建议从 Initial/Off 起步，配 PDB。
• PerfTest 更稳：不依赖已归档扩展，官方工具即可。