Node.js + Express的数据库AB View切换方案设计

发布于:2025-07-18 ⋅ 阅读:(13) ⋅ 点赞:(0)

方案总览

数据导入过程:    

- 根据控制表判断当前活跃组(假设当前活跃的是a,那么接下来要导入到b)。    

- 清空非活跃表(即b表)的数据,然后将新数据导入到b表。    

- 切换控制表,将活跃组改为b,这样新的查询就会使用view_b(指向table_b)。    

- 延迟1分钟后清空原来的活跃表(即a表)的数据。

系统设计

1. 数据库结构
-- 数据表
CREATE TABLE data_a (id SERIAL PRIMARY KEY, ...);
CREATE TABLE data_b (id SERIAL PRIMARY KEY, ...);

-- 视图(始终指向活跃表)
CREATE OR REPLACE VIEW current_data AS 
  SELECT * FROM data_a; -- 初始指向A表

-- 控制表(关键元数据)
CREATE TABLE ab_control (
  id SERIAL PRIMARY KEY,
  active_group CHAR(1) NOT NULL CHECK (active_group IN ('a','b')),
  next_switch_time TIMESTAMP
);
INSERT INTO ab_control(active_group) VALUES ('a'); -- 初始状态

--Powered by https://zhengkai.blog.csdn.net/

2. 状态流转逻辑
当前活跃组 | 操作步骤
-------------------------
A (初始)  → 导入数据到B表 
          → 切换视图到B 
          → (1分钟后清空A表)
          → 状态变更为B
B         → 反向操作

Express 实现代码

仅供参考,按照实际使用场景进行改造

const express = require('express');
const { Pool } = require('pg'); // 以PostgreSQL为例
const app = express();
app.use(express.json());

// 数据库配置
const pool = new Pool({...});

// 获取当前活跃组
async function getActiveGroup() {
  const res = await pool.query(
    'SELECT active_group FROM ab_control LIMIT 1'
  );
  return res.rows[0].active_group;
}

// Powered by https://zhengkai.blog.csdn.net/
// 主切换函数
async function switchDataGroup(newData) {
  const client = await pool.connect();
  try {
    await client.query('BEGIN');

    // 1. 获取当前状态
    const { active_group } = (await client.query(
      'SELECT active_group FROM ab_control FOR UPDATE'
    )).rows[0];
    
    // 2. 确定目标组
    const targetGroup = active_group === 'a' ? 'b' : 'a';
    const targetTable = `data_${targetGroup}`;
    
    // 3. 清空目标表并导入数据
    await client.query(`TRUNCATE TABLE ${targetTable}`);
    await client.query(
      `INSERT INTO ${targetTable} (col1, col2) VALUES ${newData.map(d => `(${d.val1}, ${d.val2})`).join(',')}`
    );
    
    // 4. 切换视图
    await client.query(`
      CREATE OR REPLACE VIEW current_data AS 
      SELECT * FROM ${targetTable}
    `);
    
    // 5. 更新控制表
    await client.query(`
      UPDATE ab_control 
      SET 
        active_group = $1,
        next_switch_time = NOW() + INTERVAL '1 minute'
      `, [targetGroup]
    );
    
    await client.query('COMMIT');
    
    // 6. 启动延迟清空任务(非事务内)
    setTimeout(() => clearOldTable(active_group), 60000); 
  } finally {
    client.release();
  }
}

// 延迟清空旧表
async function clearOldTable(oldGroup) {
  const client = await pool.connect();
  try {
    await client.query(`TRUNCATE TABLE data_${oldGroup}`);
  } finally {
    client.release();
  }
}

// 数据导入路由
app.post('/import', async (req, res) => {
  try {
    await switchDataGroup(req.body.data);
    res.status(200).send('Import and switch successful');
  } catch (err) {
    console.error('Switch failed:', err);
    res.status(500).send('Switch operation failed');
  }
});

// 查询路由(始终使用统一视图)
app.get('/data', async (req, res) => {
  const result = await pool.query('SELECT * FROM current_data');
  res.json(result.rows);
});

app.listen(3000, () => console.log('Server running on port 3000'));

关键设计说明

  1. 原子性切换

    使用事务(BEGIN/COMMIT)确保:
    • 三者操作的原子性

    • 目标表清空+导入

    • 控制表更新

  2. 视图解耦

    • current_data 视图始终作为应用层统一查询入口

    • 切换时动态重建视图指向新物理表

  3. 延迟清理

    • 使用 setTimeout 实现1分钟延迟清空

    • 避免阻塞主流程

    • 注意:生产环境建议用Redis/Kue等持久化定时任务

  4. 并发控制

    • SELECT ... FOR UPDATE 锁控制表,防止并发切换

    • 视图重建瞬间的查询短暂阻塞可接受

  5. 故障恢复

    • 控制表记录 next_switch_time 可用于:

      • 重启后检查未完成的清理任务

      • 监控切换状态


生产环境增强建议

  1. 切换日志表

    CREATE TABLE ab_switch_log (
      switch_time TIMESTAMPTZ PRIMARY KEY,
      from_group CHAR(1),
      to_group CHAR(1),
      success BOOLEAN
    );
  2. 重试机制

    // 在clearOldTable中添加重试逻辑
    async function clearOldTable(group) {
      let attempts = 0;
      while (attempts < 3) {
        try {
          await pool.query(`TRUNCATE TABLE data_${group}`);
          return;
        } catch (err) {
          attempts++;
          await new Promise(r => setTimeout(r, 5000));
        }
      }
      // 告警通知
    }
  3. 维护接口

    // 手动触发清理
    app.post('/force-clean', async (req, res) => {
      const { group } = req.body;
      await clearOldTable(group);
      res.send(`Cleaned data_${group}`);
    });
  4. 监控指标

    • 每次切换时记录:切换耗时、数据量大小

    • 视图查询性能监控

此设计实现了平滑的AB表切换,确保服务连续性,同时通过延迟清理机制保障数据安全


网站公告

今日签到

点亮在社区的每一天
去签到