当前位置: 首页 > news >正文

Node.js + Express的数据库AB View切换方案设计

方案总览

数据导入过程:    

- 根据控制表判断当前活跃组(假设当前活跃的是a,那么接下来要导入到b)。    

- 清空非活跃表(即b表)的数据,然后将新数据导入到b表。    

- 切换控制表,将活跃组改为b,这样新的查询就会使用view_b(指向table_b)。    

- 延迟1分钟后清空原来的活跃表(即a表)的数据。

系统设计

1. 数据库结构
-- 数据表
CREATE TABLE data_a (id SERIAL PRIMARY KEY, ...);
CREATE TABLE data_b (id SERIAL PRIMARY KEY, ...);-- 视图(始终指向活跃表)
CREATE OR REPLACE VIEW current_data AS SELECT * FROM data_a; -- 初始指向A表-- 控制表(关键元数据)
CREATE TABLE ab_control (id SERIAL PRIMARY KEY,active_group CHAR(1) NOT NULL CHECK (active_group IN ('a','b')),next_switch_time TIMESTAMP
);
INSERT INTO ab_control(active_group) VALUES ('a'); -- 初始状态--Powered by https://zhengkai.blog.csdn.net/
2. 状态流转逻辑
当前活跃组 | 操作步骤
-------------------------
A (初始)  → 导入数据到B表 → 切换视图到B → (1分钟后清空A表)→ 状态变更为B
B         → 反向操作

Express 实现代码

仅供参考,按照实际使用场景进行改造

const express = require('express');
const { Pool } = require('pg'); // 以PostgreSQL为例
const app = express();
app.use(express.json());// 数据库配置
const pool = new Pool({...});// 获取当前活跃组
async function getActiveGroup() {const res = await pool.query('SELECT active_group FROM ab_control LIMIT 1');return res.rows[0].active_group;
}// Powered by https://zhengkai.blog.csdn.net/
// 主切换函数
async function switchDataGroup(newData) {const client = await pool.connect();try {await client.query('BEGIN');// 1. 获取当前状态const { active_group } = (await client.query('SELECT active_group FROM ab_control FOR UPDATE')).rows[0];// 2. 确定目标组const targetGroup = active_group === 'a' ? 'b' : 'a';const targetTable = `data_${targetGroup}`;// 3. 清空目标表并导入数据await client.query(`TRUNCATE TABLE ${targetTable}`);await client.query(`INSERT INTO ${targetTable} (col1, col2) VALUES ${newData.map(d => `(${d.val1}, ${d.val2})`).join(',')}`);// 4. 切换视图await client.query(`CREATE OR REPLACE VIEW current_data AS SELECT * FROM ${targetTable}`);// 5. 更新控制表await client.query(`UPDATE ab_control SET active_group = $1,next_switch_time = NOW() + INTERVAL '1 minute'`, [targetGroup]);await client.query('COMMIT');// 6. 启动延迟清空任务(非事务内)setTimeout(() => clearOldTable(active_group), 60000); } finally {client.release();}
}// 延迟清空旧表
async function clearOldTable(oldGroup) {const client = await pool.connect();try {await client.query(`TRUNCATE TABLE data_${oldGroup}`);} finally {client.release();}
}// 数据导入路由
app.post('/import', async (req, res) => {try {await switchDataGroup(req.body.data);res.status(200).send('Import and switch successful');} catch (err) {console.error('Switch failed:', err);res.status(500).send('Switch operation failed');}
});// 查询路由(始终使用统一视图)
app.get('/data', async (req, res) => {const result = await pool.query('SELECT * FROM current_data');res.json(result.rows);
});app.listen(3000, () => console.log('Server running on port 3000'));

关键设计说明

  1. 原子性切换

    使用事务(BEGIN/COMMIT)确保:
    • 三者操作的原子性

    • 目标表清空+导入

    • 控制表更新

  2. 视图解耦

    • current_data 视图始终作为应用层统一查询入口

    • 切换时动态重建视图指向新物理表

  3. 延迟清理

    • 使用 setTimeout 实现1分钟延迟清空

    • 避免阻塞主流程

    • 注意:生产环境建议用Redis/Kue等持久化定时任务

  4. 并发控制

    • SELECT ... FOR UPDATE 锁控制表,防止并发切换

    • 视图重建瞬间的查询短暂阻塞可接受

  5. 故障恢复

    • 控制表记录 next_switch_time 可用于:

      • 重启后检查未完成的清理任务

      • 监控切换状态


生产环境增强建议

  1. 切换日志表

    CREATE TABLE ab_switch_log (switch_time TIMESTAMPTZ PRIMARY KEY,from_group CHAR(1),to_group CHAR(1),success BOOLEAN
    );
  2. 重试机制

    // 在clearOldTable中添加重试逻辑
    async function clearOldTable(group) {let attempts = 0;while (attempts < 3) {try {await pool.query(`TRUNCATE TABLE data_${group}`);return;} catch (err) {attempts++;await new Promise(r => setTimeout(r, 5000));}}// 告警通知
    }
  3. 维护接口

    // 手动触发清理
    app.post('/force-clean', async (req, res) => {const { group } = req.body;await clearOldTable(group);res.send(`Cleaned data_${group}`);
    });
  4. 监控指标

    • 每次切换时记录:切换耗时、数据量大小

    • 视图查询性能监控

此设计实现了平滑的AB表切换,确保服务连续性,同时通过延迟清理机制保障数据安全

http://www.lryc.cn/news/588567.html

相关文章:

  • 【EM算法】三硬币模型
  • 自动微分模块
  • Class9简洁实现
  • JavaScript进阶篇——第二章 高级特性核心
  • JavaScript进阶篇——第一章 作用域与垃圾回收机制
  • 力扣 hot100 Day44
  • java基础(day07)
  • 板凳-------Mysql cookbook学习 (十一--------10)
  • 06【C++ 初阶】类和对象(上篇) --- 初步理解/使用类
  • ThreadLocal内部结构深度解析
  • 《大数据技术原理与应用》实验报告三 熟悉HBase常用操作
  • 每天一个前端小知识 Day 31 - 前端国际化(i18n)与本地化(l10n)实战方案
  • html js express 连接数据库mysql
  • Java:继承和多态(必会知识点整理)
  • 为什么资深C++开发者大部分选vector?揭秘背后的硬核性能真相!
  • 9.服务容错:构建高可用微服务的核心防御
  • #Paper Reading# Apple Intelligence Foundation Language Models
  • 微服务初步入门
  • 量子计算新突破!阿里“太章3.0”实现512量子比特模拟(2025中国量子算力巅峰)
  • 【算法训练营Day12】二叉树part2
  • 《大数据技术原理与应用》实验报告二 熟悉常用的HDFS操作
  • 【小白量化智能体】应用5:编写通达信股票交易指标及生成QMT自动交易Python策略程序
  • UDP协议的端口161怎么检测连通性
  • 【PY32】如何使用 J-Link 和 MDK 开发调试 PY32 MCU
  • 【STM32】什么在使能寄存器或外设之前必须先打开时钟?
  • java基础-1 : 运算符
  • 使用dify生成测试用例
  • 13.计算 Python 字符串的字节大小
  • HTML 文本格式化标签
  • 工业新引擎:预测性维护在工业场景中的实战应用(流程制造业为例)