当前位置: 首页 > news >正文

【数据仓库-4】-- 提取、转换、装载(ETL)

1.数据抽取

1.1 逻辑抽取

1.1.1 全量数据抽取

一般发生在我们初始化时,需要一次性将源库(业务系统)的所有数据抽取到数据仓库的ODS层。

比如将一个全表导出数据文件或者查询源表所有数据的SQL语句, 都是全量抽取的例子。
select * from user.person;

1.1.2 增量数据抽取

对于业务系统的更新表,需要在后续的时间里,增量抽取并更新 ODS 的历史表。对于流水表(只增加,不修改的表),全量数据入仓后,后续的数据,只需要按分区存储即可。一般增量数据抽取有 4种方式:

触发器
时间戳
全表数据对比
binlog

这4种方式的对比

方式名称

http://www.lryc.cn/news/41224.html

相关文章:

  • 【DBC专题】-12-不同类型报文(应用/诊断/网关/测量标定)在DBC中配置,以及在Autosar各模块间的信号数据流向
  • 【Linux】进程的基础概念 进程的相关操作 进程的状态
  • 【小猫爪】AUTOSAR学习笔记06-Communication Stack之ComM模块
  • BP插件开发(JAVA)
  • 【Zookeeper】介绍与配置
  • chrome快捷键
  • 手搓string类
  • 小白学Pytorch系列--Torch API (7)
  • 函数(上)——“Python”
  • ChatGPT说:如何利用ChatGPT变现?躺着赚钱不是梦。
  • 4.网络爬虫—Post请求(实战演示)
  • 【视频文稿】车载Android应用开发与分析 - 开发系统应用
  • Scala流程控制
  • 人脸活体检测系统(Python+YOLOv5深度学习模型+清新界面)
  • prometheus03-如何导出prometheus指标
  • Linux驱动开发——串口设备驱动
  • LeetCode--缺失的第一个正数(41)和 接雨水(42)
  • java源码阅读---ReentrantLock源码解析
  • OpenCv + Qt5.12.2 文字识别
  • 网络作业1【计算机网络】
  • 常见背包问题
  • 【python】python编译器以及安装
  • Effective C++快速复习
  • 【华为OD机试真题JAVA】绘图机器的绘图问题
  • GPT-4最震撼我的一点
  • LeetCode-复制带随机指针的链表
  • 如何在Unity中实现AStar寻路算法及地图编辑器
  • 线性代数之矩阵
  • 【个人首测】百度文心一言 VS ChatGPT GPT-4
  • 基于STM32的ADC采样及各式滤波实现(HAL库,含VOFA+教程)