当前位置: 首页 > news >正文

我的笔记:数据体系规则

1、中台数据体系特征

覆盖全域数据:数据集中建设,覆盖所有业务过程数据;
结构层次清晰:纵向数据分层,横向主题域,业务过程划分,让整个层析结构清晰易理解;
数据准确一致:定义一致性指标,统一命名,统一业务含义,统一计算口径,并有专业数据团队进行建模,保证数据的一致性;
性能提升:统一的规划设计,选用合适的数据模型,清晰的定义并统一规范,考虑应用场景,整体性能更好;
降低成本:数据被业务共享,避免大量烟囱式的重复建设,节约计算、存储、人力成本
方便易用:易用的总体原则越往后越能方便地直接使用数据,把一些复杂的处理尽可能前置,必要时做适当的冗余操作;
2、四个数据分层

贴源数据层ODS(Operational Data Store ,操作数据层):对各业务数据进行采集、汇聚,与业务系统基本保持一致,仅做简单整合、非结构化数据处理为结构化或增加标识数据日期描述信息,不做深度清洗加工;
统一数仓层DW(Data Warehouse):分为明细数据层(dwd)和汇总数据层(dws),业务系统是按照业务流程方便操作的方式来组织数据,而统一数仓从业务易理解的视角来重新组织,定义一定的指标、维度,各业务板块、业务域按照统一规范独立建设,从而形成统一规范的标准业务数据体系;
标签数据层TDM(Tag Data Model):面向对象建模,对跨业务板块、跨数据域的特定对象数据进行整合,通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通、形成对象的全域标签体系,方便深度分析、挖掘、应用;
应用数据层ADS(Application Data Stroe):按照业务需求从统一数仓层、标签数据层抽取数据,并面向业务的特殊需要加工业务特定数据,以满足业务及性能需求,向特定应用组装应用数据;
3、数据读取规则:数据读取有严格的规范要求

贴源层数据直接从业务系统或者日志系统获取数据;
贴源层数据只能被统一仓库层使用;
统一仓库层只能被标签层和应用层使用;
所有业务使用的数据均来源于标签层和应用层;
————————————————

原文链接:https://blog.csdn.net/baidu_38792549/article/details/109745028

http://www.lryc.cn/news/139286.html

相关文章:

  • 苍穹外卖 day2 反向代理和负载均衡
  • 【SpringBoot】SpringBoot完整实现电子商务系统
  • RT-Thread 线程管理(学习二)
  • ESP32应用教程(1)— VL53L3CX距离传感器
  • Redis从基础到进阶篇(一)
  • postgresql的基本使用
  • ABC 258 G Triangle(bitset 优化)
  • 使用StreamLold写入 Starrocks报错:Caused by org
  • WX1860- ngbe-1.2.5 xdp程序在路由模式下,使用iperf工具测试数据包不转发,用jmeter可以
  • PHPStudy 安装tp8 php8.2.9 安装XDbug、redis扩展
  • 结构体指针和结构体数组指针
  • libdrm全解析二十 —— 源码全解析(17)
  • 基于docker搭建owncloud Harbor 构建镜像
  • 往Buildroot中增加Qt项目
  • C#-Tolewer和ToUpper的使用
  • RabbitMQ集群搭建和测试总结_亲测
  • SQLSTATE[IMSSP]: The active result for the query contains no fields.
  • 在Flutter应用内部实现分屏功能
  • Docker常用操作命令(二)
  • vue3 tailwindcss的使用
  • redis 基础篇(redis 理解)
  • C++系列-函数重载
  • leetcode-23.合并k个升序链表-day17
  • Linux scp命令
  • vue 简单实验 v-bind 变量与html属性绑定
  • 114.(cesium篇)cesium去掉时间轴并用按钮控制运动
  • 2023年清洁能源与智能电网国际会议(CCESG 2023)
  • RISC-V中国峰会 | 256核服务器高调亮相,谁与争锋?
  • 树套树小结
  • android 解决sdk代码冲突