当前位置: 首页 > news >正文

《阿里大数据之路》研读笔记(1)

首先先看到OLAP和OLTP的区别:

OLTP(Online transaction processing):在线/联机事务处理。典型的OLTP类操作都比较简单,主要是对数据库中的数据进行增删改查,操作主体一般是产品的用户或者是操作人员。

OLAP(Online analytical processing):指联机分析处理。通过分析数据库中的数据来得出一些结论性的东西。比如给老总们看的报表,用于进行市场开拓的用户行为统计,不同维度的汇总分析结果等等。操作主体一般是运营、销售和市场等团队人员。

单次OLTP处理的数据量比较小,所涉及的表非常有限,一般仅一两张表。而OLAP是为了从大量的数据中找出某种规律性的东西,经常用到count()、sum()和avg()等聚合方法,用于了解现状并为将来的计划/决策提供数据支撑,所以对多张表的数据进行连接汇总非常普遍。

为了表示跟OLTP的数据库(database)在数据量和复杂度上的不同,一般称OLAP的操作对象为数据仓库(data warehouse),简称数仓。数据库仓库中的数据,往往来源于多个数据库,以及相应的业务日志。

图片

我的理解是:OPTP更关注事务处理的一致性,比如增删改查每批操作都是在一个事务内操作,避免发生混乱。OLAP更关注数据的整合,将不同源的数据进行整合进行分析。

ER 模型入门教程 - bmms.me

原子指标
原子指标指的是基于业务过程的度量值,顾名思义是不可以在进行拆分的指标
核心功能:对指标的聚合逻辑进行了定义
三要素:业务过程    度量值     聚合逻辑

派生指标
派生指标是基于原子指标的 关系为:派生指标 = 原子指标 + 统计周期 + 业务+ 统计粒度
举例具体解释:
派生指标:最近一周更省份手机品类订单的总额
原子指标:订单总额 (定义业务过程、度量值聚合逻辑)
统计周期:最近一周(限定统计的范围 是一个特殊的业务限定)
业务限定:品类为手机(限定统计范围,相当于SQL中的where条件)
统计粒度:省份(定义统计粒度,相当于SQL中的group by)

衍生指标
衍生指标是在一个或多个派生指标的基础上,通过各种逻辑运算符合而成的。
比如比率,比例等等类型的指标

 

 

 

 

 

 

 

 

 

 

 

http://www.lryc.cn/news/91970.html

相关文章:

  • Logback 日志框架详解
  • BIO、NIO、AIO 有什么区别?
  • nginx和tomcat负载均衡、静态分离
  • 用AI写出的高考作文!
  • chatgpt赋能python:Python屏幕输入介绍:了解命令行输入的基本知识
  • bert中文文本摘要代码(1)
  • 为何溃坝事故频发,大坝安全如何保障?
  • 第十九章_手写Redis分布式锁
  • 电路设计【8】原理图中VCC、VDD、VEE、VSS、VBAT各表示什么意思
  • Volatile、Synchronized、ReentrantLock锁机制使用说明
  • 港联证券|AI概念股继续活跃 科创50指数逆势走高
  • 分布式事务一 事物以及分布式事物介绍
  • 【十四】设计模式~~~行为型模式~~~中介者模式(Java)
  • css3--nth-child的用法
  • 【假捻发加工生产工单下达】
  • Go for-range VS for
  • 大数据教程【01.01】--大数据介绍及开发环境
  • 文件阅览功能的实现(适用于word、pdf、Excel、ppt、png...)
  • 面试-RabbitMQ常见面试问题
  • 使用VBA在单元格中快速插入Unicode符号
  • PyTorch 深度学习 || 专题六:PyTorch 数据的准备
  • 迅为RK3568开发板2800页手册+220集视频
  • 模拟电子 | 稳压管及其应用
  • 使用大型语言模(LLM)构建系统(二):内容审核、预防Prompt注入
  • springboot---mybatis操作事务配置的处理
  • 游戏盾是什么防御DDOS攻击的
  • java快速结束嵌套循环
  • chatgpt赋能python:Python屏蔽一段代码
  • 项目跑不起来
  • 黑马Redis视频教程高级篇(多级缓存案例导入说明)