当前位置: 首页 > news >正文

数据仓库、数据中台、数据湖都是什么?

相信很多人都在最近的招聘市场上看到过招聘要求里提到了数据仓库、数据中台,甚至还有数据湖,这些层出不穷的概念让人困扰。今天我就来跟大家讲一讲数据仓库、数据中台以及数据湖的概念及区别。

数据库

在了解数据仓库、数据中台以及数据湖之前,我们首先要先认识一下数据库,因为这几个概念都离不开数据库的支持。

数据库是按照数据结构来组织、存储和管理数据的仓库,是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。简单来说,数据库就是按结构存取数据的地方。

数据仓库

数据仓库(Data Warehouse)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。

  • 面向主题的:根据使用者的需求,将来自不同数据源的数据围绕着各种主题进行分类整合。
  • 集成的:来自各种数据源的数据按照统一的标准集成于数仓中。
  • 相对稳定的:数仓中的数据是一系列的历史快照,不允许修改或删除,只涉及数据查询。
  • 反映历史变化的 :数仓会定期接收新的集成数据,从而反映出最新的数据变化。

简而言之,数据仓库也是存储数据的地方,但不同于数据库的是数据的来源有很多种,并且可以统一在数据仓库中进行汇合,然后通过统一的建模,加工成服务与数据分析的数据模型,辅助企业进行分析决策。

在这里还要再提一个概念,就是经常会跟随数据仓库一同出现的——数据集市。通常来说,数据集市是由数据仓库产生的基于部门级或者工作组级别的特定主题的数据分析环境。这两个之间最大的区别在于数据范围的不同,数仓是基于企业搭建的环境,而数据集市则是基于部门搭建的特定分析环境。

数据中台

数据中台是将各个业务板块多年来积累的数据,按业务特征进行横向关联和统一,按数据用途进行纵向分层,最终沉淀为公共的数据服务能力。数据中台最典型的例子就是阿里巴巴的 ONEID 体系,也有说 ONEDATA 体系的,数据中台一说也是源于阿里巴巴的云栖大会。

要更好地理解数据中台,可以结合着数据仓库的概念来解读。前面已经提到了数仓聚合多种数据源并进行统一建模最后加工成数据模型辅助企业决策,而数据中台则不仅仅包含了数仓的功能,还能根据数据的表现支持精确推送、商品推荐等数据变现的业务,能够把数据资产变成数据服务能力。

数据湖

数据湖相对数仓和数据中台来说是比较偏技术向的概念,它是一套产品组合起来的解决方案,其最主要的作用就是存储来自不同设备端、不同应用、不同渠道的所有原始数据,包含了关系型和非关系型数据。数据湖就像是一个数据工厂一般,先把所有的数据往里搬,然后再根据业务的需要进行数据的加工,同时这个工厂也具备了一定的科研能力,会对数据进行挖掘分析,进而帮助预测和发现问题。

写在最后

产品经理虽然不需要懂技术,但对于市场上新兴和比较火爆的概念一定要有足够的认知了解,才能在需要的时候为团队为产品创造更大的价值。

想了解更多产品经理相关的知识和经验,欢迎关注我,和我一起共同进步。

http://www.lryc.cn/news/28205.html

相关文章:

  • 0099 MySQL02
  • 应急响应-ubuntu系统cpu飙高
  • MDK软件使用技巧
  • 3 333333
  • 1528. 重新排列字符串
  • 【8】【用户操作日志】操作日志SpringBootStarter
  • 【游戏逆向】寻路函数隐藏检测点分析
  • 【Zabbix实战之运维篇】Zabbix监控Docker容器配置方法
  • 这款 Python 工具进行数据分析及数据可视化真的很棒啊
  • visual Studio Code常用快捷键
  • 基础(一)十六进制转八进制
  • 梯度提升算法决策过程的逐步可视化
  • Linux系统调用之文件属性操作函数
  • VMware 安装 银河麒麟高级服务器操作系统 V10 + QT 开发环境搭建
  • 2023年疫情开放,国内程序员薪资涨了还是跌了?大数据告诉你答案
  • 太赫兹频段耦合器设计相关经验总结
  • 反弹shell数据不回显带外查询pikaqiu靶场搭建
  • 按键修改阈值功能、报警功能、空气质量功能实现
  • spring重点整理篇--springMVC(嘿嘿,开心哟)
  • 图像融合评估指标Python版
  • 20230303----重返学习-函数概念-函数组成-函数调用-形参及匿名函数及自调用函数
  • Java面试题总结
  • 深圳大学计软《面向对象的程序设计》实验7 拷贝构造函数与复合类
  • Java的JVM(Java虚拟机)参数配置
  • leetcode 困难 —— 数据流的中位数(优先队列)
  • 7个常用的原生JS数组方法
  • 一、一篇文章打好高数基础-函数
  • pipenv的基本使用
  • OpenCV入门(三)快速学会OpenCV2图像处理基础
  • 基于PySide6的MySql数据库快照备份与恢复软件