当前位置： 首页 > news >正文 大数据之路 读书笔记 Day1 news 2025/7/13 11:50:32 大数据之路 读书笔记 Day1 阿里巴巴大数据系统体系架构图 1. 数据采集层 两大体系 WEB端：Aplus.js APP端：UserTrack 传输：TimeTunnel（TT），支持实时流式计算和时间窗口批量计算数据同步工具：DataX 2. 数据计算层 两大体系 数据存储及计算云平台 离线计算平台-Maxcompute 实时计算平台-Streamcompute 数据整合及管理体系Onedata 以天为单位,凌晨处理上一天数据 实时处理数据,双11 数据仓库 离线数据仓库 实时数据仓库 数据加工链路 数据加工链路 操作数据层,ODS 明细数据层,DWD 汇总数据层,DWS 应用数据层,ADS 元数据模型整合，面向数据发现，数据管理，用于存储、计算和成本管理 3. 数据服务层 OneService 以数据仓库整合计算好的数据作为数据源，通过接口方式提供数据服务，提供简单复杂数据查询（用户画像，用户识别），实时数据推送等服务 4. 数据应用层 搜索、推荐、广告等等 附图： 点赞关注收藏，获取更多干货知识~ 查看全文 http://www.lryc.cn/news/383671.html 相关文章： 吴恩达揭秘：编程Agent如何革新软件开发行业 Study--Oracle-04-SQL练习 目前音质最好的麦克风是哪款，一文读懂无线麦克风推荐哪些品牌好 Python笔记 异常、模块与包 spark查看日志 【LeetCode】每日一题：LRU缓存 记录一个Xshell使用中Xmanager...X11转发的提示问题 Mamba 模型 30-33、SpringBoot项目部署\属性配置方式\多环境开发（一个文件）\多环境分组（多个文件） 【PyQt5】一文向您详细介绍 setContentsMargins() 的作用 分页查询前端对接 从一万英尺外看libevent（源码刨析） Linux部署SVN Linux高并发服务器开发（二）系统调用函数 rk3568 Android 11在系统怎样执行命令获取SN号 PostgreSQL 性能优化与调优（六） win10 安装openssl并使用openssl创建自签名证书 【OpenCV 图像处理 Python版】图像处理的基本操作 HarmonyOS应用开发学习经验 LLM大语言模型应用方案之RAG检索增强生成的实现步骤。 【python学习】学习python的小项目 java-冒泡排序 1 【STM32】USART串口通讯 Qt6中如何将QList转为QSet？ aspectj:AOP编程备忘录-切面定义的注意事项 大数据面试题之Hive(1) 【Git】分布式版本控制工具 排序之插入排序----直接插入排序和希尔排序(1) 快速创建条形热力图 go switch 与 interface
大数据之路 读书笔记 Day1 阿里巴巴大数据系统体系架构图 1. 数据采集层 两大体系 WEB端：Aplus.js APP端：UserTrack 传输：TimeTunnel（TT），支持实时流式计算和时间窗口批量计算数据同步工具：DataX 2. 数据计算层 两大体系 数据存储及计算云平台 离线计算平台-Maxcompute 实时计算平台-Streamcompute 数据整合及管理体系Onedata 以天为单位,凌晨处理上一天数据 实时处理数据,双11 数据仓库 离线数据仓库 实时数据仓库 数据加工链路 数据加工链路 操作数据层,ODS 明细数据层,DWD 汇总数据层,DWS 应用数据层,ADS 元数据模型整合，面向数据发现，数据管理，用于存储、计算和成本管理 3. 数据服务层 OneService 以数据仓库整合计算好的数据作为数据源，通过接口方式提供数据服务，提供简单复杂数据查询（用户画像，用户识别），实时数据推送等服务 4. 数据应用层 搜索、推荐、广告等等 附图： 点赞关注收藏，获取更多干货知识~ 查看全文 http://www.lryc.cn/news/383671.html 相关文章： 吴恩达揭秘：编程Agent如何革新软件开发行业 Study--Oracle-04-SQL练习 目前音质最好的麦克风是哪款，一文读懂无线麦克风推荐哪些品牌好 Python笔记 异常、模块与包 spark查看日志 【LeetCode】每日一题：LRU缓存 记录一个Xshell使用中Xmanager...X11转发的提示问题 Mamba 模型 30-33、SpringBoot项目部署\属性配置方式\多环境开发（一个文件）\多环境分组（多个文件） 【PyQt5】一文向您详细介绍 setContentsMargins() 的作用 分页查询前端对接 从一万英尺外看libevent（源码刨析） Linux部署SVN Linux高并发服务器开发（二）系统调用函数 rk3568 Android 11在系统怎样执行命令获取SN号 PostgreSQL 性能优化与调优（六） win10 安装openssl并使用openssl创建自签名证书 【OpenCV 图像处理 Python版】图像处理的基本操作 HarmonyOS应用开发学习经验 LLM大语言模型应用方案之RAG检索增强生成的实现步骤。 【python学习】学习python的小项目 java-冒泡排序 1 【STM32】USART串口通讯 Qt6中如何将QList转为QSet？ aspectj:AOP编程备忘录-切面定义的注意事项 大数据面试题之Hive(1) 【Git】分布式版本控制工具 排序之插入排序----直接插入排序和希尔排序(1) 快速创建条形热力图 go switch 与 interface
