当前位置: 首页 > news >正文

AnalyticDB for PostgreSQL 实时数据仓库上手指南

AnalyticDB for PostgreSQL 实时数据仓库上手指南

2019-04-016601

版权

本文涉及的产品

云原生数据仓库 ADB PostgreSQL,4核16G 50GB 1个月

推荐场景:

构建的企业专属Chatbot

立即试用

简介: AnalyticDB for PostgreSQL 提供企业级数据仓库云服务,基于开源Greenplum构建,采用MPP架构,支持1000+节点PB级数据的实时分析。

云数据库AnalyticDB for PostgreSQL是一种在线MPP大规模并行处理数据仓库服务,基于Greenplum 开源数据库项目,由阿里云深度扩展。其简单易用、海量扩展、兼容部分Oracle 语法生态、支持PL/SQL,标准事务隔离级别,支持行存储和列存储、即满足高性能在线交互分析需要,也可以进行离线数据处理清晰,主要特点有:

adbpg

主要场景

scen

1.实时数仓场景
通过数据传输服务 DTS 、数据集成工具DataX、开源同步工具 rds_dbsync 、 Kettle 等,同步交易库数据 到 ADBPG,构建实时数仓。
MySQL/PG ->DTS/DataX->ADBPG

2.大数据计算分析
批量同步MaxCompute/Hadoop/Spark/SLS 数据到ADB for PG,支撑在线交互分析
大数据平台/日志->DataX/OSS -> ADBPG

3.数据湖分析场景
数据按冷热分析,支持在线查询OSS分布式云存储上的格式化数据

架构介绍:

arch

开通实例:
如何在AnalyticDBPostgreSQL版控制台上创建实例_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

客户端:
客户端如何连接云原生数据仓库AnalyticDBPostgreSQL版_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

产品文档:
ADB for PG 产品文档:快速掌握AnalyticDBPostgreSQL实例的创建,连接,开发和运维_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

常用操作
实例规格选型指导:如何选择云原生数据仓库AnalyticDBPostgreSQL版实例规格_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
表规划和设计指导:如何创建和约束数据库中的表_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
性能调优指导:不同操作场景下使用AnalyticDBPostgreSQL的性能优化指导_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
建表语法:VMware Greenplum Documentation
列存压缩(压缩比3到10倍):如何使用AnalyticDBforPostgreSQL列存和压缩功能_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
分区键选择:AnalyticDBPostgreSQL版如何选择表分布策略_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
表分区(支持数字和日期类型上的多级分区):
如何定义分区表_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
VMware Greenplum Documentation

数据写入方式总结:
数据可以采用 INSERT/COPY/OSS外表/Client SDK 写入实例:AnalyticDBPostgreSQL版支持哪些数据写入方式_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

数据导入与同步:
数据同步和迁移方法总结:数据迁移及同步方案综述_云原生数据仓库 AnalyticDB PostgreSQL版-阿里云帮助中心
数据传输 DTS 准实时同步 RDS MySQL 数据到 ADB for PG:如何将数据从RDSMySQL版同步至AnalyticDBPostgreSQL版_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
数据集成DataX 按小时/天同步数据到 ADB for PG:如何通过DataWorks完成表级数据迁移_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
ADB for PG OSS 外部表文档:如何使用OSS外表高速导入数据至AnalyticDBPostgreSQL_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

ETL作业调度:
通过Dataworks 进行ADB for PG作业调度:使用 Dataworks 实现 AnalyticDB PostgreSQL版上的 ETL 作业调度-阿里云开发者社区

PostGIS 进行地理信息分析
使用PostGIS进行时空分析及典型使用场景_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

社区文档:
ADB for PG 社区官方手册:VMware Greenplum Documentation
MADlib SQL机器学习库:Apache MADlib

最佳实践:
数据倾斜的监测和实践:https://github.com/digoal/blog/blob/master/201708/20170821_02.md
负载管理(资源队列管理):https://github.com/digoal/blog/blob/master/201708/20170821_01.md

社群:
AnalyticDB for PG 在线技术支持钉钉群,包括 在线技术专家支持,新特性发布,优惠活动发布。【强烈推荐!】

http://www.lryc.cn/news/242897.html

相关文章:

  • 【数据结构】堆(C语言)
  • 使用 Raspberry Pi、Golang 和 HERE XYZ 制作实时地图
  • 贪吃蛇(c实现)(真的超级超级简单)
  • linux 内存回收mglru算法代码注释2
  • Exchange意外登录日志
  • NX二次开发UF_CURVE_ask_curve_turn_angle 函数介绍
  • UE 进阶篇一:动画系统
  • 超文本传输协议
  • 『heqingchun-Ubuntu系统+x86架构+编译安装ffmpeg+带有nvidia硬件加速』
  • UE5 UI教程学习笔记
  • Leetcode:622. 设计循环队列 题解【具详细】
  • ArkTS基础知识 【习题】
  • 是否有无限提取的代理IP?作为技术你需要知道这些
  • 【算法萌新闯力扣】:卡牌分组
  • 深入解析:如何开发抖音票务小程序
  • vue中 mixin用法
  • Java入门基础:浅显易懂 while
  • DNS/ICMP协议、NAT技术
  • React整理总结(七、Hooks)
  • 软件测试之银行测试详解
  • C#中的警告CS0120、CS0176、CS0183、CS0618、CS8600、CS8602、CS8604、CS8625及处理
  • CSS:浏览器设置placeholder样式 / 微信小程序设置placeholder样式
  • 升级python后sudo apt-get update报错
  • 应用可观测性OpenTelemetry简介
  • install pnpm : 无法加载文件的解决办法
  • 【Python百宝箱】Python数据探险:Excel与数据科学的完美结合
  • 外贸分享|如何从外贸小白成长为大咖?这10件事值得你坚持做
  • 深度学习之六(自编码器--Autoencoder)
  • Docker Swarm总结+基础、集群搭建维护、安全以及集群容灾(1/3)
  • Vim 一下日志文件,Java 进程没了?