当前位置: 首页 > news >正文

Hive简介 | 体系结构

Hive简介

Hive 是一个框架,可以通过编写sql的方式,自动的编译为MR任务的一个工具。
在这个世界上,会写SQL的人远远大于会写java代码的人,所以假如可以将MR通过sql实现,这个将是一个巨大的市场,FaceBook就这么干。(脸书)
FaceBook -->  Meta (元宇宙) --> 社交网站(校内网)
在大数据中,发展趋势:所有的技术全部都变为SQL。

1、Hive是一个数据仓库工具
2、可以将数据加载到表中,编写sql进行分析
3、底层依赖Hadoop,所以每一次都需要启动hadoop(hdfs以及yarn)
4、Hive的底层计算框架可以使用MR、也可以使用Spark、TEZ
5、Hive不是数据库,而是一个将MR包了一层壳儿。类似于一个中介。

Hive天然的就是当做数据仓库使用的。什么是数据仓库?

数据仓库:数据的仓库,一般只要能存数据的软件都可以当做数据仓库。

比如:开了一个超市,必须有一个仓库,这个仓库是不是可大可小。以前数据量特别小的时候,一般都使用Oracle当做数据仓库,现在企业中一般都使用大数据技术中 的Hive或者跟Hive类似的技术当做数据仓库。

普通的仓库:一般也是分类的,比如食品区、衣服区、电子产品区

数据仓库:也是需要搭建的(分层),方便使用者从仓库中快速的获取想要的数据。仓库搭建的好不好,就叫做建模。

体系结构

注意:

- 包含*的全表查询,比如select * from table 不会生成MapRedcue任务

- 包含*的limit查询,比如select * from table limit 3 不会生成MapRedcue任务

http://www.lryc.cn/news/481304.html

相关文章:

  • [C++] GDB的调试和自动化检测
  • 车机版 Android Audio 框架笔记
  • 【NLP自然语言处理】深入解析Encoder与Decoder模块:结构、作用与深度学习应用
  • 【JAVA EE】多线程、锁、线程池的使用
  • 云计算:定义、类型及对企业的影响
  • 大数据面试题--kafka夺命连环问
  • 【大模型】Spring AI Alibaba 对接百炼平台大模型使用详解
  • Zabbix如何配置将信息发送到邮件
  • jmeter常用配置元件介绍总结之前置处理器、测试片段
  • Redis2:Redis数据结构介绍、通用命令、String类型、Key的层级格式
  • jenkins流水线pipeline
  • 【计网】基于TCP协议的Echo Server程序实现与多版本测试
  • 「QT」几何数据类 之 QVector2D 二维向量类
  • 深度学习——权重初始化、评估指标、梯度消失和梯度爆炸
  • Rust: 利用 chrono 库实现日期和字符串互相转换
  • 【IEEE/EI会议】第八届先进电子材料、计算机与软件工程国际学术会议(AEMCSE 2025)
  • volatile 关键字的作用学习
  • 数据字典是什么?和数据库、数据仓库有什么关系?
  • Docker平台搭建方法
  • JavaScript数组
  • 产品经理如何使用项目管理软件推进复杂项目按时上线
  • 构建基于 DCGM-Exporter, Node exporter,PROMETHEUS 和 GRAFANA 构建算力监控系统
  • 第13章 聚合函数
  • 【计网不挂科】计算机网络期末考试——【选择题&填空题&判断题&简述题】试卷(4)
  • C# 中 LibraryImport 和 DllImport有什么不同
  • PDF编辑工具Adobe Acrobat DC 2023安装教程(附安装包)
  • 系动词、表语和主语补足语
  • 【网络安全 | 并发问题】Nginx重试机制与幂等性问题分析
  • Java 详解 接口
  • wordpress搬家迁移后怎么修改数据库用户名