当前位置: 首页 > news >正文

【hadoop】介绍

目录

介绍

版本

优势

 大数据技术生态体系


介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构
解决 存储和分析计算
Google在大数据方面的三篇论文
GFS --->HDFS
Map-Reduce --->MR
BigTable --->HBase
Hadoop创始人Doug Cutting

版本

Hadoop 三大发行版本:ApacheClouderaHortonworks
http://hadoop.apache.org
https://www.cloudera.com/downloads/cdh
https://hortonworks.com/products/data-center/hdp/
Apache 版本最原始(最基础)的版本,对于入门学习最好。2006
Cloudera 内部集成了很多大数据框架,对应产品 CDH2008
Hortonworks 文档较好,对应产品 HDP2011
Hortonworks 现在已经被 Cloudera 公司收购,推出新的品牌 CDP

优势

高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元
素或存储出现故障,也不会导致数据的丢失。
高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。
高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处
理速度。
高容错性:能够自动将失败的任务重新分配。
组成

 大数据技术生态体系

 推荐系统

 运行

关闭防火墙和开机自启

systemctl stop firewalld
systemctl disable firewalld.service
注意:在企业开发时,通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安
全的防火墙
修改克隆虚拟机的静态IP
 vim /etc/sysconfig/network-scripts/ifcfg-ens33
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2

修改虚拟网络编辑器

修改Windows 系统适配器 VMware Network Adapter VMnet8 IP 地址
修改主机名
修改主机名
vim /etc/hostname
配置主机映射hosts文件
vim /etc/hosts192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108重启克隆机
reboot

修改windows

C:\Windows\System32\drivers\etc
hosts 文件
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
如果操作系统是 window10,先拷贝出来,修改保存以后,再覆盖即可

安装

cd /opt/software/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/sudo vim /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbinsource /etc/profile

目录结构

bin 目录:存放对 Hadoop 相关服务(hdfsyarnmapred)进行操作的脚本
etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件
lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能)
sbin 目录:存放启动或停止 Hadoop 相关服务的脚本
share 目录:存放 Hadoop 的依赖 jar 包、文档、和官方案例
http://www.lryc.cn/news/38287.html

相关文章:

  • 【C语言】有关的经典题型内含数组及递归函数题型讲解(入门适用)
  • MyBatis操作数据库
  • Object.keys(obj)与Object.values(obj)的用法
  • 关于ES6新特性的总结
  • 13. CSS 处理
  • One-hot编码
  • Java中的深克隆与浅克隆
  • 如何使用MyBatis框架实现对数据库的增删查改?
  • 结构体内存大小
  • gerrit操作和jinkens编译合入代码
  • 网络工程师面试题(面试必看)(3)
  • 第N次重装系统之Ubtntu
  • 一个 适用 vue3 ts h5移动端 table组件
  • Vue.js 生产打包上线实战
  • C语言指针的算术运算
  • 快速排序/快速选择算法
  • 【数据结构初阶】单链表面试题|内含链表带环问题
  • 一文解析ethtool 命令的使用
  • 深度学习训练营之yolov5训练自己的数据集
  • Java中的AQS
  • Spring——案例-业务层接口执行效率和AOP通知获取数据+AOP总结
  • 国外SEO舆情处理最佳黄金时间
  • ROC和AUC
  • Dopamine-PEG-cRGD,DOPA-PEG-cRGD,多巴胺-聚乙二醇-crgd细胞穿膜肽
  • 动态规划回文子串
  • windows 域控提权CVE-2014-6324CVE-2020-1472CVE-2021-42287CVE-2022-26923
  • 1、JDK 安装 Java环境变量配置
  • [c++]list模拟实现
  • 实用的仓库管理软件有哪些,盘点2023年5大仓库管理软件!
  • (八十二)透彻研究通过explain命令得到的SQL执行计划(1)