当前位置：首页 > news >正文

hadoop1.2.1伪分布式搭建

news 2025/8/3 16:26:20

0.使用host-only方式
   将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段
   注意：一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段，但是IP不能相同
1.Linux环境配置（windows下面的防火墙也要关闭）
   1.1修改主机名
       vim /etc/sysconfig/network
   1.2修改IP
       vim /etc/sysconfig/network-scripts/ifcfg-eth0

       DEVICE="eth0"
       BOOTPROTO="static" ###
       HWADDR="00:0C:29:BF:45:8B"
       IPV6INIT="yes"
       NM_CONTROLLED="yes"
       ONBOOT="yes"
       TYPE="Ethernet"
       UUID="99339c27-0884-46c0-85d5-2612e5c1f149"
       IPADDR="192.168.1.110" ###
       NETMASK="255.255.255.0" ###
       GATEWAY="192.192.1.1" ###
   1.3修改主机名和IP的映射关系
       vi /etc/hosts

       192.168.1.110 itcast
   1.4关闭防火墙
       查看防护墙状态
       service iptables status

       关闭
       service iptables stop

       查看防火墙开机启动状态
       chkconfig iptables --list

       关闭开机启动
       chkconfig iptables off
   1.5安装JDK
       上传JDK
       添加执行权限
       chmod u+x jdk-6u45-linux-i586.bin

       解压
       ./jdk-6u45-linux-i586.bin

       mkdir /usr/java
       mv jdk1.6.0_45/ /usr/java/

       将java添加到环境变量
       vim /etc/profile
       在文件的末尾添加如下内容

       export JAVA_HOME=/usr/java/jdk1.6.0_45
       export PATH=$PATH:$JAVA_HOME/bin

刷新配置
       source /etc/profile

2.配置hadoop
   2.1上传hadoop包

   2.2解压hadoop包
       首先在根目录创建一个cloud目录
       mkdir /cloud

       tar -zxvf hadoop-1.1.2.tar.gz -C /cloud/
   2.3配置hadoop伪分布式（要修改4个文件）
       第一个：hadoop-env.sh
       vim hadoop-env.sh
           export JAVA_HOME=/usr/java/jdk1.6.0_45

       第二个：core-site.xml
       vim core-site.xml

           <configuration>
                   
                   <property>
                           <name>fs.default.name</name>
                           <value>hdfs://itcast:9000</value>
                   </property>
                   
                   <property>
                           <name>hadoop.tmp.dir</name>
                           <value>/cloud/hadoop-1.1.2/tmp</value>
                   </property>
           </configuration>

       第三个：hdfs-site.xml
       vim hdfs-site.xml
           <configuration>
               
               <property>
                       <name>dfs.replication</name>
                       <value>1</value>
               </property>
           </configuration>

       第四个：mapred-site.xml
       vim mapred-site.xml
           <configuration>
                   
                   <property>
                           <name>mapred.job.tracker</name>
                           <value>itcast:9001</value>
                   </property>
           </configuration>

   2.4将hadoop添加到环境变量
       vim /etc/profile

       export JAVA_HOME=/usr/java/jdk1.6.0_45
       export HADOOP_HOME=/cloud/hadoop-1.1.2
       export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

       source /etc/profile

   2.5格式化HDFS
       hadoop namenode -format

   2.6启动hadoop
       start-all.sh

   2.7验证集群是否启动成功
       jps(不包括jps应该有5个)
       NameNode
       SecondaryNameNode
       DataNode
       JobTracker
       TaskTracker
       还可以通过浏览器的方式验证
       http://192.168.1.110:50070 (hdfs管理界面)
       http://192.168.1.110:50030 (mr管理界面)

       在这个文件中添加linux主机名和IP的映射关系
       C:\Windows\System32\drivers\etc

3.配置ssh免登陆
   生成ssh免登陆密钥
   ssh-keygen -t rsa
   执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
   将公钥拷贝到要免登陆的机器上
   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys