手把手教你搭建Hadoop集群

1 下载软件
1.1 下载VirtualBox http://download.virtualbox.org/virtualbox/5.1.18/VirtualBox-5.1.18-114002-Win.exe
1.2 下载CentOS http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso
1.3下载XShell与XFtp 请在百度本身搜索与安装
1.4 下载jdk http://download.oracle.com/otn-pub/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64.rpm
1.5 下载hadoop2.7.3 -> http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
1.6 安装VirtualBoxjava

2 设定VirtualBox虚拟网卡的IP地址
2.1 设置虚拟机中的网络设置
在虚拟机中选用host-only网络
2.2 vi /etc/sysconfig/network
NETWORKING=yes
GATEWAY=192.168.56.1
2.3 vi /etc/sysconfig/network-sripts/ifcfg-enp0s3 TYPE=Ethernet IPADDR=192.168.56.100 NETMASK=255.255.255.0
2.4 修改主机名hostnamectl set-hostname master (主机名千万不能有下划线!)
2.5 重启网络service network restart
互相ping,看是否测试成功,若不成功,注意防火墙的影响。关闭windows或虚拟机的防火墙。systemctl stop firewalld system disable firewalldlinux

3 使用XShell登录
检查ssh服务状态systemctl status sshd (service sshd status),验证使用XShell是否能登录成功。web

4 将hadoop和jdk上传到虚拟机
4.1 安装JDK rpm -ivh ./xxxxx.jdk,验证rpm -qa | grep jdk,在命令行中敲java命令,确认jdk已经安装完成
jdk默认安装在/usr/local/java目录下
4.2 安装hadoop
cd /usr/local
tar –xvf ./hadoop-2.7.2.tar.gz
把目录修改成hadoop mv hadoop-2… hadoop
修改hadoop-env.sh
vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
修改export JAVA_HOME 语句为 export JAVA_HOME=/usr/java/default
把/usr/hadoop/bin和/usr/hadoop/sbin设到PATH中
vi /etc/profile
追加 export PATH=$PATH:/usr/hadoop/bin:/usr/hadoop/sbin
source etc/profile
测试hadoop命令是否能够直接执行,任意目录下敲hadoopapache

5 关闭虚拟机,复制3份
分别修改虚拟机的ip和hostname,确认互相可以ping通,用ssh登录,同时修改全部虚拟机的/etc/hosts,确认使用名字能够ping通windows