Hadoop集群搭建1

现在，我这学期开了Hadoop的课，虽然老师讲的不动听，但是我自己对Hadoop还是很感兴趣的，所以，就看Hadoop的书，学了一些Hadoop的搭建，和Hadoop连接Eclipse等东西。在这个过程中，自己也学到了一些关于linux的操作命令，和vi编辑器简单使用方法。

注意！！要求本机内存至少8G-12G，要不然4G内存会卡死的，我之前不熟悉这些硬件的作用，我笔记本内存是4G的，打开虚拟机直接卡死屏幕黑掉，动也动不了，只能强制关机。我现在是台式机内存24G的，运行虚拟机压力不是很大，如下图：

本机内存低，建议升级内存，加内存条，提升内存最好到16G左右，这样运行虚拟机流畅，不卡顿。
先下载虚拟机的包到本地计算机，如果网络不好或者是下载出问题的朋友，可以找我私聊，我发你安装包，如下图：

再安装虚拟机，VM15的**秘钥，上网一搜就有，这个不用多说了。

接着，打开虚拟机的页面，如下图：

然后，准备好光盘映像文件CentOS-7-x86_64-DVD-2003.iso。下载网址：http://mirrors.aliyun.com/centos/7.8.2003/isos/x86_64/，下载出问题的朋友可以私聊我，我发给你，选择如下图：

然后，还有
jdk-8u261-linux-x64.tar.gz的java包
hadoop-2.7.7.tar.gz的Hadoop包
XFTP传输工具
没有的朋友，可以找我私聊，我发给你。

之后，我选择在E下新建三个文件夹，分别是：master，slave1，slave2。如下图：

然后，再安装Centos7，如下图：




再设置虚拟磁盘文件为单个文件
最后，编辑master，slave1，slave2的虚拟机设置，如下图：

安装完成后，打开虚拟机master进行安装，设置用户名和密码的时候，最好选择短的，因为，搭建集群的时候需要经常用到管理员权限。

之后，打开master的终端窗口，获取管理员权限，输入密码是不可见的，如下图：

再编辑主机名，使用命令：vi /etc/hostname，将原来的主机名修改成master。如下图：

之后，修改ifcfg-ens33文件，如下图：

将网络编辑器打开，查看IP地址：

配置完IP地址后，重启网络，检查如下图：


修改selinux文件，如下图：

接着，停止防火墙服务，并且移除服务，如下图：

然后，添加IP地址和主机名的映射，如下图：


之后，清除原来的JAVA，如下图：

把我们准备好的Java包和Hadoop包，通过XFTP传输工具传输到虚拟机master的/home/legend/hadoop路径下，hadoop文件夹是自己新建的。

然后，在进入目录/home/legend/hadoop，查看文件，如下图：

解压文件，如下图：

重命名文件，如下图：


在末尾编辑环境变量，如下图：


**环境变量，如下图：

查看Java和Hadoop是否安装成功，如下图：

之后，进入/home/legend/hadoop/hadoop/etc/hadoop，如下图：

依次修改 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml，hadoop-env.sh以及 slaves 文件。

修改core-site.xml文件内容，如下图：


修改hdfs-site.xml文件内容，如下图：

修改mapred-site.xml文件内容，如下图：

修改yarn-site.xml文件内容，如下图：

修改hadoop-env.sh文件内容的Java路径，如下图：

修改slaves文件内容，如下图：


完成以上配置之后，我们先重启master，让它配置完成后，再关机。
之后，开始克隆。单击虚拟机，如下图：

点击管理，选择克隆选项，如下图：



将克隆的slave1和slave2放入提前建好的slave1和slave2文件夹中。


完成克隆后，会出现另外两台slave1和slave2。

Hadoop集群搭建1，就到此结束，欢迎大家接着收看Hadoop搭建2。我的下一篇文章，Hadoop集群搭建2会继续给大家分享。

最后，感谢大家前来观看鄙人的文章，文中或有诸多不妥之处，还望指出和海涵。