云计算数据平台-hadoop集群(汇总目录)

前言

(仅用于学习用途)本人用VMware Workstation Pro虚拟机(如下简称VMware)虚拟出三台(一主二从,一个master,两个slave)CentOS7操做系统搭建Hadoop集群(包括虚拟机性能规划、主从节点规划、IP规划等),实现本地与云平台之间的文件上传、下载功能。
  本文接下来是搭建Hadoop的过程,此过程不给出源码和具体操做步骤,可是会给出讲解和每一步问题和检查的截图效果(小弟已经按照此步骤成功搭建3次了【由于linux开源,很容易搞崩系统。。建议初学者备份本身重要的东西,不建议用我的电脑或者服务器来初学练手,因此也用了VM来搞,先克隆初始状态系统(简单VMware克隆教程)搞崩了一次系统建立一次,so easy】)。遇到不懂的地方先自行想办法解决。在哪里卡住就直接【google, bing, 百度】哪一个标题。若是问题仍是解决不了,能够在下面评论区提出问题给你们解决或者私发消息给我,欢迎你们一块儿讨论学习~小弟才学粗浅,在博客写的过程不对或者错误地方请各位大神英雄好汉指出。php

1. 准备工具

  CentOS-7-x86_64-DVD-1611.iso(如下简称CentOS-7)操做系统
  VMwareWorkstationPro14.0.0 (如下简称VMware)
  jdk-8u141-linux-x64.tar.gz(如下简称JDK)
  hadoop-2.7.4.tar.gz(如下简称Hadoop)
  PuTTY
  FileZilla
如以上官网连接没法打开,请自行百度或者google下载html

2. VMware 14安装 CentOS 7

3. CentOS-7系统的基本配置

  3.1 修改CentOS-7系统的IP地址

  3.2 修改CentOS-7系统的主机名

  3.3 修改CentOS-7的IP地址与主机名的映射关系

  3.4 关闭CentOS-7防火墙

4. 部分工具的使用方法

  4.1 Putty使用方法

  4.2 FileZilla使用方法

  4.3 安装JDK

5 搭建Hadoop

  5.1 Hadoop集群概念设计

  5.2 安装Hadoop

    5.2.1 修改hadoop-env.sh配置文件(一)

    5.2.2 修改core-site.xml配置文件(二)

    5.2.3 修改hdfs-site.xml配置文件(三)

    5.2.4 修改mapred-site.xml配置文件 (四)

    5.2.5 修改yarn-site.xml配置文件(五)

    5.2.6 配置hadoop环境变量

    5.2.7 配置slave

  5.3 建立从机(slave)

    5.3.1 克隆虚拟机并建立从机

    5.3.2 安装密钥

    5.3.3 使用ssh传输文件

  5.4 构建HDFS

    5.4.1 初始化hdfs

    5.4.2 查看master节点启动状态

    5.4.3 查看各个节点启动状态

  5.5 Hadoop运行结果

    5.5.1 使用HDFS管理界面

    5.5.2 使用yarn管理界面

6.功能测试

  6.1 执行上传文件

  6.2 执行下载文件

快速连接

上一篇 汇总目录 下一篇
本篇 云计算数据平台-hadoop集群 2.在VMware 14安装 CentOS 7