很久没写技术博客了，由于以前一直在开发跟公司内部业务相关的接口以及项目，感受大可能是跟公司具体业务相关的东西，所以不方便在此公开记录下来。今天抓住休息的时间想在工做之余给本身补充一点大数据的知识(工做上暂时用不到)在本身电脑上安装了6台虚拟linux系统，而后在这个6台机器上分别部署了zookeeper集群以及hadoop-2.2.0集群，部署zookeeper集群相对来讲简单一点，由于网上的资料比较多，而因为本身的虚拟机是64位的，所以在部署hadoop的时候须要从新编译一遍，在这个过程当中遇到的问题还蛮多的，不过幸亏都解决了。mysql
1：首先，在VM上安装6台64位的虚拟机主要是遇到了安装包的问题以及环境部署的问题。linux
如下是本身安装使用的ISO文件下载地址：c++
http://mirrors.sohu.com/centos/6.5/isos/x86_64/CentOS-6.5-x86_64-bin-DVD1.iso
git
其实我是以前就把这个页面的全部安装包都下载下来的，一个个试着去安装，而后最终选定了无桌面版的，能够再安装的时候选择设置，这个过程就是有点耗时间。接下来我分别在每一个主机上部署了jdk，maven，git，mysql，openssh-clients,还有把相关的项目部署上去，之歌过程也有点耗时间，接下来我想尝试写个ssh脚本自动化安装测试一下。github
配置环境变量以后，就开始搭建zookeeper集群了，这个集群主要是配合阿里的开源项目dubbo(git下载：https://github.com/alibaba/dubbo)使用，我是使用5台虚拟机器部署zookeeper集群做为dubbo的注册中心，这个过程也是比较简单的，由于关于zookeeper集群的部署之前dubbo的部署网上资料一大把，固然因为在部署zookeeper集群的时候没有采用脚本部署方式，这个过程也是比较耗时间的，接下来会尝试脚本部署方式，部署完以后跑了dubbo的demo之前dubbo-admin查看了一下仍是OK的，固然因为条件有限没有继续深刻下去。sql
2：hadoop的编译，这个编译比较繁琐，本身也是走一步再修改一下，整理了一下，以后发现原来网上有一篇文章记载的步骤跟错误跟我在操做的时候没多大的差别，大概就是如下步骤apache
首先须要安装的是：centos
maven:maven有版本冲突的问题，确实是这样的，我机子上面安装的都是最新的版本，可是都会报错，以后我下载了3.0.5这个版本以后那个错误九消失了。wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gzssh
yum install gcc-c++maven
wget http://prdownloads.sourceforge.net/findbugs/findbugs-2.0.3.tar.gz?download
findbugs须要配置环境变量
wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
yum install pkgconfig
yum install openssl
yum install openssl-devel
vi hadoop-common-project/hadoop-auth/pom.xml(增长有加号的)
</dependency>
<dependency>
<groupId>org.mortbay.jetty</groupId>
+ <artifactId>jetty-util</artifactId>
+ <scope>test</scope>
+ </dependency>
+ <dependency>
+ <groupId>org.mortbay.jetty</groupId>
<artifactId>jetty</artifactId>
<scope>test</scope>
</dependency>
最后就是执行命令：mvn package -DskipTests -Pdist,native -Dtar
执行以上步骤后，接下来就是漫长的等待了，反正我是至少等待了30分钟，不过还好最终编译成功了，接下来的事情就是重复使用scp命令传输文件了，关于hadoop+zookeeper集群的搭建网上也有一大堆。
本文出自 “陈砚羲” 博客，请务必保留此出处http://chenyanxi.blog.51cto.com/4599355/1552425