集群安装配置Hadoop

集群节点：node4、node5、node6、node7、node8。

详细架构：

node4	Namenode,secondnamenode,jobtracker
node5	Datanode,tasktracker
node6	Datanode,tasktracker
node7	Datanode,tasktracker
node8	Datanode,tasktracker

操作系统为：CentOS release 5.5 (Final)

安装步骤

一、创建Hadoop用户组。

二、安装JDK。

下载安装jdk。安装文件夹例如以下：

三、改动机器名。改动文件/etc/hosts。例如以下：

四、安装ssh服务。命令：yum install openssh-server。

五、建立ssh无password登陆。

（一）切换到hadoop用户。su – hadoop

（二）创建ssh-key，利用ssh-keygen命令。採用rsa方式生成密钥。命令：ssh-keygen -t rsa -f ~/.ssh/id_rsa,产生公钥：~/.ssh/id_rsa.pub。

（三）将公钥加入至authorized_keys中。命令：

cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

（四）改动authorized_keys文件权限：

（五） 编辑sshd配置文件/etc/ssh/sshd_confi把#AuthorizedKeysFile .ssh/authorized_keys前面的凝视取消掉。

（六）又一次启动sshd服务。

（七）将authorized_keys文件拷贝到其它节点上（node5——8）。例如以下：

（八）測试SSH连接。连接时会提示是否连接。按回车后会将此公钥增加至knows_hosts中。命令：

ssh localhost。

   连接成功后，记得exit，退出远程机器。

六、将Hadoop相关程序下载上传到node4上。

下载使用的Hadoop版本号为1.2.1。

七、安装配置hadoop

（一）登陆node4，切换hadoop用户。

创建安装文件夹，解压hadoop，命令：

  mkdir hadoop_program //创建hadoop安装文件夹。

cp HADOOP/hadoop-1.2.1.tar.gz hadoop_program/   //将hadoop程序cp到hadoop安装文件夹下。

cd hadoop_program/          //cd到该文件夹。

tar -xvf hadoop-1.2.1.tar.gz     //解压hadoop程序。

mv hadoop-1.2.1 hadoop     //将hadoop文件夹改名字

（二）创建环境Hadoop相关环境变量。

改动conf/hadoop-env.sh。找到#export JAVA_HOME=...，去掉凝视#，然后加上本机的jdk路径（在第二步安装的路径），例如以下：

加入HADOOP_HOME环境变量。命令：vim ~/.bashrc。

加入例如以下：

（三）改动Hadoop配置文件

改动conf/core-site.xml文件。

改动mapred-site.xml文件

改动hdfs-site.xml

改动masters文件

改动slaves文件

八 将配置好的Hadoop和jdk拷贝到其它节点上：

九。启动hadoop測试是否成功安装。

命令：hadoop namenode -format（首先格式化namenode）。

命令：start-all.sh （启动hadoop）。

命令：cd到jdk的bin文件夹下。

执行jps命令。察看：

node4：

执行正常。

Node5-8:

执行正常。

十。

遇到问题。

1、安装的过程发现node5-8无法启动datanode和tasktracker，后来发现原由于node5-8机器中已经执行了java程序。用ps -ef|grep java察看，关闭相关进程后，再启动hadoop后正常。

2、使用过程中。出现错误：Bad connect ack with firstBadLink，解决的方法：

1) '/etc/init.d/iptables stop' -->stopped firewall

2) SELINUX=disabled in '/etc/selinux/config' file.-->disabled selinux