移动版

主页 > K彩系列 >

Hadoop集群完全分布式坏境搭建(3)

这里需要配置的剩下的两个Slave节点进行无密码登录了,详细的操作过程参照上面的流程就可以了,需要的注意的是:在Master生成密钥只需要生成一次就可以了,不要再次生成!因为每次生成以为着所有的节点都需要重新配置。

配置完成之后的效果,就是要保证在master机器上面的hadoop用户能够无需密码的登录到各个slave节点上进行操作就可以。

经过上面的操作,已经确保我们的Master机器可以毫无障碍的操作各个子节点Slave了。

 参照上面的步骤将各个Slave节点SSH到Master机器。

我们知道,经过上面的一系列操作之后,我们的Master主节点可以顺利的操控各个Slave节点了,但是,这里需要注意的是,为了保证各个Slave机器和Master机器进行通信。

需要保证各个Slave节点能够无密码登录Master机器,操作步骤如上面。

这么操作的理由很简单,各个Slave子节点干完Master分配的任务之后,需要有权限反馈至他们的老大Master!

好了,到此,我们已经完成了整个集群的SSH配置了。

这里再次强调,上面的步骤要一定完成验证,要不以后的Hadoop操作会很出现各种诡异的问题,让你措手不及,这都是经验!!

4、配置Hadoop集群配置。

好了,到此我们需要对各个机器上面的Hadoop进行配置了。我们知道这里的所有的机器都是从一台机器上面的拷贝过来,因为我们在这个机器上面已经安装了单实例的Hadoop,参照上一篇文章。

那么,下一步的步骤就是将这个单节点的配置成一个真正的分布式集群,充分利用我们刚才搭建的几台Server进行性能的最大发挥。

这里的配置不是很多,只需要更改一下几个文件就可以了。

首先进行slaves文件的配置,指定该集群的各个Slave节点的位置(以hadoop用户进行操作)。  

这个只需要在Master的机器上面进行就可以了,当然,如果不介意可以保持所有的机器上面的Hadoop配置一样就可以了。执行命令如下

vim /usr/hadoop/hadoop-2.6.4/etc/hadoop/slaves

然后,将各个Slave的IP或者机器名写入就可以了,一台机器一行数据。这里我写的是IP.

Hadoop集群完全分布式坏境搭建

这样就可以了。

然后,在更改hdfs-site.xml文件中的dfs.replication属性值。

关于这个值我之前已经解释过了,因为我们现在不是单台机器了,所以将这个节点更改成3或者更大的数,因为咱们就四台机器,所以这里就配置成3可以了。记住:只能是奇数!

vim /usr/hadoop/hadoop-2.6.4/etc/hadoop/hdfs-site.xml

<property> <name>dfs.replication</name> <value>3</value> </property>

Hadoop集群完全分布式坏境搭建

这里需要注意的是,所有的机器都要这样配置

5、启动Hadoop集群,验证是否成功。

到此,我们基本完成了一个Hadoop完全分布式的集群配置。下面的内容就是我们来验证一下是否可用。

(责任编辑:admin)
Copyright © 2011 - 2016 版权所有 All Rights Reserved