移动版

主页 > K彩系列 >

Hadoop集群完全分布式坏境搭建(4)

验证方式就很简单了,首先我们先来执行一个HDFS格式的命令,这个在上一篇我们已经分析过了,因为,咱们这里改成完全分布式的集群,所以这里需要重新格式。

bin/hadoop namenode -format

首先,我们来验证一下整个集群的HDFS是否正常可用。

启动整个集群的HDFS,在Master机器上面,用hadoop用户操作,命令如下:

start-dfs.sh

Hadoop集群完全分布式坏境搭建

我们通过浏览器来查看整个集群的HDFS状态,地址为::50070/dfshealth.html#tab-overview

Hadoop集群完全分布式坏境搭建

可以看到,当前我们的Hadoop集群的HDFS集群已经成功启动,然后我们来看整个集群的存储和节点数;

Hadoop集群完全分布式坏境搭建

从上面的截图我们可以看到,当前的集群存在四个DataNode节点,就是刚才我们配置的Slave文件的IP.这说明我们配置的集群HDFS能够正常运行。

然后,我们来验证一下整个集群的YARN分布式计算框架是否正常可用。

同样的方式,我们首先来启动Yarn.脚本如下:

start-yarn.sh

Hadoop集群完全分布式坏境搭建

我们通过浏览器来查看整个集群的Hadoop集群状态,地址为::8088/

Hadoop集群完全分布式坏境搭建

可以看到,当前的Hadoop集群已经存在四个正在运行的节点,而且跑的很Happy.后面的文章我将跟大家分析如何使用这个Hadoop集群。

结语

此篇先到此吧,关于Hadoop大数据集群的搭建后续依次介绍,比如利用Zookeeper搭建Hadoop高可用平台、Map-Reducer层序的开发、Hive产品的数据分析、Spark的应用程序的开发、Hue的集群坏境的集成和运维、Sqoop2的数据抽取等,有兴趣的童鞋可以提前关注。

本篇主要介绍了搭建一个完全分布式的Hadoop集群,后面我们会逐渐完善它,我会教你如何一步步的使用完全分布式的Hadoop集群,然后教你如何使用它,骚年...不要捉急...让思维飞一会...

有问题可以留言或者私信,随时恭候有兴趣的童鞋加大数据平台深入研究。共同学习,一起进步。 

文章的最后给出上一篇的基础篇:

大数据系列(1)——Hadoop集群坏境搭建配置 

大数据系列(2)——Hadoop集群坏境CentOS安装

如果您看了本篇博客,觉得对您有所收获,请不要吝啬您的“推荐”。

http://www.citicfunds.com/kB6oXVqQdD/9291383559.html (责任编辑:admin)
Copyright © 2011 - 2016 版权所有 All Rights Reserved