集群的搭建需要做的事情我一步一步的写一下,相应的步骤不会就看前一篇:
1、在想搭建hadoop的机器上安装hadoop程序和java。需要hadoop和java的安装程序路径一致,即三台一摸一样的绝对路径。这里举例有以下三台服务器:
192.168.1.1
192.168.1.2
192.168.1.3
我们用1号服务器当主节点,即master节点。备份节点也暂时先用这台,即运行secondarynamenode的节点。这里需要配置相应的java和hadoop的/etc/profile里边的环境变量信息。然后source这个文件,使之生效。
2、在3台服务器上都创建hadoop的用户账号,需要用户名一样,密码也尽量一样吧。然后在主节点创建一个ssh通信用的公钥密钥对,把公钥使用scp命令分发给2、3号服务器,即分发生成的id_***.pub文件,然后添加到authorized_keys文件里。主节点也需要添加。完成这些任务之后可以尝试ssh链接,如果不需要密码就成功了。不成功的话单机搭建篇里有详细方法排错。
3、主节点修改配置文件hadoop-env.sh的JAVA_HOME的值。如果集群里java版本有所不同,就尽量配置指定到java目录下的default软连上,但是尽量不要版本不同。
然后修改三个配置文件:
core-site.xml:
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.1:9000</value>
</property>
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.http.address</name>
<value>192.168.1.1:50070</value>
</property>
mapred-site.xml:
<property>
<name>mapred.job.tracker</name>
<value>192.168.1.1:9001</value>
</property>
这几个基本的复制进去就行了,其他的属性单机搭建里有给官方链接,可以进去自己看。
接下来还有两个文件需要配置,一个是master,里边写的是secondarynamenode的运行服务器,这里就填写192.168.1.1。然后配置slaves文件,里边一行填写一个ip,把192.168.1.2和192.168.1.3填写进去。这样conf里的配置信息就简单完成了。同样的我们使用scp命令把这份配置拷贝到集群里所有机器。
4、现在就可以格式化hadoop集群了:
hadoop namenode -format
然后启动hadoop集群:
start-all.sh
OK!大功告成,简单4步,so easy!麻麻再也不用担心我的hadoop集群配置了。
以上内容也是向hadoop集群添加节点的方法,安装程序、配置文件、添加slaves IP、然后启动新添节点的DataNode和TaskTracker守护进程。然后结束。
相关推荐
Hadoop集群搭建详细简明教程及搭建方法
非常详细的hadoop集群搭建教程,包含SSH免密码登录,基本上按照教程上一步一步操作就能搭建成功,非常适合大数据初学者使用
详细的Hadoop集群搭建过程,有6部分,前提是能连接网络,前三部都是很简单免密要仔细看,推荐JAVA版本1.8,Hadoop版本2.2.7 这两个版本都是稳定的
非常详细的linux上的hadoop集群搭建文档,可供参考,希望大家能够从中获益
hadoop集群搭建文档,欢迎您下载使用欢迎您下载使用欢迎您下载使用欢迎您下载使用欢迎您下载使用
本文档深刻解析了hadoop集群搭建的过程,有自己编写的过程,有完整的搭建过程。
超详细集群搭建教程(从虚拟机安装到集群搭建完成,集群搭建成功验证),每一个步骤都有,照做即可。 内有集群搭建所需安装包:hadoop2.2.0,zookeeper3.4.5
Hadoop集群搭建的详细步骤,涉及Linux:Centos6.5基础环境配置,Hadoop集群离线部署方式。
详细的hadoop集群搭建步骤
Hadoop集群搭建详细的描述了hadoop集群的搭建过程,值得大家去学习。
基于haodoop 集群搭建hbase集群。(2台机器的情况。)
该文档提供了linux环境中搭建hadoop集群(大数据)的步骤,个人认为比较详细,供大家学习
在虚拟机上面搭建hdfs 集群亲测可用 记得 修改ip地址就行
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
linux下hadoop集群搭建,很不错的资料,欢迎下载
Linux 操作系统安装环境下Hadoop集群搭建详细简明教程
从配置Linux IP 到hadoop集群安装的详细步骤附带linux命令,最后总结安装中常见的错误,以及处理办法。