二、Hadoop集群的配置(Hadoop1.2.1,CentOS6.5)
Hadoop BigData    2017-07-19 22:19:55    3   
lightingfire   Hadoop BigData

三台机器配置(配置etc/hosts):

192.168.10.128    master
192.168.10.135    slave1
192.168.10.136    slave2
并修改三台机器的主机名:
vi /etc/sysconfig/network

一、配置三台机器的SSH免密码登陆(Master要能够免密码登陆两台slave):
二、配置三台主机的Hadoop文件
    1、环境hadoop变量配置
vi conf/hadoop-env.sh
添加如下内容
export JAVA_HOME=/usr/java/jdk1.6.0_27/

    2、配置conf/core-site.xml文件,Hadoop的核心文件,配置的是HDFS的地址和端口号
<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/tmp</value>
        </property>
</configuration>

    3、配置conf/hdfs-site.xml,Hadoop中的HDFS的配置,配置的备份方式默认是3,在单机版的Hadoop中,需要设置为1
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

    4、配置conf/mapred-site.xml,Hadoop中MapReduce配置文件,配置JobTracker的地址和端口value中的配置,在master中写master,slave中,分别写slave1/slave2)
<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>master:9001</value>
        </property>
</configuration>
    5、启动Hadoop之前需要格式化Hadoop的文件系统HDFS
# ./bin/hadoop namenode -format
    6、启动Hadoop
# ./bin/start-all.sh
    7、访问地址确保启动成功了
或者执行命令查看
# ./bin/hadoop dfsadmin -report
#####################################返回内容示例#####################################
Datanodes available: 3 (3 total, 0 dead)

Name: 192.168.10.135:50010
Decommission Status : Normal
Configured Capacity: 18568990720 (17.29 GB)
DFS Used: 28672 (28 KB)
Non DFS Used: 2887614464 (2.69 GB)
DFS Remaining: 15681347584(14.6 GB)
DFS Used%: 0%
DFS Remaining%: 84.45%
Last contact: Thu Oct 29 04:39:13 CST 2015


Name: 192.168.10.128:50010
Decommission Status : Normal
Configured Capacity: 18568990720 (17.29 GB)
DFS Used: 28687 (28.01 KB)
Non DFS Used: 2888536049 (2.69 GB)
DFS Remaining: 15680425984(14.6 GB)
DFS Used%: 0%
DFS Remaining%: 84.44%
Last contact: Thu Oct 29 04:39:12 CST 2015


Name: 192.168.10.136:50010
Decommission Status : Normal
Configured Capacity: 18568990720 (17.29 GB)
DFS Used: 28687 (28.01 KB)
Non DFS Used: 2887630833 (2.69 GB)
DFS Remaining: 15681331200(14.6 GB)
DFS Used%: 0%
DFS Remaining%: 84.45%
Last contact: Thu Oct 29 04:39:13 CST 2015
#####################################返回内容示例#####################################


 

 


 

by 刘迎光@萤火虫工作室 
OpenBI交流群:495266201 
MicroService 微服务交流群:217722918 
mail: liuyg#liuyingguang.cn 
博主首页(==防止爬虫==):http://blog.liuyingguang.cn

Pre: 一、Hadoop单机版standalone的安装与配置(Hadoop1.2.1,CentOS6.5)

Next: 三、HBase(V0.94.27)安装(完全分布式)


Table of content