Lighting@刘迎光
一、Hadoop单机版standalone的安装与配置(Hadoop1.2.1，CentOS6.5)
Hadoop CentOS    2017-07-19 22:20:35    965

一、安装jdk

    1、下载bin包，自行下载，上传到CentOS6.5中，
    2、安装bin包，
        # chmod 755 jdk-6u27-linux-x64-rpm.bin
        # ./jdk-6u27-linux-x64-rpm.bin
    3、配置环境变量
        # vi /etc/profile
        添加如下
export JAVA_HOME=/usr/java/jdk1.6.0_27
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export path=$PATH:$JAVA_HOME/bin

        使配置生效

        # source /etc/profiles

二、配置SSH免密码登录
    参考文章：http://blog.csdn.net/gsying1474/article/details/49468727


三、安装Hadoop
    下载地址：https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
    解压hadoop（tar xvf hadoop-1.2.1.tar.gz）
    1、环境hadoop变量配置
# vi hadoop-env.sh
添加如下内容
export JAVA_HOME=/usr/java/jdk1.6.0_27/

    2、配置conf/core-site.xml文件，Hadoop的核心文件，配置的是HDFS的地址和端口号
<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>
    3、配置conf/hdfs-site.xml，Hadoop中的HDFS的配置，配置的备份方式默认是3，在单机版的Hadoop中，需要设置为1
<configuration>
        <property>
   
二、Hadoop集群的配置(Hadoop1.2.1，CentOS6.5)
Hadoop BigData    2017-07-19 22:19:55    926

三台机器配置（配置etc/hosts）：

192.168.10.128    master
192.168.10.135    slave1
192.168.10.136    slave2
并修改三台机器的主机名：
# vi /etc/sysconfig/network

一、配置三台机器的SSH免密码登陆（Master要能够免密码登陆两台slave）：
二、配置三台主机的Hadoop文件
    1、环境hadoop变量配置
# vi conf/hadoop-env.sh
添加如下内容
export JAVA_HOME=/usr/java/jdk1.6.0_27/

    2、配置conf/core-site.xml文件，Hadoop的核心文件，配置的是HDFS的地址和端口号
<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/tmp</value>
        </property>
</configuration>

    3、配置conf/hdfs-site.xml，Hadoop中的HDFS的配置，配置的备份方式默认是3，在单机版的Hadoop中，需要设置为1
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

    4、配置conf/mapred-site.xml，Hadoop中MapReduce配置文件，配置JobTracker的地址和端口（value中的配置，在master中写master，slave中，分别写slave1/slave2）
三、HBase（V0.94.27）安装（完全分布式）
HBase BigData Hadoop    2017-07-19 22:19:05    1013

机器配置：

192.168.10.128    master
192.168.10.135    slave1
192.168.10.136    slave2

1、下载并解压（用户hadoop）

解压：tar xvf hbase-0.94.27.tar.gz
2、修改配置（三台机器）（用户hadoop）
修改conf/hbase-site.xml（三台机器）
<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://master:9000/hbase</value>
                <description>HBase 数据库存储目录</description>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
                <description>指定 HBase运行的模式：false（单击模式或伪分布模式），true（完全分布模式）</description>
        </property>
        <property>
                <name>hbase.master</name>
                <value>hdfs://master:60000</value>
                <description>指定Master的位置</description>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>master,slave1,slave2</value>
                <description>指定
pem方式登录的CentOS系统修改为密码登录方式
CentOS pem xshell linux    2017-07-19 22:17:37    869
1、需要用pem文件连接到centos系统中，
    xshell 使用pem文件登录：http://blog.csdn.net/gsying1474/article/details/50158817

2、修改root密码
    sudo passwd root

然后输入两次密码


3、修改centos登录方式为密码登录
    打开配置文件 /etc/ssh/sshd_config (ubuntu 为/etc/ssh/sshd-config)，设置如下几个参数:
PermitRootLogin yes
PubkeyAuthentication no （也可用#号注释）
PasswordAuthentication yes
4、重启sshd服务
    /etc/init.d/sshd restart
 
 
 

 

by 刘迎光@萤火虫工作室 
OpenBI交流群：495266201 
MicroService 微服务交流群：217722918 
mail: liuyg#liuyingguang.cn 
博主首页（==防止爬虫==）：http://blog.liuyingguang.cn

RedHat 6.5离线安装GCC方法
RedHat GCC linux    2017-07-19 22:16:35    894 
rpm -ivh mpfr-2.4.1-6.el6.x86_64.rpm 
rpm -ivh ppl-0.10.2-11.el6.x86_64.rpm 
rpm -ivh cpp-4.4.7-4.el6.x86_64.rpm 
rpm -ivh cloog-ppl-0.15.7-1.2.el6.x86_64.rpm 
rpm -ivh gcc-4.4.7-4.el6.x86_64.rpm


 


安装包：http://pan.baidu.com/s/10ZdD0



 

by 刘迎光@萤火虫工作室 
OpenBI交流群：495266201 
MicroService 微服务交流群：217722918 
mail: liuyg#liuyingguang.cn 
博主首页（==防止爬虫==）：http://blog.liuyingguang.cn

23/48
Copyright©2016 - 2021   沪ICP备17020857号-1    
Proudly powered by LightingLYG