CDH Hadoop安装step by step

  |   0 评论   |   1,682 浏览

    1. 选用了CDH版本

    参考:hadoop CDH


    2. 选用了CDH最新版本 5.12

    参考:Download CDH 5.12.0


    3. MRv1和YARN的选择:选用YARN

    参考:YARN与MRv1的对比


    4. 最后选用了tarball版本,单机测试

    参考:

    1) Hadoop-2.5.0-cdh5.3.2 搭建单机伪分布

    2) hadoop cdh5单机安装


    5. hbase,同样选用了tarball版本

    参考:CDH5 hadoop-hive-habse单机版配置


    6. hive

    参考:

    1) Hive 1.1.0 集群安装配置

    2) hadoop入门第七步---hive部署安装(apache-hive-1.1.0)

    3) CDH5.4.5手动安装hive-1.1.0-cdh5.4.5


    无水版本

    1. 安装java 8


    2. 设置单机ssh免密登录

    3. 下载CDH tarball版本的安装包

    4. 安装单机版本的Hadoop


    1) 设置环境变量


    vim ~/.bashrc


    新增内容如下:
    export HADOOP_BASE_HOME=/home/hadoop/share/hadoop
    export HADOOP_HOME=${HADOOP_BASE_HOME}/hadoop-2.6.0-cdh5.12.0
    export HBASE_HOME=${HADOOP_BASE_HOME}/hbase-1.2.0-cdh5.12.0
    export HIVE_HOME=${HADOOP_BASE_HOME}/hive-1.1.0-cdh5.12.0
    
    export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin${HBASE_HOME}/bin:${HIVE_HOME}/bin


    2) 编辑 ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh


    修改对应的行:


    export JAVA_HOME=/usr/local/java/
    
    
    3) 编辑 ${HADOOP_HOME}/etc/hadoop/core-site.xml




    <configuration>
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/home/abeffect/data/hadoop</value>
            </property>
            <property>
                     <name>fs.default.name</name>
                     <value>hdfs://localhost:9000</value>
            </property>
    </configuration>
    4) 编辑 ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml



    <configuration>
            <property>
                    <name>dfs.namenode.name.dir</name>
                    <value>file:/home/abeffect/data/nameNode</value>
                    <final>true</final>
            </property>
            <property>
                    <name>dfs.datanode.data.dir</name>
                    <value>file:/home/abeffect/data/dataNode</value>
            </property>
            <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>
            <property>
                   <name>dfs.permissions</name>
                   <value>false</value>
            </property>
            <property>
                    <name>dfs.permissions</name>
                    <value>false</value>
            </property>
    </configuration>
    5) cp ${HADOOP_HOME}/etc/hadoop/mapred-site.xml.template ${HADOOP_HOME}/etc/hadoop/mapred-site.xml


    编辑 ${HADOOP_HOME}/etc/hadoop/mapred-site.xml

    <configuration>
           <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
            <property>
                    <name>mapreduce.job.tracker</name>
                    <value>localhost:90010</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>loclhost</value>
                    <description>hostanem of RM</description>
            </property>
            <property>
                     <name>yarn.nodemanager.aux-services</name>
                     <value>mapreduce.shuffle</value>
                     <description>shuffle service that needs to be set for Map Reduce to run </description>
             </property>
             <property>
                    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
             </property>
    </configuration>
    6) 格式化namenode 


    hdfs namenode -format 


    正常会有提示:common.Storage: Storage directory /home/abeffect/data/nameNode has been successfully formatted.


    7) 启动集群 start-all.sh


    8) 访问:http://localhost:50070 来查看web页面


    5. 安装单机版本的hbase

    1) 下载 tar

    2) 编辑 vim ${HBASE_HOME}/conf/hbase-env.sh 

    修改对应的行

    export JAVA_HOME=/usr/local/java/

    export HBASE_MANAGES_ZK=true


    3) 编辑 vim ${HBASE_HOME}/conf/hbase-site.xml

    修改对应的行

    <configuration>
    	<property>
    		<name>hbase.rootdir</name>
    		<value>hdfs://localhost:9000/hbase</value>
    	</property>
    </configuration>


    4) 启动 

    start-hbase.sh


    5) 检测状态:

    hbase hbck


    结果有:

    Status: OK


    6) 启动web页面

    hbase rest start


    6. 安装单机版本的hive

    1) 下载tarball文件

    2) 编辑 ${HIVE_HOME}/bin/hive-config.sh 文件


    export JAVA_HOME=/usr/local/java
    export HADOOP_BASE_HOME=/home/abeffect/share/hadoop
    export HADOOP_HOME=${HADOOP_BASE_HOME}/hadoop-2.6.0-cdh5.12.0
    export HBASE_HOME=${HADOOP_BASE_HOME}/hbase-1.2.0-cdh5.12.0
    export HIVE_HOME=${HADOOP_BASE_HOME}/hive-1.1.0-cdh5.12.0
    
    export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HBASE_HOME}/bin:${HIVE_HOME}/bin
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HIVE_HOME/lib:${HBASE_HOME}/lib
    3) hive使用什么样的元数据库,一处是如果要想启动hive的web管理页面,需要配置hive的web端war包。


    hive的元数据库可以用自身的derby,也可以用mysql


    4) 重命名

    mv ${HIVE_HOME}/conf/hive-env.sh.template ${HIVE_HOME}/conf/hive-env.sh


    编辑 ${HIVE_HOME}/conf/hive-env.sh


    末尾增加


    export HADOOP_BASE_HOME=/home/abeffect/share/hadoop
    export HADOOP_HOME=${HADOOP_BASE_HOME}/hadoop-2.6.0-cdh5.12.0
    export HIVE_HOME=${HADOOP_BASE_HOME}/hive-1.1.0-cdh5.12.0
    export HIVE_CONF_DIR=${HIVE_HOME}/conf
    export HIVE_AUX_JARS_PATH=${HIVE_HOME}/lib









    评论

    发表评论

    validate