离线安装Cloudera Manager5.3.4与CDH5.3.4-白红宇

离线安装Cloudera Manager5.3.4与CDH5.3.4

阅读量：4255 次

发布时间：2019-05-26

本文共 12309 字，大约阅读时间需要 41 分钟。

系统环境

操作系统：CentOS 6.5 x64，配置如下：

前期准备工作（系统环境搭建）

所需软件 cloudera-manager-el6-cm5.3.4_x86_64.tar.gz、mysql-connector-java-5.1.25-bin.jar

1、设置静态IP地址

[Shell]

纯文本查看

复制代码

`01`	`vi` `/etc/sysconfig/network-scripts/ifcfg-eth0`

由于我重装系统时已经设置了，这里就不设置了。

2、修改主机名

[Shell]

纯文本查看

复制代码

                   01           hostname 主机名  （当前生效）         
       
                   02           vi /etc/sysconfig/network （下次启动生效）         
       
                   03                     
       
                   04           [root@hadoop2 opt]# cat /etc/sysconfig/network         
       
                   05           NETWORKING=yes         
       
                   06           HOSTNAME=hadoop2         
       
                   07           GATEWAY=172.23.253.1         
       
                   08           NTPSERVERARGS=iburst

由于我重装系统时已经设置了，这里就不设置了。

3、绑定 IP与HostName

在hadoop1节点上操作

[Shell]

纯文本查看

复制代码

                     01            vi /etc/hosts          
        
                     02            172.23.253.20 hadoop1          
        
                     03            172.23.253.22 hadoop2          
        
                     04            172.23.253.23 hadoop3          
        
                     05            172.23.253.24 hadoop4          
        
                     06            172.23.253.25 hadoop5          
        
                     07            172.23.253.26 hadoop6

复制到其它节点（hadoop2~hadoop6）

[Shell]

纯文本查看

复制代码

                     01            scp /etc/hosts hadoop2:/etc/          
        
                     02            scp /etc/hosts hadoop6:/etc/

4、设置SSH免密码登录（所有节点）

1、重新生成密钥（各个节点）

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 /]# cd /root/.ssh/          
        
                     02            [root@hadoop1 .ssh]# ssh-keygen -t rsa          
        
                     03            [root@hadoop1 .ssh]# cat id_rsa.pub >> authorized_keys

测试是否成功ssh localhost

其他其它节点同样的方式生成密钥。

2、设置两两结点间的免密码登录

hadoop2~hadoop6将自己的公钥复制给对方主机

[Shell]

纯文本查看

复制代码

`01`	`ssh-copy-id` `-i hadoop1`

hadoop1复制自己的authorized_keys给其他主机 hadoop2~hadoop6，这样都可以互相免密码登录了。

[Shell]

纯文本查看

复制代码

                     01            scp /root/.ssh/authorized_keys hadoop2:/root/.ssh/          
        
                     02            scp /root/.ssh/authorized_keys hadoop6:/root/.ssh/

5、安装Oracle的Java

CentOS自带Open Jdk，不过运行CDH5需要使用Oracle的jdk，需要Java 7的支持。jdk安装的时候，一定要采用rpm的安装方式，而不要采用tar解压的安装方式。因为rpm的安装方式，会在/usr/lib下新建两个软连接。

首先，卸载自带的OpenJdk，使用rpm -qa | grep java查询java相关的包，使用rpm -e --nodeps 包名卸载掉。

由于是rpm包并不需要我们来配置环境变量，我们只需要配置一个全局的JAVA_HOME变量即可，执行命令：

echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

执行命令java -version和javac -version，查看Jdk是否安装正确。

1、卸载系统自带OPEN-JDK（所有节点）

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 .ssh]# rpm -qa | grep java          
        
                     02            java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64          
        
                     03            tzdata-java-2013g-1.el6.noarch          
        
                     04            java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64          
        
                     05            [root@hadoop1 .ssh]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64          
        
                     06            tzdata-java-2013g-1.el6.noarch java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

2、安装Oracle的JDK（所有节点）

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 opt]# rpm -ivh jdk-7u80-linux-x64.rpm          
        
                     02            Preparing...                ########################################### [100%]          
        
                     03               1:jdk                    ########################################### [100%]          
        
                     04            Unpacking JAR files...          
        
                     05                    rt.jar...          
        
                     06                    jsse.jar...          
        
                     07                    charsets.jar...          
        
                     08                    tools.jar...          
        
                     09                    localedata.jar...          
        
                     10                    jfxrt.jar...          
        
                     11            [root@hadoop1 opt]# echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment          
        
                     12            [root@hadoop1 opt]# java -version          
        
                     13            java version "1.7.0_80"          
        
                     14            Java(TM) SE Runtime Environment (build 1.7.0_80-b15)          
        
                     15            Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)          
        
                     16            [root@hadoop1 opt]# javac -version          
        
                     17            javac 1.7.0_80

6、安装和配置MySql（主节点）

通过yum install mysql-server安装mysql服务器。

设置开机启动chkconfig mysqld on，

并启动mysql服务service mysqld start，

并根据提示设置root的初始密码：mysqladmin -u root password 'xxxx'。

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 opt]# yum install mysql-server          
        
                     02            [root@hadoop1 opt]# chkconfig mysqld on          
        
                     03            [root@hadoop1 opt]# service mysqld start          
        
                     04            [root@hadoop1 opt]# service mysqld status          
        
                     05                       
        
                     06            [root@hadoop1 opt]# mysqladmin -u root password 'liguodong'

进入mysql命令行mysql -uroot -pxxxx，创建以下数据库：

[SQL]

纯文本查看

复制代码

                     01            [root@hadoop1 opt]# mysql -uroot -pliguodong          
        
                     02                       
        
                     03            mysql> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;          
        
                     04            Query OK, 1 row affected (0.00 sec)          
        
                     05                       
        
                     06            mysql>  create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;          
        
                     07            Query OK, 1 row affected (0.00 sec)          
        
                     08                       
        
                     09            mysql> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;          
        
                     10            Query OK, 1 row affected (0.00 sec)

设置root授权访问以上所有的数据库。

[SQL]

纯文本查看

复制代码

                     01            mysql> grant all privileges on *.* to 'root'@'hadoop1' identified by 'liguodong' with grant option;          
        
                     02            Query OK, 0 rows affected (0.00 sec)          
        
                     03                       
        
                     04            mysql> flush privileges;          
        
                     05            Query OK, 0 rows affected (0.00 sec)

Cloudera官方MySql配置文档：

7、关闭防火墙和SELinux（所有节点）

注意：需要在所有的节点上执行，因为涉及到的端口太多了，临时关闭防火墙是为了安装起来更方便（防火墙会引起hadoop相关组件通讯的各种异常。），安装完毕后可以根据需要设置防火墙策略，保证集群安全。

关闭防火墙：

service iptables stop （临时关闭）

chkconfig iptables off （重启后生效）

关闭SELINUX：

（实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证）

setenforce 0（临时生效）

修改/etc/selinux/config 下的 SELINUX=disabled（重启后永久生效）

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 opt]# service iptables stop          
        
                     02            iptables：将链设置为政策 ACCEPT：filter                    [确定]          
        
                     03            iptables：清除防火墙规则：                                 [确定]          
        
                     04            iptables：正在卸载模块：                                   [确定]          
        
                     05            [root@hadoop1 opt]# chkconfig iptables off          
        
                     06                       
        
                     07            [root@hadoop1 opt]# setenforce 0          
        
                     08            [root@hadoop1 opt]# vi /etc/selinux/config          
        
                     09            [root@hadoop1 opt]# cat /etc/selinux//config          
        
                     10            SELINUXTYPE=targeted          
        
                     11            SELINUX=disabled

8、安装和配置NTP服务（所有节点）

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。

具体思路如下：

master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。所有datanode节点以master节点为基础同步时间。

所有节点安装相关组件：yum install ntp。

完成后，配置开机启动：chkconfig ntpd on，

检查是否设置成功：chkconfig --list ntpd，其中2-5为on状态就代表成功。

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 opt]# yum install ntp          
        
                     02            [root@hadoop1 opt]# chkconfig ntpd on          
        
                     03            [root@hadoop1 opt]# chkconfig --list ntpd          
        
                     04            ntpd            0:关闭  1:关闭  2:启用  3:启用  4:启用  5:启用  6:关闭

配置内网NTP服务器（主节点）

在配置之前，先使用ntpdate手动同步一下时间，免得本机与对时中心时间差距太大，使得ntpd不能正常同步。这里选用202.112.10.36作为对时中心，命令如下：ntpdate -u 202.112.10.36。

[Shell]

纯文本查看

复制代码

                     01            # ntpdate -u 202.112.10.36          
        
                     02            22 Dec 16:52:38 ntpdate[6400]: adjust time server 202.112.10.36 offset 0.012135 sec

ntp服务只有一个配置文件，配置好就可以。这里只给出有用的配置，不需要的配置都用#注掉，这里就不在给出。

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 opt]# vi /etc/ntp.conf          
        
                     02            [root@hadoop1 opt]# cat /etc/ntp.conf          
        
                     03            driftfile /var/lib/ntp/drift          
        
                     04            restrict 127.0.0.1          
        
                     05            restrict -6 ::1          
        
                     06            restrict default nomodify notrap          
        
                     07            server 202.112.10.36 prefer          
        
                     08            includefile /etc/ntp/crypto/pw          
        
                     09            keys /etc/ntp/keys

配置文件完成，保存退出。

启动服务，执行如下命令：

[Shell]

纯文本查看

复制代码

`01`	`[root@hadoop1 opt]# service ntpd start`

检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 ~]# ntpstat          
        
                     02            synchronised to NTP server (202.112.10.36) at stratum 3          
        
                     03               time correct to within 133 ms          
        
                     04               polling server every 1024 s

如果出现异常请等待几分钟，一般等待5-10分钟才能同步。

配置ntp客户端（hadoop2~hadoop6）

[Shell]

纯文本查看

复制代码

                   01           driftfile /var/lib/ntp/drift         
       
                   02           restrict 127.0.0.1         
       
                   03           restrict -6 ::1         
       
                   04           restrict default kod nomodify notrap nopeer noquery         
       
                   05           restrict -6 default kod nomodify notrap nopeer noquery         
       
                   06           #这里是主节点(内网NTP服务器)的主机名或者ip         
       
                   07           server hadoop1         
       
                   08                     
       
                   09           includefile /etc/ntp/crypto/pw         
       
                   10           keys /etc/ntp/keys

保存退出，请求服务器前，请先使用ntpdate手动同步一下时间：ntpdate -u hadoop1 (主节点ntp服务器)

这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。

启动服务：service ntpd start

[Shell]

纯文本查看

复制代码

                   01           [root@hadoop2 ~]# ntpdate -u hadoop1         
       
                   02           27 Jun 08:14:38 ntpdate[1899]: adjust time server 172.23.253.20 offset 0.000293 sec         
       
                   03                     
       
                   04           [root@hadoop2 ~]# service ntpd start         
       
                   05           [root@hadoop2 ~]# chkconfig ntpd on

安装与配置Cloudera Manager Server 和AgentServer配置（主节点）

下载地址：（选择适合你的一款）

根据自己的系统选择相应的版本，本次安装选用的是cloudera-manager-el6-cm5.3.4_x86_64.tar.gz，下载完成后只上传到主节点即可。

然后解压到/opt目录下，不能解压到其它地方。

因为cdh5的源会默认在/opt/cloudera/parcel-repo寻找，怎么制作cdh5的本地源文件会在之后介绍。

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 opt]# tar -zxvf cloudera-manager-el6-cm5.3.4_x86_64.tar.gz          
        

给所有节点添加cloudera-scm用户：

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 lib]# useradd --system --home=/opt/cm-5.3.4/run/cloudera-scm-server/ --no-create-home --shell=/bin/false          
        
                     02            --comment  "Cloudera SCM User" cloudera-scm

为Cloudera Manager 5建立数据库：

因为我们用的是Mysql数据库，所以我们需要下载Mysql的JDBC驱动，本次从官网上下载的版本是：mysql-connector-java-5.1.25-bin.jar放到/opt/cm-5.3.4/share/cmf/lib/目录下。

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 opt]# mv mysql-connector-java-5.1.25-bin.jar /opt/cm-5.3.4/share/cmf/lib/          
        

然后，建立数据库：

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 opt]#/opt/cm-5.3.4/share/cmf/schema/scm_prepare_database.sh mysql          
        
                     02            cm -hlocalhost -uroot -pliguodong --scm-host localhost scm scm scm

格式是:scm_prepare_database.sh 数据库类型数据库服务器用户名密码 –scm-host Cloudera_Manager_Server所在的机器，后面那三个不知道代表什么，直接照抄官网的了。

开启Cloudera Manager 5 Server端：

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 lib]# /opt/cm-5.3.4/etc/init.d/cloudera-scm-server start          
        

注意：

server首次启动不要立即关闭或重启，因为首次启动会自动创建相关表以及数据，

如果因为特殊原因中途退出，请先删除所有表以及数据之后再次启动，否则将会出现启动不成功的情况。

Agent配置（所有节点）

开启Cloudera Manager 5 Agents端。

现在主节点修改/opt/cm-5.3.4/etc/cloudera-scm-agent/config.ini下面的serer_host为主节点的主机名。

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 lib]# vi /opt/cm-5.3.4/etc/cloudera-scm-agent/config.ini             
        
                     02            server_host=hadoop1

先复制/opt/cm-5.3.4到hadoop2~hadoop6节点上，

[Shell]

纯文本查看

复制代码

                     01            scp -r /opt/cm-5.3.4 hadoop2:/opt/          
        
                     02            ···          
        
                     03            scp -r /opt/cm-5.3.4 hadoop6:/opt/

等待拷贝成功，在所有节点上启动Agent：（注意必须以管理员权限启动）

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 lib]# /opt/cm-5.3.4/etc/init.d/cloudera-scm-agent start          
        

浏览器启动Cloudera Manager 5 控制台（默认端口号是7180），启动成功就会看到登陆页面。

Cloudera Manager Server和Agent都启动以后，就可以进行CDH5的安装配置了。

这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin。

制作本地源

先下载CDH到本地，

这里需要下载三样东西，

首先是与自己系统版本相对应的parcel包，然后是manifest.json文件。

[Shell]

纯文本查看

复制代码

                     01            CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel、          
        
                     02            CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1、          
        
                     03            manifest.json

下载完成后，将这两个文件放到master节点的/opt/cloudera/parcel-repo下（目录在安装Cloudera Manager 5时已经生成），注意目录一个字都不能错。

[Shell]

纯文本查看

复制代码

                     01            [root@hadoop1 parcel-repo]# pwd          
        
                     02            /opt/cloudera/parcel-repo          
        
                     03            [root@hadoop1 parcel-repo]# ll          
        
                     04            总用量 1533188          
        
                     05            -rw-r-----. 1 root root 1569930781 6月  27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel          
        
                     06            -rw-r--r--. 1 root root         41 6月  27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel.sha          
        
                     07            -rw-r--r--. 1 root root      42475 6月  27 10:18 manifest.json

接下来打开manifest.json文件，里面是json格式的配置，我们需要的就是与我们系统版本相对应的hash码，因为我们用的是Centos6.5，所以找到如下位置：

在这个大括号的最下面找到“hash”所对应的值。

将“hash”的值复制下来，然后，将CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1文件名改为CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha，将复制下来的hash值替换掉文本中的hash值，按理说应该是一致的。保存好了，这样，我们的本地源制作完成了。

然后的操作就是控制台按照步骤安装即可。

安装CDH

打开，登陆控制台，默认账户和密码都是admin，安装时选择免费版，之后由于cm5对中文的支持很强大，按照提示安装即可，如果系统配置有什么问题在安装过程中会有提示，根据提示给系统安装组件就可以了。

登录界面

选取安装版本

指定安装主机

选取本地Parcel包

接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。

集群安装

检查主机正确性

接下来是服务器检查，可能会遇到以下问题：

[Plain Text]

纯文本查看

复制代码

                     01            Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。          
        
                     02            使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。          
        
                     03            您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。          
        
                     04            以下主机受到影响：          
        
                     05            ···

在会受到影响的主机上执行

echo 0 > /proc/sys/vm/swappiness命令即可解决。

选择安装服务

集群角色分配

一般情况下保持默认就可以了（Cloudera Manager会根据机器的配置自动进行配置，如果需要特殊调整，自行进行设置就可以了）。

集群数据库设置

集群审查更改

如果没有其他需求保持默认配置。

终于到安装各个服务的地方了。

注意，这里安装Hive的时候可能会报错，因为我们使用了MySql作为hive的元数据存储，hive默认没有带mysql的驱动，通过以下命令拷贝一个就行了：

[Shell]

纯文本查看

复制代码

                     01            cp /opt/cm-5.3.4/share/cmf/lib/mysql-connector-java-5.1.25-bin.jar          
        
                     02            /opt/cloudera/parcels/CDH-5.3.4-1.cdh5.3.4.p0.12/lib/hive/lib/

之后再继续安装就不会遇到问题了。

经过漫长的等待后，服务的安装完成：

安装完成后，就可以进入集群界面看一下集群的当前状况了。

测试

[Shell]

纯文本查看

复制代码

                   01           [root@hadoop1 /]# su hdfs         
       
                   02           [hdfs@hadoop1 /]$ yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar  pi 100 1000         
       
                   03           Number of Maps  = 100         
       
                   04           Samples per Map = 1000         
       
                   05           Wrote input for Map #0         
       
                   06           Wrote input for Map #1         
       
                   07           Wrote input for Map #2         
       
                   08           Wrote input for Map #3         
       
                   09           Wrote input for Map #4         
       
                   10           Wrote input for Map #5         
       
                   11           Wrote input for Map #6         
       
                   12           Wrote input for Map #7         
       
                   13           Wrote input for Map #8         
       
                   14           Wrote input for Map #9         
       
                   15           Wrote input for Map #10         
       
                   16                     
       
                   17           ····         
       
                   18                     
       
                   19           15/06/27 22:45:55 INFO mapreduce.Job:  map 100% reduce 0%         
       
                   20           15/06/27 22:46:00 INFO mapreduce.Job:  map 100% reduce 100%         
       
                   21           15/06/27 22:46:01 INFO mapreduce.Job: Job job_1435378145639_0001 completed successfully         
       
                   22           15/06/27 22:46:01 INFO mapreduce.Job: Counters: 49         
       
                   23                   Map-Reduce Framework         
       
                   24                           Map input records=100         
       
                   25                           Map output records=200         
       
                   26                           Map output bytes=1800         
       
                   27                           Map output materialized bytes=3400         
       
                   28                           Input split bytes=14490         
       
                   29                           Combine input records=0         
       
                   30                           Combine output records=0         
       
                   31                           Reduce input groups=2         
       
                   32                           Reduce shuffle bytes=3400         
       
                   33                           Reduce input records=200         
       
                   34                           Reduce output records=0         
       
                   35                           Spilled Records=400         
       
                   36                           Shuffled Maps =100         
       
                   37                           Failed Shuffles=0         
       
                   38                           Merged Map outputs=100         
       
                   39                           GC time elapsed (ms)=3791         
       
                   40                           CPU time spent (ms)=134370         
       
                   41                           Physical memory (bytes) snapshot=57824903168         
       
                   42                           Virtual memory (bytes) snapshot=160584515584         
       
                   43                           Total committed heap usage (bytes)=80012115968         
       
                   44                   Shuffle Errors         
       
                   45                           BAD_ID=0         
       
                   46                           CONNECTION=0         
       
                   47                           IO_ERROR=0         
       
                   48                           WRONG_LENGTH=0         
       
                   49                           WRONG_MAP=0         
       
                   50                           WRONG_REDUCE=0         
       
                   51                   File Input Format Counters         
       
                   52                           Bytes Read=11800         
       
                   53                   File Output Format Counters         
       
                   54                           Bytes Written=97         
       
                   55           Job Finished in 50.543 seconds         
       
                   56           Estimated value of Pi is 3.14120000000000000000