大數據培訓_cloudera CHD5安裝教程

發布時間： 2019-05-15 13:26:26

　　大數據培訓_cloudera CHD5安裝教程

　　1.Cloudera安裝前準備

　　1.安裝linux系統3臺

　　2.修改用戶名,master,slave01,slave02
　　3.修改hosts IP與主機名的對應關系
　　三臺都配置/etc/hosts
　　加入:
　　192.168.245.71 master
　　192.168.245.72 slave01
　　192.168.245.73 slave02
　　所有機器統一時間
　　date -s "2018-12-01 16:07:00"
　　4.安裝java 環境
　　[root@master local]# tar -zxvf jdk-8u121-linux-x64.tar.gz
　　[root@master local]# scp -r /usr/local/java/ root@slave01:/usr/local/
　　[root@master local]# scp -r /etc/profile root@slave01:/etc/
　　三臺機器加入環境變量，針對后面安裝時的報錯
　　echo "export JAVA_HOME=/usr/local/java/" > /etc/environment
　　重啟三臺機器生效
　　5.三臺機器做免密登錄
　　三臺機器互相做免密
　　master-->master,master-->slave01,master-->slave02
　　slave01-->master,slave01-->slave01,slave01-->slave02
　　slave02-->master,slave02-->slave01,slave02-->slave02
　　6.選擇其中一臺機器安裝mysql
　　創建數據庫
　　create database hive DEFAULT CHARSET utf8 ;
　　create?database?oozie DEFAULT?CHARSET?utf8?;
　　create database hue?DEFAULT CHARSET utf8 ;
　　7.關閉3臺的防火墻
　　service iptables stop
　　chkconfig iptables off 重啟后也生效
　　增加補丁
　　[root@master opt]# yum install mod_ssl （避免后面啟動時出錯）
　　8.下載CDH安裝包
　　選擇下載的與你安裝對應的系統版本
　　Cloudera Manager下載地址：
　　http://archive.cloudera.com/cm5/cm/5/
　　cloudera-manager-el6-cm5.15.1_x86_64.tar.gz
　　CDH安裝包
　　http://archive.cloudera.com/cdh5/parcels/latest/
　　CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel
　　CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel.sha1
　　manifest.json
　　下載成功后，上傳到/opt/
　　9.安裝Cloudera Manager Server 和Agent
　　cloudera manager的目錄默認位置在/opt下，解壓：tar xzvf cloudera-manager*.tar.gz將解壓后的cm-5.15.1和cloudera目錄放到/opt目錄下
　　[root@master opt]# tar -zxvf cloudera-manager-el6-cm5.15.1_x86_64.tar.gz
　　[root@master opt]# pwd
　　/opt
　　[root@master opt]# ll
　　total 2631988
　　-rw-r--r--. 1 root root 1856909423 Dec 1 21:05 CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel
　　-rw-r--r--. 1 root root 41 Dec 1 20:32 CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha1
　　drwxr-xr-x. 4 1106 4001 4096 Jul 31 06:30 cloudera
　　-rw-r--r--. 1 root root 838149664 Dec 1 21:07 cloudera-manager-el6-cm5.15.1_x86_64.tar.gz
　　drwxr-xr-x. 9 1106 4001 4096 Jul 31 06:30 cm-5.15.1
　　-rw-r--r--. 1 root root 63988 Nov 29 01:08 manifest.json
　　drwxr-xr-x. 2 root root 4096 Mar 26 2015 rh
　　[root@master opt]#
　　10.上傳mysql驅動包
　　復制mysql-connector-java-5.1.44-bin.jar到目錄/usr/share/java和/opt/cm-5.15.1/share/cmf/lib/
　　并改名成mysql-connector-java.jar
　　[root@master ~]# mv /opt/mysql-connector-java-5.1.27.jar /opt/mysql-connector-java.jar
　　[root@master opt]# cp /root/mysql-connector-java.jar /opt/cm-5.15.1/share/cmf/lib/
　　[root@master opt]# cp /opt/mysql-connector-java.jar /usr/share/java
　　11.創建用戶cloudera-scm
　　在所有節點上執行
　　useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
　　12.agent配置
　　主節點，修改/opt/cm-5.15.1/etc/cloudera-scm-agent/config.ini中的server_host為主節點的主機名。
　　# Hostname of the CM server.
　　server_host=master
　　同步Agent到其他所有節點：
　　scp -r /opt/cm-5.15.1 root@slave01:/opt/
　　scp -r /opt/cm-5.15.1 root@slave02:/opt/
　　13.在主節點初始化CM5數據庫
　　/opt/cm-5.15.1/share/cmf/schema/scm_prepare_database.sh mysql cm -h master -uroot -p123456 --scm-host master scm scm scm
　　-h后是mysql的主機名
　　--scm-host 后是SCM server的主機名（主節點）
　　14.準備Parcels，用以安裝CDH5
　　將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中
　　相關的文件如下：
　　CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel
　　CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel.sha1
　　manifest.json
　　最后將CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1，重命名為
　　CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel.sha
　　[root@master opt]# cp CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel* /opt/cloudera/parcel-repo/
　　[root@master opt]# cp manifest.json /opt/cloudera/parcel-repo/
　　[root@master opt]# mv /opt/cloudera/parcel-repo/CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha
　　15.啟動腳本
　　主節點：通過/opt/cm-5.15.1/etc/init.d/cloudera-scm-server start啟動服務端。
　　所有節點（包括主節點）：通過/opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start啟動Agent服務
　　停止可以用/init.d/cloudera-scm-server stop
　　啟動成功后，可以用ps –ef|grep cloudera看到這2個進程
　　[root@master opt]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-server start
　　Starting cloudera-scm-server: [ OK ]
　　[root@master opt]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start
　　Starting cloudera-scm-agent: [ OK ]
　　[root@slave01 ~]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start
　　Starting cloudera-scm-agent: [ OK ]
　　[root@slave02 ~]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start
　　Starting cloudera-scm-agent: [ OK ]
　　16.CDH5的安裝配置
　　http://192.168.0.81:7180/cmf/login

　　默認的用戶名和密碼均為admin

　　2.Cloudera集群安裝

　　1.登錄