發布時間: 2022-03-09 15:45:23
主要介紹在CentOS 7單機環境下的Hadoop搭建過程。
1.準備Hadoop需要的軟件
(1)安裝Java軟件包。
CentOS 7發行版本默認會安裝Java運行環境,可以使用which命令來確認Java是否安裝,命令如下:
也可以自行下載和安裝自己需要的Java版本,建議Java版本高于7.0。
這里使用從官方網站下載的最新版本的Java開發包,下載地址:http://www.oracle.com/technetwork/cn/java/javase/downloads/index.html。
將下載好的安裝包安裝到指定位置,這里以保存到/opt目錄下為例,操作命令如下:
設置環境變量“JAVA_HOME”,這個變量用來指定Java程序的工作目錄。在/etc/bashrc目錄下添加Java安裝目錄,命令如下:
(2)設置SSH通過秘鑰方式訪問。Hadoop多個節點之間通信會采用SSH秘鑰認證方式,為避免每次通信都需要用戶輸入密碼,這里需要生成一對SSH秘鑰,生成秘鑰使用如下命令:
(3)下載Hadoop軟件包。訪問http://hadoop.apache.org/releases.html#Download,這里提供了多個版本的Hadoop軟件包下載,建議讀者測試和開發時使用最新的穩定版本(Stable),這里以2.6.4版本為例,下載位置如圖1所示。
圖1 下載位置
下載完成后將Hadoop解壓縮到/opt目錄,并設置環境變量指向Hadoop的安裝目錄。命令如下:
2.修改配置文件并啟動服務
(1)修改Hadoop HDFS配置文件。接下來需要設置Hadoop的配置文件,這種單機運行的模式也稱作偽分布模式,和集群模式略有區別。這里使用偽分布模式進行部署。修改如下配置文件。
①$HADOOP_HOME/etc/hadoop/core-site.xml。
②$HADOOP_HOME/etc/hadoop/hdfs-site.xml。
(2)啟動Hadoop HDFS服務。
①首次啟動格式化存儲空間。
②啟動NameNode和DataNode進程。
③驗證端口是否啟動。
(3)修改Hadoop YARN配置文件。
①$HADOOP_HOME/etc/hadoop/mapred-site.xml。
②$HADOOP_HOME/etc/hadoop/yarn-site.xml。
(4)啟動Hadoop YARN服務。
①啟動命令如下:
②驗證端口是否啟動。
偽分布方式配置起來非常簡單,多用于開發環境部署,接下來就對偽分布環境進行測試。
上一篇: Spark框架
下一篇: MapReduce原理