發布時間: 2022-03-09 17:16:37
怎么安裝Spark?Spark支持很多版本,目前主流的是1.6.0版本,為了便于學習先下載預編譯版本,訪問http://spark.apache.org選擇Download命令,之后進入下載界面。
在Choose a Spark release下拉列表框中選擇1.6.0版本,這是最新的穩定版本。在Choose a package type下拉列表框中選擇Pre-built for Hadoop 2.6 andlater選項。這里選擇源代碼版本或預編譯版本,由于之前安裝的Hadoop為2.6版本,這里選擇此項,讀者可以根據實際環境進行選擇。
在Choose a downloadtype下拉列表框中選擇Direct Download選項直接進行下載,之后單擊出現的鏈接地址就可以下載了。下載界面如圖1所示。
圖1 下載界面
此外還需要下載Scala:訪問http://www.scala-lang.org/download/下載最新的穩定版本,下載位置如圖2所示。
圖2 Scala下載位置
環境準備
由于Spark是采用Scala語言編寫的,因此需要在Java虛擬機(JVM)上面運行,為了更好地兼容其他的大數據軟件,這里建議至少在Java 7版本以上,如果需要進行Scala和Python的開發,需要安裝Scala和Python的解釋器(Python解釋器安裝方法請參考附錄)。
首先要確保Java環境變量存在,同上一節Hadoop配置,確保/etc/bashrc存在以下代碼行:
3.安裝
將Scala安裝到/opt目錄,使用命令如下:
安裝完成后,需要設置環境變量。確保以下配置在/etc/bashrc文件中存在:
安裝Spark命令如下:
將Spark安裝目錄設置為環境變量加入/etc/bashrc文件,命令如下:
上一篇: 分布式列存儲框架
下一篇: Spark框架