自慰套教室～女子全员妊娠,精品无码国产自产拍在线观看蜜桃,亚洲国产精品成人精品无码区,久别的草原在线看视频免费

<table id="gg82g"><noscript id="gg82g"></noscript></table>

微信
電話

復制成功

微信號:togogoi

添加微信好友, 詳細了解課程

已復制成功，如果自動跳轉微信失敗，請前往微信添加好友

打開微信

新聞資訊

開始學習

業界新聞

當前位置：首頁 > >業界新聞 > >

安裝部署Flume的步驟

發布時間： 2022-05-19 10:28:28

安裝部署Flume的步驟并不復雜，讀者可以閱讀下面的操作流程來快速部署Flume。本節給大家演示兩種部署方式：單點部署和高可用部署。

1.單點部署

提示：下面演示的是在某一臺服務器(節點)上，部署Flume并啟動進程服務。由于進程服務是在一臺服務器(節點)上運行，當該進程服務被人為停止或者因服務器宕機導致Flume進程服務停止，從而使Flume進程服務不可用時，導致數據傳輸不能正常進行，這樣的現象被稱為單點。

(1)下載：在Flume官方網站上獲取Flume版本下載地址，然后在nna節點上使用Linux命令下載軟件安裝包。操作命令如下：

提示：如果操作的集群不能連接網絡，可以先在本地機器上下載Flume軟件安裝包，再上傳到nna節點/data/soft/new/目錄下。

(2)解壓：將/data/soft/new/目錄下的Flume軟件安裝包進行解壓，并重命名。操作命令如下：

(3)配置環境變量：在/etc/profile文件下配置Flume的環境變量。操作命令如下：

完成環境變量配置后，使用source命令使配置的環境變量立即生效。操作命令如下：

(4)編輯Flume配置文件：在$FLUME_HOME/conf/flume-conf.properties文件中配置數據源采集路徑、數據臨時存儲路徑、數據發送路徑及類型等內容。操作內容見代碼1。

代碼1 單點Flume配置文件

(5)指定JAVA_HOME：在Flume的環境變量腳本($FLUME_HOME/conf/flume-env.sh)中，指定JAVA_HOME變量所對應的JDK路徑。操作命令如下：

(6)啟動：完成上述配置后，開始啟動Flume服務用于收集數據。操作命令如下：

啟動命令中，agent1表示配置文件中的Agent的名稱，和flume-conf.properties文件中agent1保持一致。啟動Flume服務后，在/data/flume/logdfs/目錄下模擬放置一些數據文件讓Flume Agent進行采集，若本地數據文件采集完成后，文件名會重新命名，以“.COMPLETED”后綴結尾。最后，可以到Hadoop分布式文件系統(HDFS)的/data/flume/logdfs/路徑下查看采集的數據，如圖1所示。

圖1 Flume采集

2.高可用部署

在單點部署Flume時，如果部署的節點發生故障會導致整個采集不可用，而高可用部署正好能解決這一問題，能夠確保在一個服務節點宕機，整個Flume采集服務依然可用。高可用部署Flume架構如圖2所示。

圖2 高可用部署Flume架構圖

(1)角色分配：本書搭建高可用Flume集群使用了3個Agent(用于客戶端采集)、2個Collector(用于提供服務)來進行部署。分布詳情如表1所示。

表1 高可用Flume集群角色分布

提示：Flume帶有故障自動轉移(Failover)機制，可以自動切換和恢復服務，所以這里配置兩個Collector用于對外提供服務。

(2)添加配置文件：在單點部署的基礎上添加兩個配置文件即可滿足高可用性，這兩個配置文件分別是flume-client.properties和flume-server.properties。具體內容見代碼2和代碼3所示。

代碼2 flume-client.properties文件

代碼3 flume-server.properties文件

然后再使用scp同步命令，將nna節點上配置好的flume同步到nns節點作為Collector2(上傳傳備份服務)，同時也同步到dn1、dn2、dn3上分別作為3個Agent(代理)客戶端。操作命令如下：

您可能也喜歡：

QQ空間新浪微博騰訊微博人人網微信更多

上一篇：網絡安全問題產生的原因

下一篇： Sqoop安裝步驟

客服熱線

18922156670

微信咨詢：togogoi

全國校區

廣州總校區：廣州市天河區科韻路棠安路188號樂天大廈2樓整層
深圳分校區：深圳市南山區南油第四工業區2棟602室
其他城市校區為流動地址,請聯系網站客服獲取校區地址

關注我們

Copyright © 2018-2023 廣州騰科網絡技術有限公司 All rights reserved 粵ICP備12042194號

點擊QQ咨詢
聯系電話：18922156670
在線咨詢

在線咨詢 ×

您好，請問有什么可以幫您？我們將竭誠提供最優質服務！

QQ咨詢下次再說

<蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>