大數據培訓_hadoop YARN的資源管理之靜態資源
資源概述
大數據平臺的資源分為計算資源和存儲資源。多租戶可實現資源的隔離：
?
計算資源包括CPU和內存。租戶之間不可以相互占用計算資源，私有計算資源獨立。
存儲資源
存儲資源包括磁盤或第三方存儲系統。租戶之間不可以相互訪問數據，私有存儲資源獨立。
計算資源
計算資源可分為靜態服務資源和動態資源：
靜態服務資源
靜態服務資源是集群分配給各個服務的計算資源，每個服務的計算資源總量固定，不與其他服務共享，是靜態的。這些服務包括FTP-Server、Flume、HBase、HDFS、Solr和Yarn。
動態資源
動態資源是分布式資源管理服務Yarn動態調度給任務隊列的計算資源。MapReduce、Spark和Hive的任務隊列由Yarn來動態調度資源。
靜態服務資源
簡介
集群分配給各個服務的資源是靜態服務資源，這些服務包括FTP-Server、Flume、HBase、HDFS、Solr和Yarn。每個服務的計算資源總量固定，不與其他服務共享，是靜態的。租戶通過獨占或共享一個服務來獲取這個服務運行時需要的資源。
靜態服務池
靜態服務池用來指定服務資源的配置。
在服務級別上，靜態服務池對各服務可使用的資源進行統一管理：
n限制服務使用的資源總量，支持配置FTP-Server、Flume、HBase、HDFS、Solr和Yarn在部署節點可使用的CPU、I/O和內存總量。
n實現服務級別的資源隔離，可將集群中的服務與其他服務隔離，使一個服務上的負載對其他服務產生的影響有限。
調度機制
FusionInsight HD靜態服務資源支持基于時間的動態調度機制，可以在不同時間段為服務配置不同的資源量，優化客戶業務運行環境，提高集群的效率。
在多租戶環境中，多種服務共享使用集群資源，但是各服務的資源使用周期可能會有比較大的區別。例如以下業務場景，對于一個銀行客戶：
在白天HBase查詢服務的業務多。
在晚上查詢服務的業務少而Hive分析服務業務多。
如果只給每個服務設置固定的資源可能會導致：
白天查詢服務的資源不夠用，分析服務的資源空閑。
晚上分析服務的資源不夠用，查詢服務的資源空閑。
集群資源利用率不高，而且服務能力也打了折扣。因此：
白天多配置HBase服務資源。
晚上多配置Hive服務資源。
這種基于時間的動態調度機制可以更高效的利用資源、運行任務
18922156670
