自慰套教室～女子全员妊娠,精品无码国产自产拍在线观看蜜桃,亚洲国产精品成人精品无码区,久别的草原在线看视频免费

學員中心登錄
聯系電話 18922156670
English
集團站切換校區
廣州 深圳

驗證碼已發送，請查收短信

復制成功
微信號:togogoi
添加微信好友, 詳細了解課程
已復制成功，如果自動跳轉微信失敗，請前往微信添加好友
打開微信

學習資源

思科

網絡工程

CCNA CCNA-RS| CCNA-Sec| CCNA-SP| CCNA-Collaboration| CCNA-DC| CCNA-Wireless| CCNA-Cloud
CCNP CCNP-RS| CCNP-Sec| CCNP-SP| CCNP-Collaboration| CCNP-DC| CCNP-Wireless| CCNP-Cloud
CCIE CCIE-RS| CCIE-Sec| CCIE-SP| CCIE-Collaboration| CCIE-DC| CCIE-Wireless|

華為

網絡工程

HCNA HCNA-RS| HCNA-Sec| HCNA-Cloud| HCNA-Storage| HCNA-BigData| HCNA-WLAN| HCNA-Transmission|
HCNA-UC| HCNA-VC| HCNA-CC
HCNP HCNP-RS| HCNP-Sec| HCNP-Cloud| HCNP-Storage| HCNP-BigData| HCNP-WLAN| HCNP-Transmission|
HCNP-UC| HCNP-VC| HCNP-CC
HCIE HCNP-RS| HCNP-Sec| HCNP-Cloud| HCNP-Storage| HCNP-DC| HCNP-Transmission

紅帽

系統運維

RHCSA
RHCE
RHCA
OpenStack
RHCVA
RHCSS

甲骨文

數據庫

OCA
OCP
OCM
MySQL

微軟

系統運維

MTA
MCSA
MCSE

軟件開發

編程設計

Java
Android
HTML5
UI

其他

其他

Python
圖標

學習文章

當前位置：首頁 > >學習文章 > >

HDFS架構

發布時間： 2022-11-24 16:51:12

HDFS架構，HDFS中的存儲單元（Block），一個文件會被切分成若干個固定大小Block（塊默認是64MB，可配置，若不足64MB，則單獨一個塊），存儲在不同結點上，默認每Block有三個副本（副本越多，硬盤利用率越低）, Block大小和副本數通過Client端上傳文件時設置，文件上傳成功后，副本數可變，Block Size不可變。

如一個200MB文件會被切成4塊，存在不同結點，如一臺機器出現故障后，會自動復制副本，恢復到正常狀態，只要三個機器不同時發生故障，數據不會丟失。

HDFS包含3種結點，NameNode（NN）、Secondary NameNode（SNN）、DataNode（DN）。以下分別介紹各個結點的功能，HDFS架構圖如圖1所示。


圖1 HDFS架構圖

1．NN結點功能

接收客戶端的讀寫請求，NN中保存文件的Metadata數據（元數據是最重要的，元數據丟失的話，DataNode也就丟失）包括除文件內容外的文件信息；文件包含哪些Block; Block保存在哪個DN上（由DN啟動時上報，因為這個可能隨時變化），為了提高客戶端查詢元數據速度，NN中的Metadata信息在啟動后會加載到內存，但是內存中的數據大小總是一定的，Metadata持久化存儲在硬盤的文件名為Fsimage, Block的位置信息不會保存到Fsimage, Edits日志文件記錄元數據Metadata的操作日志。例如，有一個插入文件的操作，Hadoop不會直接修改Fsimage，而是記錄到Edits日志記錄文件中。隔段時間后會合并Edits和Fsimage，生成新的Fsimage, Edits的機制和關系型數據庫事務的預提交是一樣的機制，合并的機制主要由下面SNN結點完成。

2．SNN結點功能

SNN結點的主要工作是幫助NN合并Edits Log，減少NN啟動時間，另一方面合并會有大量的I/O操作，但是NN最主要的作用是接收用戶讀寫服務，所以大量的資源不能用來進行合并操作。SNN不是NN的備份，但可以做一部分的元數據備份，而不是實時備份（不是熱備）。滿足合并時機后（合并時機：設置時間間隔FS.Checkpoint.Period，默認3600秒；或者配置Edit Log大小，最大64MB）,SNN會復制NN的Edits日志記錄文件和Fsimage元數據文件到SNN，可能會跨網絡復制，這時NN會創建一個新的Edits文件來記錄用戶的讀寫請求操作，然后SNN就會合并為一個新的Fsimage文件，然后SNN會把這個文件推送給NN，最后NN會用新的Fsimage替換舊的Fsimage，然后如此反復進行，如圖2所示。


圖2 Fsimage和Edits合并流程圖

3．DN結點功能

存儲數據，啟動DN線程的時候向NN匯報Block信息；通過向NN發送心跳保持與其聯系（3秒/次），如果NN10分鐘沒有收到DN心跳，則認為其Lost，并Copy其上的Block到其他DN。

副本存儲策略如下。

第一個副本：放置在上傳文件的DN；如果是集群外提交，則隨機挑選一臺硬盤不太滿，CPU不太忙的結點。

第二個副本：放置在與第一個副本不同的機架的結點上。

第三個副本：放置在與第二個副本相同的機架結點（一個機架電源相同，保證安全的同時提高速度）。
QQ空間 新浪微博 騰訊微博 人人網 微信 更多

上一篇： 物聯網的受限節點

下一篇： 物聯網傳輸層協議

十五年老品牌
微信咨詢：togogoi 咨詢電話：18922156670 咨詢網站客服：在線客服

相關課程推薦

客服熱線

  18922156670
  • 微信咨詢：togogoi

全國校區

  • 廣州總校區：廣州市天河區科韻路棠安路188號樂天大廈2樓整層
  • 深圳分校區：深圳市南山區南油第四工業區2棟602室
  • 其他城市校區為流動地址,請聯系網站客服獲取校區地址

關注我們

Copyright © 2018-2023 廣州騰科網絡技術有限公司 All rights reserved 粵ICP備12042194號 

在線咨詢 ×

您好，請問有什么可以幫您？我們將竭誠提供最優質服務！

QQ咨詢 下次再說
<蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>