自慰套教室~女子全员妊娠,精品无码国产自产拍在线观看蜜桃,亚洲国产精品成人精品无码区,久别的草原在线看视频免费

集團站切換校區

驗證碼已發送,請查收短信

復制成功
微信號:togogoi
添加微信好友, 詳細了解課程
已復制成功,如果自動跳轉微信失敗,請前往微信添加好友
打開微信
圖標

業界新聞

當前位置:首頁 > >業界新聞 > >

數據分布式存儲原理

發布時間: 2022-07-07 10:53:00

數據分布式存儲原理,數據分布式規則?就這?怎么就數據分布式了?,F在我們把MDC對應OSD數量生成的數據分布式規則交給VBS模塊。

VBS是安裝在用戶系統中的一個代理,當用戶需要存放數據在分布式存儲中時,VBS會先接收用戶的數據,然后對用戶數據進行切塊分區(一般會把數據分成1MB大小的數據分片。

例如一個1GB的視頻文件需要存放在分布式存儲中,則會被VBS接收后分割為1024個1MB大小的數據分片),接著對每個數據分片帶有的SCSI標識進行格式轉化,使之成為分布式存儲系統使用的Key標識。然后對key進行哈希計算,算出每個數據分片的哈希值。

可以這樣理解,其實每個數據在操作系統下發存儲的時候都會帶著一個介紹信(SCSI標識),操作系統告訴數據拿著這個介紹信去找大V哥開房間存放數據。

分布式存儲的VBS模塊就是這個大V哥,當大V哥看到這個介紹信(SCSI標識)后就告訴數據,你的這個介紹信(SCSI標識)現在用不了了,必須重新登記一下,然后VBS就根據介紹信(SCSI標識)又開了一張票(Key)給數據,然后數據拿著這張票(Key)去找大V哥的小弟,小弟就根據票(key)來分配房卡(key帶入哈希函數進行計算算出哈希值),開房間存放數據(如圖)。



(圖 數據分片邏輯圖)

數據被VBS接收后,最終數據會變成多個1MB的小數據分片,并且每一個1MB的小數據塊都會帶著最終的哈希值 。哈希值可以在0-2^32之間取整,很巧的是,MDC生成的哈希路由圓環也剛好是2^32份個分區,那么哈希值取整是多少,該1MB數據分片就歸屬于哪一個分區。

由于MDC通過對應OSD和哈希路由圓環的分區生成了一個分區對應磁盤的關系(數據分布式規則),那么最終這個數據就存放在該分區對應的磁盤中,該磁盤的OSD會將數據持久化存放在磁盤介質中。(如圖)若上文假設中提到分區1-分區3對應OSD1,剛好現在有一個數據分片對應的哈希值取整后為3,則該1MB數據歸屬在分區3,分區3對應OSD1,則由OSD1將該1MB數據存放到該OSD對應的磁盤中,完成數據落盤。



(圖 哈希全流程圖)

由于哈希路由圓環所生成的分區是均分對應到OSD上的,所以當大量數據存儲時,由于概率,最終數據基本會均分到各個OSD對應的磁盤中存放起來。所有磁盤是并發工作的,都可以接收數據就等同于所有磁盤對應所在的服務器都是并發且相對均衡地接收數據,最終完成數據的分布式存儲。

上一篇: 人工智能行業就業前景怎么樣

下一篇: 數據分布式存儲規則

在線咨詢 ×

您好,請問有什么可以幫您?我們將竭誠提供最優質服務!

<蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>