自慰套教室~女子全员妊娠,精品无码国产自产拍在线观看蜜桃,亚洲国产精品成人精品无码区,久别的草原在线看视频免费

集團站切換校區

驗證碼已發送,請查收短信

復制成功
微信號:togogoi
添加微信好友, 詳細了解課程
已復制成功,如果自動跳轉微信失敗,請前往微信添加好友
打開微信
圖標

業界新聞

當前位置:首頁 > >業界新聞 > >

大數據培訓_HBase 存儲中型對象

發布時間: 2019-06-13 10:54:36

  大數據培訓_HBase 存儲中型對象

  存儲中型對象(MOB)
  數據有多種大小,并且在HBase中保存所有數據(包括圖像和文檔等二進制數據)是理想的選擇。雖然HBase在技術上可以處理大小超過100 KB的單元格的二進制對象,但HBase的正常讀取和寫入路徑針對小于100KB的值進行了優化。當HBase處理超過此閾值的大量對象(此處稱為中型對象或MOB)時,由于拆分和壓縮引起的寫入放大,性能會降低。使用MOB時,理想情況下,您的對象將介于100KB和10MB之間(請參閱常見問題解答)。HBase?FIX_VERSION_NUMBER增加了對更好地管理大量MOB的支持,同時保持了性能,一致性和低運營開銷。MOB支持是由HBASE-11339完成的工作提供的。要利用MOB,您需要使用HFile版本3。(可選)為每個RegionServer配置MOB文件讀取器的緩存設置(請參閱配置MOB緩存),然后配置特定列以保存MOB數據??蛻舳舜a無需更改即可利用HBase MOB支持。該功能對客戶端是透明的。
  MOB壓縮
  在MemStore刷新后,MOB數據被刷新到MOB文件中。一段時間后會有很多MOB文件。為了減少MOB文件數量,有一個周期性任務可以將小型MOB文件壓縮成大型MOB文件(MOB壓縮)。
  為MOB配置列
  為MOB配置列
  您可以在表創建或更改期間配置列以支持MOB,無論是在HBase Shell中還是通過Java API。兩個相關的屬性是boolean?IS_MOB和MOB_THRESHOLD,它是一個對象被認為是MOB的字節數,只需要IS_MOB。如果未指定MOB_THRESHOLD,則使用默認閾值100 KB。

  使用HBase Shell為MOB配置列:

大數據培訓

  示例23.使用Java API為MOB配置列:


  配置MOB壓縮策略
  默認情況下,一個特定日期的MOB文件會壓縮為一個大型MOB文件。為了更多地減少MOB文件數,還支持其他MOB壓縮策略:
  每日(daily)策略 - 每天將MOB文件壓縮為一個大型MOB文件(默認策略)
  每周(weekly)策略 - 每周將MOB文件壓縮為一個大型MOB文件
  每月(montly)策略 - 每月將MOB文件壓縮為一個大型MOB文件

  使用HBase Shell配置MOB壓縮策略:


  配置MOB壓縮可合并閾值

  如果一個mob文件的大小小于默認值1280MB,它被認為是一個小文件,需要在mob compaction中合并。


  測試MOB

  HBase中提供了實用程序org.apache.hadoop.hbase.IntegrationTestIngestWithMOB以幫助測試MOB功能。該實用程序運行如下:


  threshold是當cells被認為是MOB時的閾值;默認值為1 kB,以字節為單位表示。
  minMobDataSize是MOB數據大小的最小值;默認值為512 B,以字節為單位表示。
  maxMobDataSize是MOB數據大小的較大值;默認值為5 kB,以字節為單位表示。
  配置MOB緩存
  因為可以隨時存在大量MOB文件,與HFiles的數量相比,MOB文件并不總是保持打開狀態。MOB文件讀取器緩存是一個LRU緩存,它保持最近使用的MOB文件打開。要在每個RegionServer上配置MOB文件讀取器的緩存,請將以下屬性添加到RegionServer的hbase-site.xml中,根據您的環境自定義配置,然后重新啟動或滾動重新啟動RegionServer。

  MOB緩存配置示例:

<property>
    <name>hbase.mob.file.cache.size</name>
    <value>1000</value>
    <description>
      Number of opened file handlers to cache.
      A larger value will benefit reads by providing more file handlers per mob
      file cache and would reduce frequent file opening and closing.
      However, if this is set too high, this could lead to a "too many opened file handers"
      The default value is 1000.
    </description></property>
<property>
    <name>hbase.mob.cache.evict.period</name>
    <value>3600</value>
    <description>
      The amount of time in seconds after which an unused file is evicted from the
      MOB cache. The default value is 3600 seconds.
    </description></property>
<property>
    <name>hbase.mob.cache.evict.remain.ratio</name>
    <value>0.5f</value>
    <description>
      A multiplier (between 0.0 and 1.0), which determines how many files remain cached
      after the threshold of files that remains cached after a cache eviction occurs
      which is triggered by reaching the `hbase.mob.file.cache.size` threshold.
      The default value is 0.5f, which means that half the files (the least-recently-used
      ones) are evicted.
    </description></property>
?

上一篇: Docker培訓_Docker操作

下一篇: H5培訓_CSS選擇器介紹

在線咨詢 ×

您好,請問有什么可以幫您?我們將竭誠提供最優質服務!

<蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>