發布時間: 2023-04-21 16:57:40
大數據相當于海量數據的 "數據庫",縱觀大數據領域的發展,也可以看出目前大數據處理的發展方向已經近似于傳統的數據庫經驗、 隨著Hadoop的誕生使我們能夠用普通的機器建立穩定的集群來處理TB級的數據,將傳統的、昂貴的并行計算等概念一下子拉到了我們面前,
但其并不適合數據分析師(因為MapReduce開發的復雜性),于是PigLatin和Hive出現了(分別由Yahoo! 和facebook分別發起的項目。說到這里要補充一下,在大數據領域Google、facebook和twitter等前沿互聯網公司都做出了非常積極有力的貢獻),給我們帶來了類似SQL的操作,到后來操作就像SQL一樣,但處理效率卻非常慢,絕對與傳統數據庫的處理效率有天壤之別、 所以人們又開始思考如何在處理大數據時不僅能做到類SQL的操作,而且處理速度也能 "類SQL",谷歌給我們帶來了Dremel/PowerDrill等技術,而Cloudera(Hadoop中商業化程度最高的公司,Hadoop之父cutting在這里負責技術領導)的Impala也出現了。
總的來說,未來的趨勢是云計算作為計算資源的底層,支持大數據處理的上層,其趨勢是實時互動查詢效率和分析上一篇: 企業組網是指什么
下一篇: Redis sentinel機制