當前位置:柔美女性網 >

綠色生活 >心理 >

spark必知必會的基本概念

spark必知必會的基本概念

spark必知必會的基本概念

Spark,是一種通用的大資料計算框架,I正如傳統大資料技術Hadoop的MapReduce、Hive引擎,以及Storm流式實時計算引擎等

Spark包含了大資料領城常見的各種計算框架:比如Spark Core用於離線計算,Spark SQL用於互動式查詢,Spark Streaming用於實時流式計算,Spark MILlib用於機器學習,Spark GraphX用於圖計算。

Spark主要用於大資料的計算,而Hadoop以後主要用於大資料的儲存(比如HDFS、Hive,HBase等),以及資源排程(Yarn)。

Spark+Hadoop的組合,是未來大資料領域最熱門的組合,也是最有前景的組合

  • 文章版權屬於文章作者所有,轉載請註明 https://rmnxw.com/zh-tw/lvse/xinli/2wk6jj.html