spark必知必會的基本概念
- 心理
- 關注:1.94W次
Spark,是一種通用的大資料計算框架,I正如傳統大資料技術Hadoop的MapReduce、Hive引擎,以及Storm流式實時計算引擎等
Spark包含了大資料領城常見的各種計算框架:比如Spark Core用於離線計算,Spark SQL用於互動式查詢,Spark Streaming用於實時流式計算,Spark MILlib用於機器學習,Spark GraphX用於圖計算。
Spark主要用於大資料的計算,而Hadoop以後主要用於大資料的儲存(比如HDFS、Hive,HBase等),以及資源排程(Yarn)。
Spark+Hadoop的組合,是未來大資料領域最熱門的組合,也是最有前景的組合
- 文章版權屬於文章作者所有,轉載請註明 https://rmnxw.com/zh-tw/lvse/xinli/2wk6jj.html