001Spark入门教程有哪些？

本文共计403个文字，预计阅读时间需要2分钟。

Hadoop、Spark、Flink与MapReduce比较：分布式计算框架 - Hive问题，Shuffle - Spark、Flink比较 + MapReduce：分布式计算框架 - Hive问题 + Shuffle - 大文件排序读写磁盘、网络传输 - 比较慢 - 只有两种执行算子/API

1.hadoopsparkFlink的比较MapReduce:分布式的计算框架-Hive问题shufflesparkFlink的比较　　

　　MapReduce: 分布式的计算框架 -> Hive 　　　问题 　　　　shuffle大文件的排序读写磁盘网络传输 > 比较慢 　　　　只有两种执行算子/API: MapTask(数据转换过滤)和ReduceTask(数据聚合) > 定制化稍微有点差 　　　　不适合迭代式的计算 　　　　对于需要快速执行的产生结果的应用场景不适合　　Spark为了解决MapReduce执行慢、不适合迭代执行的问题　　Flink类似于spark的基于内存的计算框架

 　  Hadoop的存活因为使用的机器比较便宜更适合批量计算。

 

2.学习方式

　　spark案例examples文件夹中 　　spark源码一定要回看spark源码至少常用的必须知道比如RDD、SparkContext、DStream.... 　　官网spark.apache.org/ 　　1.6.0帮助文档spark.apache.org/docs/1.6.0/ 　　官方博客databricks.com/blog

　　

 

 

3.官网

　　spark.apache.org/

　　

 

4.spark特点在官网的首页

　　快 　　简单/入手快 　　公用性/普遍性 　　可以运行在任何地方local、yarn、standalone(类似于yarn的一个资源管理框架是spark的一个模块)、mesos(apache顶级项目类似yarn的一个资源管理框架)

 

5.spark结构生态圈

　　　　

　　BDAS: 伯克利数据分析栈 　　起源加州大学伯克利分校的AMP实验室开源的一个计算框架 　　结构 　　　　SparkCore: 核心部分 　　　　SparkSQL: Spark中交互式处理模块 　　　　SparkStreaming: Spark中流式数据处理的模块 　　　　SparkMLibSpark机器学习相关模块 > Mahout 　　　　SparkGraphX: Spark中图形计算的模块

 

5.Hadoop与Spark的比较