001Spark入门教程有哪些？

本文共计403个文字，预计阅读时间需要2分钟。

Hadoop、Spark、Flink与MapReduce比较：分布式计算框架 - Hive问题，Shuffle - Spark、Flink比较 + MapReduce：分布式计算框架 - Hive问题 + Shuffle - 大文件排序读写磁盘、网络传输 - 比较慢 - 只有两种执行算子/API

1.hadoopsparkFlink的比较MapReduce:分布式的计算框架-Hive问题shufflesparkFlink的比较　　

　　MapReduce: 分布式的计算框架 -> Hive 　　　问题 　　　　shuffle大文件的排序读写磁盘网络传输 > 比较慢 　　　　只有两种执行算子/API: MapTask(数据转换过滤)和ReduceTask(数据聚合) > 定制化稍微有点差 　　　　不适合迭代式的计算 　　　　对于需要快速执行的产生结果的应用场景不适合　　Spark为了解决MapReduce执行慢、不适合迭代执行的问题　　Flink类似于spark的基于内存的计算框架

 　  Hadoop的存活因为使用的机器比较便宜更适合批量计算。