如何规划一条全面深入的学习Spark的路线，从概述开始？

本文共计502个文字，预计阅读时间需要3分钟。

一. Spark与Hadoop、MapReduceSpark与Hadoop、MapReduce是大数据处理领域的三大技术。它们在数据处理架构和执行机制上有所不同。

二. 数据存储结构：磁盘HDFS文件系统的splitHDFS使用split将大文件分割成多个小块，利用内存构建弹性分布式数据集（RDDs），提高数据存储和处理的效率。

三. 数据处理流程：内存构建RDDs通过内存构建RDDs，Spark对数据进行运算，实现高效的数据处理。

四. 编程范式：Map+Reduce、DAG：Transformation+ActionSpark采用Map+Reduce编程范式，通过DAG（有向无环图）表示数据转换和操作过程，实现高效的数据处理。

五. 计算中间结果：RDDs对数据进行运算和缓存RDDs对数据进行运算，并将中间结果缓存，提高计算效率。

六. 编程规范：Map+Reduce、DAG：Transformation+Action遵循Map+Reduce编程范式，通过DAG（有向无环图）实现数据转换和操作，确保计算中间结果的正确性。

一. spark和hadoop

MapReduce

Spark

数据存储结构：磁盘HDFS文件系统的split

使用内存构建弹性分布式数据集RDDs对数据进行运算和cache

编程范式：Map + Reduce

DAG: Transformation + Action

计算中间结果落到磁盘IO及序列化、反序列化代价大

计算中间结果在内存中维护存取速度比磁盘高几个数量级

Task以进程的方式维护，需要数秒时间才能启动任务

Task以线程的方式维护对于小数据集读取能够达到亚秒级的延迟

hadoop缺点: 1.表达能力有限(MapReduce) 2.磁盘IO开销大(shuffle) 3.延迟高 spark: 1.Spark的计算模式属于MapReduce,在借鉴Hadoop MapReduce优点的同时很好地解决了MapReduce所面临的问题 2.不局限于Map和Reduce操作，还提供了多种数据集操作类型，编程模型比Hadoop MapReduce更灵活 3.Spark提供了内存计算，可将中间结果放到内存中，对于迭代运算效率更高 4.Spark基于DAG的任务调度执行机制，要优于Hadoop MapReduce的迭代执行机制(函数调用) 使用Hadoop进行迭代计算非常耗资源； Spark将数据载入内存后，之后的迭代计算都可以直接使用内存中的中间结果作运算，避免了从磁盘中频繁读取数据