如何通过万字长文轻松掌握 Spark 技能？

本文共计8756个文字，预计阅读时间需要36分钟。

大家好，我是大D。今天给大家分享一篇Spark核心知识点的梳理，力求用简洁通俗的语言，配合实用的图解，让知识点更直观易懂。不求深奥，力求精简，方便新手入门，快速扫清障碍。下面，让我们从Spark的基本概念讲起。

大家好，我是大D。

今天给大家分享一篇 Spark 核心知识点的梳理，对知识点的讲解秉承着能用图解的就不照本宣科地陈述，力求精简、通俗易懂。希望能为新手的入门学习扫清障碍，从基础概念入手、再到原理深入，由浅入深地轻松掌握 Spark。

1、初识 Spark

Spark不仅能够在内存中进行高效运算，还是一个大一统的软件栈，可以适用于各种各样原本需要多种不同的分布式平台的场景。

背景

Spark作为一个用来快速实现大规模数据计算的通用分布式大数据计算引擎，是大数据开发工程师必备的一项技术栈。Spark相对Hadoop具有较大优势，但Spark并不能完全替代Hadoop。实际上，Spark已经很好地融入了Hadoop家族，作为其中一员，主要用于替代Hadoop中的MapReduce计算模型。

Spark的优势

Spark拥有Hadoop MapReduce所具备的优点，但不同的是，Hadoop每次经过job执行的中间结果都会存储在HDFS上，而Spark执行job的中间过程数据可以直接保存在内存中，无需读写到HDFS磁盘上。