Spark 3.x版本中Spark Core的详细解析是怎样的？

本文共计20803个文字，预计阅读时间需要84分钟。

Spark Core 1.1 概述

Spark 是一种基于内存的快速、通用、可扩展的大数据处理引擎。

1.1 Hadoop vs Spark

在处理流程上，Hadoop 与 Spark 有明显差异：

Hadoop 使用 Java 编写，其处理流程如下：

Hadoop：由 Java 语言编写

Spark：由 Scala 语言编写，支持 Java、Python 和 R 等语言

Hadoop：采用磁盘 I/O 进行数据读取和写入

Spark：基于内存进行数据读取和写入，显著提高处理速度

Spark Core 1. 概述

Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎

1.1 Hadoop vs Spark

上面流程对应Hadoop的处理流程，下面对应着Spark的处理流程

Hadoop

• Hadoop 是由 java 语言编写的，在分布式服务器集群上存储海量数据并运行分布式 分析应用的开源框架
• 作为 Hadoop 分布式文件系统，HDFS 处于 Hadoop 生态圈的最下层，存储着所有的 数 据 ， 支持着 Hadoop的所有服务 。 它的理论基础源于Google 的 The GoogleFile System 这篇论文，它是 GFS 的开源实现。
• MapReduce 是一种编程模型，Hadoop 根据 Google 的 MapReduce 论文将其实现， 作为 Hadoop 的分布式计算模型，是 Hadoop 的核心。