Spark 3.x版本中Spark Core的详细解析是怎样的？

本文共计20725个文字，预计阅读时间需要83分钟。

Spark Core 1.1 概述Spark 是一种基于内存的快速、通用、可扩展的大数据处理引擎。

1.1 Hadoop vs Spark面对流程应对Hadoop 的处理流程：Hadoop 是由 Java 语言编写的。

Spark 的处理流程：Spark 是由 Scala 语言编写的。

Spark Core 1. 概述

Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎

1.1 Hadoop vs Spark

上面流程对应Hadoop的处理流程，下面对应着Spark的处理流程

Hadoop

• Hadoop 是由 java 语言编写的，在分布式服务器集群上存储海量数据并运行分布式 分析应用的开源框架
• 作为 Hadoop 分布式文件系统，HDFS 处于 Hadoop 生态圈的最下层，存储着所有的 数 据 ， 支持着 Hadoop的所有服务 。 它的理论基础源于Google 的 The GoogleFile System 这篇论文，它是 GFS 的开源实现。
• MapReduce 是一种编程模型，Hadoop 根据 Google 的 MapReduce 论文将其实现， 作为 Hadoop 的分布式计算模型，是 Hadoop 的核心。基于这个框架，分布式并行 程序的编写变得异常简单。综合了 HDFS 的分布式存储和 MapReduce 的分布式计 算，Hadoop 在处理海量数据时，性能横向扩展变得非常容易。