Spark 3.x版本中Spark Core的详细解析是怎样的？

本文共计20718个文字，预计阅读时间需要83分钟。

Spark Core 1.1 概述Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

1.1 Hadoop vs Spark面对Hadoop的处理流程，Spark做出了以下应对：Hadoop：使用Java语言编写。Spark：处理流程更快，更通用，可扩展。

Spark Core 1. 概述

Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎

1.1 Hadoop vs Spark

上面流程对应Hadoop的处理流程，下面对应着Spark的处理流程

Hadoop

• Hadoop 是由 java 语言编写的，在分布式服务器集群上存储海量数据并运行分布式 分析应用的开源框架
• 作为 Hadoop 分布式文件系统，HDFS 处于 Hadoop 生态圈的最下层，存储着所有的 数 据 ， 支持着 Hadoop的所有服务 。 它的理论基础源于Google 的 The GoogleFile System 这篇论文，它是 GFS 的开源实现。
• MapReduce 是一种编程模型，Hadoop 根据 Google 的 MapReduce 论文将其实现， 作为 Hadoop 的分布式计算模型，是 Hadoop 的核心。基于这个框架，分布式并行 程序的编写变得异常简单。综合了 HDFS 的分布式存储和 MapReduce 的分布式计 算，Hadoop 在处理海量数据时，性能横向扩展变得非常容易。
• HBase 是对 Google 的 Bigtable 的开源实现，但又和 Bigtable 存在许多不同之处。