如何通过PySpark教程（一）深入学习和掌握Spark大数据处理技术？

本文共计3780个文字，预计阅读时间需要16分钟。

大数据生态圈简介 + 大数据生态圈可以分为7层，总的可以归纳为数据采集层、数据计算层和数据应用层。+ Spark简介 + Spark是一种计算引擎，类似于Hadoop架构下的MapReduce，与MapReduce不同的是，它采用了弹性分布式数据集(RDD)的概念。+

大数据生态圈简介

大数据生态圈可以分为7层，总的可以归纳为数据采集层、数据计算层和数据应用层。

spark

1.简介

spark是一种计算引擎，类似于hadoop架构下mapreduce，与mapreduce不同的是将计算的结果存入hdfs分布式文件系统。spark则是写入内存中，像mysql一样可以实现实时的计算，包括SQL查询。
spark不单单支持传统批量处理应用，更支持交互式查询、流式计算、机器学习、图计算等各种应用，
spark是由scala语言开发，具备python的接口，pyspark。

2.spark组件

spark包含着多个紧密集成的组件，如图所示：

2.1 spark core

实现spark基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。
同时也包含对弹性分布式数据集（RDD），RDD表示分布在多个计算节点上可以并行操作的元素集合。

2.2 spark sql

spark sql用来操作结构化数据的程序包，我们可以使用sql或者hive语言来查询数据。

2.3 spark streaming

spark streaming上对实时数据进行流式计算的组件。例如：在网页服务日志，或者在网络服务中用户提交的状态更新组成的队列。