如何用PySpark实现与MySQL数据库的长尾词读写操作？

本文共计1026个文字，预计阅读时间需要5分钟。

PySpark是Spark针对Python的API接口，可在Python环境中调用PySpark模块操作Spark，完成大数据框架下的数据分析与挖掘。其中，数据的读写是基本操作，PySpark的子模块pyspark.sql可实现大数据的读取与处理。

pyspark是Spark对Python的api接口，可以在Python环境中通过调用pyspark模块来操作spark，完成大数据框架下的数据分析与挖掘。其中，数据的读写是基础操作，pyspark的子模块pyspark.sql 可以完成大部分类型的数据读写。文本介绍在pyspark中读写Mysql数据库。

1 软件版本

在Python中使用Spark，需要安装配置Spark，这里跳过配置的过程，给出运行环境和相关程序版本信息。

• win10 64bit
• java 13.0.1
• spark 3.0
• python 3.8
• pyspark 3.0
• pycharm 2019.3.4

2 环境配置

pyspark连接Mysql是通过java实现的，所以需要下载连接Mysql的jar包。