7. 如何在Spark SQL中实现高效的数据查询？

本文共计943个文字，预计阅读时间需要4分钟。

1. SparkSQL出现的原因：数据库已很流行，大数据时代其已无法满足需求，用户需要从不同数据源执行多种操作，包括SELECT等。

1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。

原因：

• 关系数据库已经很流行
• 关系数据库在大数据时代已经不能满足要求，首先，用户需要从不同数据源执行各种操作，包括结构化和非结构化数据，其次用户需要执行高级分析，比如机器学习和图像处理
• 从实际大数据应用中，经常需要融合关系查询和复杂分析算法
  起源：
• hive并不是另一个SQL,它只是SQL-on-Hadoop,执行的是在Hadoop上实现用 类SQL的语法 对 SQL 的快速查询。