SparkSQL函数进阶，有哪些长尾词用法技巧？

本文共计286个文字，预计阅读时间需要2分钟。

1. SparkSQL框架对表格列的增删改： - 增加一列`year`，使用`add_time`列的年份：`df.withColumn(year, year(col(add_time))).show()` - 新增自增序号列：`df.withColumn(序号, monotonically_increasing_id()).show()` - 对表格列进行增删改：`df.withColumn(year, year(col(add_time))).show()`

1、SparkSQL框架对表格列的增删改1、新增列df.withColumn(“year”,year(col(“add_time”))).show2、新增自增序号列df.wi

1、Spark SQL框架对表格列的增删改

1、新增列

df.withColumn(“year”,year(col(“add_time”))).show

2、新增自增序号列

df.withColumn("id","monotonically_increasing_id()"1).show

3、修改列的数值

df.withColumn(“op_phone”,“concat(lit("广东"),col(“op_phone”))”).show

2、自定义函数

UDF:接受一行的输入产生一行的输出 UDAF:接受多行输入产生一行输出,一般和group by组合来使用,但不是必须

3、开窗函数

row_number() 3.1 概念 在一个结果集上进行分组,在对分组后的值进行聚合等操作 调用格式:函数名OVER (PARTITION BY列名)

3.2举例 row_number() 实现分组取top N row_number over(partition by 列名 order by 列名) rank

了解更多的大数据的知识,请关注公众号:架构师Plus