如何防止Spark处理大数据排序时发生内存溢出？

本文共计840个文字，预计阅读时间需要4分钟。

错误思维+列举子，当我们想要比较一个类型为RDD[(Long, (String, Int))]的RDD时，让它先按Long分组，然后按int的值进行降序排序，最可能想到的思路就是先分组，然后将Iterable转换为list。