sctextFiles

Spark中sc.textFiles()和sc.wholeTextFiles()有何本质区别？

本文共计535个文字，预计阅读时间需要3分钟。由于业务需求，需要将大量文件按照目录分类的方式存储在HDFS上。此时，从HDFS上读取文件就需要使用sparkcontext.wholeTextFiles()方法。众所周知，sc代表SparkC