如何将Spark1.5.1源码(Scala2.11.7)编译步骤拆解为长尾关键词？

本文共计265个文字，预计阅读时间需要2分钟。

在编写Spark程序时，若以master=local的方式通常可以正常运行。然而，若将master设置为Spark集群模式，则常出现各种错误。通过查看源码，主要问题在于AKKA通信与序列化。

在编写spark程序的过程中，如果以masterlocal的方式是可以正常搞定的，然而如果将master设置为spark集群的方式则总是报各种错，通过源码查看，主要是AKKA通信与序列化之

在编写spark程序的过程中，如果以master=local的方式是可以正常搞定的，然而如果将master设置为spark集群的方式则总是报各种错，通过源码查看，主要是AKKA通信与序列化之间的问题，而其核心原因是scala版本不匹配的问题。默认从apache官网下载的BIN包只支持2.10的，而2.11版本的还需要自己搞定。

看了官网说明，主要有两种编译方式，一种是MVN，另一种SBT。

首先试了下MVN，多试了几下，总是在MQTT 流编译那块卡壳，没有办法，只好测试SBT。