如何通过Java程序调用并执行shell脚本，并总结遇到的问题及解决方案？

本文共计1582个文字，预计阅读时间需要7分钟。

摘要：本文来自阿拉伯巴比伦技术协会（ATA）。主要介绍了我们在开发过程中的背景和选择。大部分开发工作集中在Java开发上，而在文本处理过程中，主要采用脚本进行开发。Java开发的优点在于我们可以很早地进行本地化。

摘要： 该文章来自阿里巴巴技术协会（ATA）精选集 背景 我们在开发过程中，大部分是java开发， 而在文本处理过程中，主要就是脚本进行开发。 java开发的特点就是我们可以很早地进行TDDL， METAQ 等等地对接； 而脚本开发的特点就是在进行批处理的时候非常方便。

背景

我们在开发过程中，大部分是java开发， 而在文本处理过程中，主要就是脚本进行开发。 java开发的特点就是我们可以很早地进行TDDL， METAQ 等等地对接； 而脚本开发的特点就是在进行批处理的时候非常方便。 前阵子我遇到这么一个需求场景： 对抓取的数据进行打包， 后来又遇到我要通过脚本进行抓取，比如nodejs下基于phantomjs的casperjs爬虫。

解决方法

对于第一个问题：java抓取，并且把结果打包。
那么比较直接的做法就是，java接收各种消息（db，metaq等等），然后借助于jstorm集群进行调度和抓取。 最后把抓取的结果保存到一个文件中，并且通过调用shell打包， 回传。 也许有同学会问， 为什么不直接把java调用odps直接保存文件，答案是，我们的集群不是hz集群，直接上传odps速度很有问题，因此先打包比较合适。