程序员应掌握哪些关键技术？

本文共计6678个文字，预计阅读时间需要27分钟。

程序员应知：如何分析海量数据。在这个云计算热炒的时代，如果你没有处理过海量数据的经验，你将不再是合格的Coder。如今，迫切需要补充吧！前一个阶段分析了将1TB的数据群（gz文件）

程序员应知 -- 如何分析海量数据

在这个云计算热炒的时代，如果你没有处理过海量数据的话，你将不再是个合格的Coder。现在赶紧补补吧~

前一阵子分析了一个将近1TB的数据群（gz文件，压缩率10%）。因为第一次分析如此巨大的数据，没有经验，所以浪费了许多时间。下面是我整理的一些经验，方便后者。

欢迎各种补充，我会不断更新这篇文章；觉得有用的话，速度分享链接；有不同意见的话，请果断拍砖；

---

下载数据

Q：怎么自动下载多个文件？

这是我遇到的第一个问题。当数据量很大时，一般都会分成很多个文件存放。这时下载文件比较麻烦。

A：用Wget命令。Windows下花费一点时间去下载安装。但之于手动下载，能省不少时间。

我提供两种方式方式下载文件，

a）用Wget的递归下载选项 “-r”。一般命令如下

wget –r <下载数据的根目录>/ -o <下载记录文件名> -np

因为递归下载没法控制进度，所以建议不一要次递归下载太多的文件

b）用Bat+Wget，多次执行Wget。