如何详细解析Python实现弹幕抓取及数据深度分析过程？

本文共计3188个文字，预计阅读时间需要13分钟。

非常不幸的是，由于疫情的关系，原本线下的AWD比赛变成了线上CTF。这使得情况变得复杂，因为原本的AWD比赛与CTF相比难度有所增加。尽管如此，AWD仍然需要与主办方斗智斗勇。虽然现在的情况是既无回报也无代价，但仍然需要发挥出超常的技巧去应对。

很不幸的是，由于疫情的关系，原本线下的AWD改成线上CTF了。这就很难受了，毕竟AWD还是要比CTF难一些的，与人斗现在变成了与主办方斗。
虽然无奈归无奈，但是现在还是得打起精神去面对下一场比赛。这个开始也是线下的，决赛地点在南京，后来是由于疫情的关系也成了线上。
当然，比赛内容还是一如既往的得现学，内容是关于大数据的。
由于我们学校之前并没有开设过相关培训，所以也只能自己琢磨了。
好了，废话先不多说了，正文开始。

一.比赛介绍

大数据总体来说分为三个过程。
第一个过程是搭建hadoop环境。
这个开始我也挺懵的，不过后来看了个教程大概懂了。总的来说，hadoop就是一个集成环境，这个环境里面包含了很多软件。
这些软件的功能各不相同，比如文件分布式（原谅我也忘了叫啥），大概作用就是假设你电脑有1个g大小，但是一个文件有10个g，那么你就可以用这个系统，将文件割成10份分别储存。
总的来说，就是为了大数据而服务的一个环境。

第二个过程就是爬取数据。
这个依据比赛的要求而定，我记得初赛的时候是要求爬取一个开源的电商网站，名字好像是SHOPXO。这个有爬虫的基础的同学可以去试下。
决赛还没比，不过好像是要爬取视频的弹幕。这个要比单纯的爬取视频麻烦一点，因为每个网站对弹幕的算法不一样。