如何用Python编写代码爬取豆瓣电影Top250排名列表？

本文共计2080个文字，预计阅读时间需要9分钟。

初学爬虫，掌握以下三方库的使用及简单静态网页分析。跟随视频学习，编写爬取豆瓣Top250排行榜的爬虫。网页分析+个人感悟：爬虫最重要的就是分析网页，找到规律，找到网页的规律。

初学爬虫，学习一下三方库的使用以及简单静态网页的分析。就跟着视频写了一个爬取豆瓣Top250排行榜的爬虫。

网页分析

我个人感觉写爬虫最重要的就是分析网页，找到网页的规律，找到自己需要内容所在的地方，细化到他在哪个div里面，在哪个class里面，在哪个a标签里面。

从上面的图中可以看出，有很多信息。包括电影名、英文名、简介、评价、评价人数、相关信息

当我们打开控制台，可以看到电影的链接、图片的链接。

可以看到电影名在一个span里面、概况在一个p标签里面、评价在一个div里面的一个span中等等。

找到我们需要信息的位置，其实每一个电影项的信息都是在相同的标签里面，每一页都25个项，一共有10页，每一页的链接后缀movie.douban.com/top250?start=25只需要更改start后面的数字，我们可以用一个循环来解决爬取多页。

爬取流程 一、引入第三方库

我们需要访问目的网址，进行正则分析，操作excel、保存到数据库等等都需要用到三方库。