Scrapy如何编写模拟登录长尾关键词抓取示例？

本文共计1106个文字，预计阅读时间需要5分钟。

为什么需要模拟登录+某些网站是必须登录后才能访问的，即便是同一个网站，在用户登录前后页面所展示的内容也可能大不相同。例如，未登录时访问GitHub首页将显示以下注册页面。

为什么要模拟登录

有些网站是需要登录之后才能访问的，即便是同一个网站，在用户登录前后页面所展示的内容也可能会大不相同，例如，未登录时访问Github首页将会是以下的注册页面：

然而，登录后访问Github首页将包含如下页面内容：

如果我们要爬取的是一些需要登录之后才能访问的页面数据就需要模拟登录了。通常我们都是利用的 Cookies 来实现模拟登录，在Scrapy中，模拟登陆网站一般有如下两种实现方式：

(1) 请求时携带Cookies

(2) 发送Post请求获取Cookies

请求时携带Cookies

对于一些Cookies过期时间很长的不规范网站，如果我们能够在Cookies过期之前爬取到所有我们想要的数据，可以考虑在请求时直接将Cookies信息带上来模拟用户登录。