在使用Python Scrapy添加cookie时，有哪些常见陷阱和解决方法？

本文共计1103个文字，预计阅读时间需要5分钟。

问题发现：在前期项目中，为了防止账号被封（提供的可用账号太少），对可抓取的内容采用不带cookie的策略，只有必要的内才带cookie访问。 简单来说：在每次抓取时，尽量不使用cookie，只有当需要获取必要内容时才带上cookie进行访问。

问题发现：

前段时间项目中，为了防止被封号(提供的可用账号太少)，对于能不登录就可以抓取的内容采用不带cookie的策略，只有必要的内容才带上cookie去访问。

本来想着很简单：在每个抛出来的Request的meta中带上一个标志位，通过在CookieMiddleware中查看这个标志位，决定是否是给这个Request是否装上Cookie。