Scrapy框架如何配置Python爬虫使用代理？

本文共计996个文字，预计阅读时间需要4分钟。

文本中涉及的网站多以GG代替。Scrapy框架，Python爬虫爱好者应有所了解。Scrapy是一个爬虫框架，模块化程度高，可扩展性强，对相应模块进行开发和发展就能满足需求。

​

本文中所涉及的网站皆以GG代替。

scrapy框架，熟悉python爬虫的朋友们应该知道甚至有所了解，scrapy是一个爬虫框架，模块化程度高，可拓展性强，对相应的模块进行开发和拓展就能满足使用者想要得到的效果。

所以本次我就简单介绍下scrapy的使用和代理的配置。

一、scrapy的配置

说是配置，其实scrapy也没啥可配置的，因为他新建项目真的很简单，再你想要创建项目的目录下输入或者打开cmd输入：

scrapy startproject mySpider(你想要的项目名)

但是前提是，你得需要pip安装scrapy：

pip install scrapy

当你pip安装好scrapy并且部署好scrapy项目之后，最基础的东西就搭建好了。

二、scrapy的使用

还是先看一下scrapy的目录结构吧家人们。

首先我先创建了一个叫做 scrapytest 的项目，目录结构如下：

从外到内，scrapy.cfg 是scrapy项目的配置文件。items.py定义数据结构，规定了你想存什么样的数据和数据类型。