如何自己动手搭建Scrapy爬虫框架？

本文共计617个文字，预计阅读时间需要3分钟。

学习一段时间爬虫后，你会意识到功能众多且令人烦恼。不如自己整理个框架，方便多了。因此，从开始写爬虫程序起，就慢慢接触到一些实用的爬虫框架、效率和功能扩展。

当你学了一段时间爬虫后，就会知道各种功能太多而且麻烦。还不如自己整理个框架方便的多。因此，从开始写爬虫程序开始，就会慢慢的接触到一些有关爬虫的框架、效率提升而且扩展也很方便。接下来我将会以Scrapy爬虫框架将我的学习过程记录下供大家参考指正。

一、安装

$ pip install scrapy

二、创建爬虫工程

$ scrapy startproject wikiSpider

三、爬虫工程目录结构

wikiSpider项目文件夹的目录结构如下所示:

scrapy.cfg- wikiSpider - __init__.py - items.py - pipelines.py - settings.py - spiders - __init__.py

四、定义需要爬取数据字段

我们准备爬取页面的标题在items.py文件中，定义一个Article类，然后编写如下代码：

from scrapy import Item,Fieldclass Article(Item): title = Field()

五、创建一个爬虫文件

为了创建一个爬虫，我们需要在wikiSpider/wikiSpider/spiders/文件夹里增加一个 articleSpider.py文件。