Scrapy如何高效爬取图片网站资源？

本文共计560个文字，预计阅读时间需要3分钟。

创建项目：`scrapy startproject jiumiji`

生成爬虫：`scrapy genspider image www.jiumiji.com`

编辑爬虫文件：`编辑image.py，使用xpath提取所需网站内容（图片及链接）`

pythonimport scrapyfrom jiumiji.items import DemoItem

class ImageSpider(scrapy.Spider): name='image' allowed_domains=['www.jiumiji.com'] start_urls=['http://www.jiumiji.com/']

def parse(self, response): items=DemoItem() # 使用xpath提取图片和链接 titles=response.xpath('//div[@class=title]/a/text()').extract() links=response.xpath('//div[@class=title]/a/@href').extract() for title, link in zip(titles, links): items['title']=title items['link']=link yield items

建个项目：

scrapy startprojectjiumiji

scrapy genspider image www.jiumiji.com

​

编辑image.py

用xpath提取我们需要的网站内容（图片标题以及链接）

import scrapy

from ..items import DemoItem

class ImageSpider(scrapy.Spider):

name = 'image'

allowed_domains = ['www.jiumiji.com']

start_urls = ['www.jiumiji.com']

def parse(self, response):

img_list=response.xpath("//div[@class='list-box col-s-960 clearfix ']/div")

print(img_list)

for img in img_list:

item=DemoItem()

item["title"]=img.xpath("./a/div[2]/span[2]/text()").extract_first()+'.png'

item["img_urls"]='docs.scrapy.org/en/latest/topics/items.html

import scrapy

class DemoItem(scrapy.Item):

# define the fields for your item here like:

# name = scrapy.Field()

title = scrapy.Field()

img_urls = scrapy.Field()

pass

编辑pipelines.py

from scrapy.pipelines.images import ImagesPipeline

import scrapy

import os

class DemoPipeline(ImagesPipeline):

def get_media_requests(self, item, info):

yield scrapy.Request(url=item['img_urls'], meta={'item': item})

# 返回图片名称即可

def file_path(self, request, response=None, info=None):

item = request.meta['item']

print('########', item)

filePath = item['title']

return filePath

def item_completed(self, results, item, info):

return item

修改setting文件

1.把管道打开：

ITEM_PIPELINES：项目管道，300为优先级，越低越爬取的优先度越高

2.其他：

BOT_NAME：项目名

LOG_LEVEL:屏蔽warning

USER_AGENT：默认是注释的，这个东西非常重要，不写容易被判断为电脑，简单点写一个Mozilla/5.0即可

ROBOTSTXT_OBEY：是否遵循机器人协议，默认是true，需要改为false，否则很多东西爬不了

开始爬虫：

scrapy crawl jiumiji