Scrapy如何高效实现图片抓取操作？

本文共计806个文字，预计阅读时间需要4分钟。

效果如下：

pythonspider.py

1.导入用于保存文件下载信息的item类。

2.在爬虫类中解析文件URL，并保存在列表中，根据需要提取等其它信息。

3.返回赋值后的item类。

import scrapyfrom items import FileItem

效果如下：

spider.py
1.导入用于保存文件下载信息的item类.
2.在爬虫类中解析文件url，并保存在列表中，根据需要提取标题等其它信息
3.返回赋值后的item类

import scrapy
from ..items import FileItem

class MySpider(Spider):

def parse(self,response):
file_names = response.xpath('xxxxxxxx') #list，获取文件名称列表
fileUrls = response.xpath('xxxxxxxx') #list，获取文件链接列表
#fileUrl为相对路径时，可用response.urljoin(url)进行拼接
item = FileItem(file_names = file_names, file_urls = fileUrls )
yield item #注意：此处为yield，不是return

items.py
定义一个item，必须包含file_urls和files两个字段。根据实际情况，可以增加其它字段

file_urls，list类型，用来存储需下载的url列表。