Scrapy中如何有效捕获并处理各类异常情况？

本文共计532个文字，预计阅读时间需要3分钟。

前言：使用scrapy进行大规模爬取任务的时候（爬取耗时以天为单位），不论主机网络速度多好，爬完之后总会发现scrapy日志中item_scraped_count不等于预先的种子数量，总有一部分种子爬取失败。