愚公系列2023年DotnetSpider配置式爬虫，如何改写为长尾词？

本文共计4465个文字，预计阅读时间需要18分钟。

（文章目录）+ 前言

1.DotnetSpider概述

DotnetSpider是一个轻量级、灵活、高性能、跨平台的分布式网络爬虫框架，可以帮助.NET工程师快速完成爬虫开发。

2. DotnetSpider模块介绍爬虫的基本流程

(文章目录)

---

前言

1.DotnetSpider概述

DotnetSpider 是一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架，可以帮助 .NET 工程师快速的完成爬虫的开发。

2.DotnetSpider模块介绍

爬虫的基本流程是：下载数据（发送 HTTP 请求并获得返回的 resonse) -> 解析返回的文本（可以是 text、json、html) -> 存储解析到的数据，针对这三个主逻辑，我们可以再细下成以下模块。

• Scheduler 调度器：用于对采集请求的去重、采集顺序控制，默认实现了广度优先和深度优先两种调度器。调度器可以采用不同的 Hash 去重器，通常使用默认的 HashSetDuplicateRemover 即可，若是采集量很大可以使用 BloomFilterDuplicateRemover。若想要调度海量的请求或者有重启续跑这样的需求，则需要自行实现基于数据库（关系型数据库、Redis等）的调度器。
• 下载代理器：下载代理器可以部署在不同的机器上，若是单机爬虫则是每个爬虫实例会启动一个单独的下载代理器。下载代理器负责接收需要下载的请求并使用对应的下载器（HttpClient,Puppter 或者自定义实现的下载器）。
• 下载代理器注册服务：此服务仅用于接收下载代理器的注册、心跳，即便不启用起服务也并不会影响爬虫的使用。