本文共计3854个文字，预计阅读时间需要16分钟。

WebMagic官网：[http://webmagic.io/](http://webmagic.io/) GitHub：[https://github.com/code4craft/webmagic](https://github.com/code4craft/webmagic) 文档：[http://webmagic.io/docs/zh/](http://webmagic.io/docs/zh/) 描述：WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，您可以快速开发出一个高效、易维护的爬虫。

WebMagic

官网： webmagic.io/

GitHub：github.com/code4craft/webmagic

文档：webmagic.io/docs/zh/

概述

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。

WebMagic分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。

特性

简单的API，可快速上手 模块化的结构，可轻松扩展 提供多线程和分布式支持

架构

WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。

四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scapy，实现方式更加Java化一些。