如何使用scrapy框架进行安装与项目创建？

本文共计240个文字，预计阅读时间需要1分钟。

介绍：全面而强大的爬虫组件

安装：Windows 1. 下载：https://www.lfd.uci.edu/~gohlke/pythonlibs/

介绍：大而全的爬虫组件

一、安装：

windows

1.下载 www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

耐心等待网页刷新

pip3 install -i pypi.douban.com/simple wheel pip3 install "D:\typed_ast-1.4.0-cp37-cp37m-win_amd64.whl" pip3 install -i pypi.douban.com/simple pywin32 pip3 install -i pypi.douban.com/simple scrapy

linux

pip3 install -i pypi.douban.com/simple scrapy

二、创建

1.创建项目

scrapy startproject xx

目录结构

scrapy startproject 项目名称 项目名称 项目名称/ - spiders # 爬虫文件 .... - items.py # 持久化 - pipelines # 持久化 - middlewares.py # 中间件 - settings.py # 配置文件（爬虫） scrapy.cfg # 配置文件（部署）

2.创建爬虫(根据提示)

scrapy genspider autohome autohome.com

3.启动爬虫

scrapy crawl autohome