Scrapy框架中如何实现Python的爬虫功能？

本文共计2159个文字，预计阅读时间需要9分钟。

目标：AI设计基础——收集数据+成为AI算法工程师，应对新需求，明确方法，条条大路，数据无一条。老是想做功能，过分关注数据，找不到或现有数据集不理想，匹配度不高。

目标：AI设计基础–采集数据

作为AI算法工程师，面对新需求，明明方法千万条，数据没一条。老是为了做一个功能，费尽心思求数据而不得，或找到现有数据集不理想，匹配度不高。本文就学习一下怎样快速下载数据资源（资源：文字文章，图像，影像）。

数据不求人。

熟悉网页请求库，urllib,requests，beautiful soup。

重点学习scrapy框架，学会灵活使用这个工具。

---

学习内容：

scrapy框架的使用给我的感觉和Django框架的应用差不多。

本节将简要介绍Scrapy的安装，命令和实现过程。

安装

Scrapy：Scrapy是用 Python 写的。采用虚拟环境安装，一行代码自动匹配安装依赖库。

安装：​​conda install -c conda-forge scrapy​​

其他方式安装，手动匹配安装一下依赖库。