如何通过Scrapy和Docker实现高效爬虫项目部署？

本文共计919个文字，预计阅读时间需要4分钟。

说明：本文主要聚焦于Docker的使用，并配套网络爬虫教程。注意：一定要配合入门教程·网络爬虫教程总结先放出干货，使用Docker运行scrapy仅需+

说明：此文档主要聚焦在Docker的使用上，必须配和爬虫教程·网络爬虫教程一起使用。注意：一定要配合入门教程·网络爬虫教程总结先放干货，使用docker来运行scrapy其实只需要

说明：此文档主要聚焦在Docker的使用上，必须配和爬虫教程 · 网络爬虫教程一起使用。

注意：一定要配合入门教程 · 网络爬虫教程

总结

先放干货，使用docker来运行scrapy其实只需要做到以下两点即可：

1. 在项目的当前目录中

2. 在scrapy命令前加上docker run --name scrapy --rm -v $(pwd):/runtime/app aciobanu/scrapy

如果你已经会使用scrapy了，看到这里就可以了。

下载镜像

从Docker hub下载aciobanu/scrapy Docker Hub并创建教程项目

$ mkdir ~/scrapy$ cd ~/scrapy$ docker run --rm -v $(pwd):/runtime/app aciobanu/scrapy startproject tutorial

以上命令中

-v是把当前目录映射到容器中的/runtime/app目录

--rm是在停止容器后自动删除容器

执行以上命令后会生成tutorial目录，这些文件分别是：

scrapy.cfg: 项目的配置文件；（用于发布到服务器）tutorial/: 该项目文件夹。之后将在此编写Python代码。