如何用Scrapy爬取小米官网部分商品信息并实现数据持久化存储？

本文共计1891个文字，预计阅读时间需要8分钟。

前言：最初选择爬小熊米这个网站是因为觉得界面好看，想爬取素材做备用。这次有个重点，是因为懒，看到那些满屏的源代码就自己骗自己，安定一样。然后只看了检查后面。

前言

最开始选择爬小米这个网页时是因为觉得界面好看，想爬点素材做备用，这次有个重点，又是因为偷懒，看见那满屏的源代码就自己欺骗安慰自己肯定一样的，然后只看检查后面整齐的源代码了，我大概是能理解毛爷爷那句：抛弃幻想，准备战斗了，差点做吐，还是我的宝贝大佬仔仔细细逻辑非常清晰的全部检查排除了一遍发现源代码与元素部分不一样！！划重点，除此之外，如果发现xpath取不到值，一律给我看页面源代码，跟element对比，是否属性有更改或者动态渲染，至于反爬之类的，不过一般官网都会有反爬，我们学习只需要少量素材就ok了。Scrapy爬取这种类似静态页面的很简单，重点在爬虫页面的数据解析，以及setting.py和pipelines管道配置写入数据库。接下来开始我的表演。

---

Mysql安装与建立对应的表

略

Scrapy安装以及配置

• 安装与配置
  • 安装Scrapy包，打开终端，输入命令。

    • 1 pip install whell 2 pip install Scrapy

• 关于报错
  • 如果出现pip关键字，导致Scrapy不能安装的原因是pip版本过低。报错中也给出了提示。我们只需要找到Python安装地址的上级目录输入以下命令。