全国美容大夫数据采集（花容网公开数据）爬虫第26例数据来源是什么？

本文共计873个文字，预计阅读时间需要4分钟。

本次需要抓取的目标网站为【整形医生数据】，其中用到的+queue+模块，需要在预备知识篇进行学习。目标网站数据源分析及地址为：https://www.huaroo.net/d/pg_1/，数据抓取区域如图所示。

本次要抓取的目标网站为，其中用到的 queue 模块，需要在预备知识篇进行学习。

目标站点数据源分析

目标地址为：www.huaroo.net/d/pg_1/，爬取数据区域如下图所示：

整理目标数据格式为：

姓名，所在医院，当前职务，从医时间，擅长项目

分页规则如下：

www.huaroo.net/d/pg_1/ www.huaroo.net/d/pg_2/

其中 pg_页码 为页码跳转规则，可以通过代码爬取获取，也可以直接手动输入。

测试过程中发现网页响应速度有点慢，但是没有反爬措施，顾将请求等待时间设置的长一些即可实现。

编码时间

下述编码中使用到了 queue 模块，即队列机制，不过并没有使用生产者与消费者模型，所谓的生产者直接使用一个循环进行了生成。

线程部分开启了 2 个线程，通过判断队列是否为空，在进行后续的数据请求工作。

每次获取数据完毕之后，都使用 q.task_done() 告知任务完成。

格式化数据使用 lxml 模块进行提取。