如何通过Python示例详细解析房源信息爬取过程？

本文共计1903个文字，预计阅读时间需要8分钟。

目录+前言+分析页面，查找切入点+爬取数据+整理数据，导出文件+前言+由于工作突然变动，新的办公地点离现有住所很远，必须换租房子了。+我坐在中介的小电驴上，开始探索城市。

目录

• 前言
• 分析页面，寻找切入点
• 爬取数据
• 整理数据，导出文件

前言

最近由于工作突然变动，新的办公地点离现在的住处很远，必须要换房子租了。

我坐上中介的小电驴，开始探索城市各处的陌生角落。

在各个租房app之间周转的过程中，我属实有些焦头烂额，因为效率真的很低下：

首先，因为跟女友住在一起，需要同时考虑两人的上班路程，但各平台按通勤时长找房的功能都比较鸡肋，有的平台不支持同时选择多个地点，有的平台只能机械的取到离各个地点通勤时长相同的点，满足不了使用需求。

其次，站在一个租房人的立场，租房平台实在太多了，并且各平台筛选和排序逻辑都不太一致，导致很难将相似房源的信息进行横向比较。

但是没有关系，作为一名程序员，当然要用程序员的方法来解决问题了。于是，昨晚我用一个python脚本，获取了某租房平台上海地区的所有房源信息，一共2w多条：

下面就把本次爬数据的整个过程分享给大家。