如何用Python编写实例代码爬取美团美食信息？

本文共计1021个文字，预计阅读时间需要5分钟。

1. 分析美团美食网页的URL参数构成：搜索要点+美团美食，地址：北京，搜索关键词：火锅

2.爬取的URL：https://bj.meituan.com/s/火锅/

3.说明：URL会自动进行编码，支持中文搜索功能。例如，火锅搜索结果会自动显示为火锅。

1.分析美团美食网页的url参数构成

1）搜索要点

美团美食，地址：北京，搜索关键词：火锅

2）爬取的url

bj.meituan.com/s/%E7%81%AB%E9%94%85/

3）说明

url会有自动编码中文功能。所以火锅二字指的就是这一串我们不认识的代码%E7%81%AB%E9%94%85。

通过关键词城市的url构造，解析当前url中的bj=北京，/s/后面跟搜索关键词。

这样我们就可以了解到当前url的构造。

2.分析页面数据来源(F12开发者工具)

开启F12开发者工具，并且刷新当前页面：可以看到切换到第二页时候，我们的url没有变化，网站也没有自动进行刷新跳转操作。(web中ajax技术就是在保证页面不刷新，url不变化情况下进行数据加载的技术)

此时我们需要在开发者工具中，找到xhr里面对应当前数据的响应文件。