Python实现微信小程序爬虫通用代码实例如何详细解析？

本文共计563个文字，预计阅读时间需要3分钟。

背景介绍：最近遇到一个需求，需要获取某个小程序上的数据。

内容：想要小程序本质上是移动端加壳的浏览器，所以想用Python去获取数据。在网络上学习了一些方法后，记录一下实现过程。

背景介绍

最近遇到一个需求，大致就是要获取某个小程序上的数据。心想小程序本质上就是移动端加壳的浏览器，所以想到用Python去获取数据。在网上学习了一下如何实现后，记录一下我的实现过程以及所踩过的小坑。本文关键词：Python，小程序，Charles抓包

目标小程序：

公众号“同城商圈网”左下角“找商家”->汽车维修->小车维修->所有的商家信息，如下图所示：

环境

PC端：Windows 10

移动端：iPhone

软件：Charles

Charles抓包

虽说网上大佬的教程很好很详细，但我想加入几个坑点解释，请点此查看Charles配置教程

Charles清空当前获取到的连接，防止干扰（学会使用这个黄色扫把！很有用）

打开微信小程序进入到指定界面，Charles中显示如下

进入到某个具体商家后，最先请求的是这个

于是我们猜测，这个可能就是小程序相关的api.tc688.net/api/services/app/merchant/LoadCategoryMerchants" header = { 'Origin':'zazhi.tc688.net', 'Host':'api.tc688.net', 'User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 13_6_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/7.0.14(0x17000e2e) NetType/WIFI Language/zh_CN', 'Referer':'zazhi.tc688.net/companylist?id=148', } data = {"pageIndex":1,"pageSize":50,"regionId":"8","categoryId":"148","orderRule":0} r = requests.post(url=url,data=data,headers=header) print(r.text)

运行结果：

完整项目

有关数据处理以及更换地区的详细代码，请访问我的GitHub：GitHub

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持易盾网络。