如何通过Python和Charles实现微信小程序爬取的详细步骤图解？

本文共计1201个文字，预计阅读时间需要5分钟。

一、前言最近需要获取微信小程序上的数据进行分析处理，第一时间想到的方式就是采用Python爬虫进行数据抓取。然而，尝试后发现存在诸多问题，例如无法获取目标网址、解析网址中存在指定参数等。以下是遇到的具体问题。

一、前言

最近需要获取微信小程序上的数据进行分析处理，第一时间想到的方式就是采用python爬虫爬取数据，尝试后发现诸多问题，比如无法获取目标网址、解析网址中存在指定参数的不确定性、加密问题等等，经过一番尝试，终于使用 Charles 抓取到指定微信小程序中的数据，本文进行记录并总结。

环境配置：

电脑：Windows10，连接有线网

手机：iPhone Xr，连接无线网

注：有线网与无线网最好位于同一网段下。

本文有线网网址：192.168.131.24，无线网网址：192.168.210.223

二、Charles配置与使用 1.Charles简介

Charles，一个HTTP代理服务器,HTTP监视器,反转代理服务器，当程序连接Charles的代理访问互联网时，Charles可以监控这个程序发送和接收的所有数据。它允许一个开发者查看所有连接互联网的HTTP通信，这些包括request, response和HTTP headers （包含cookies与caching信息）。

Charles主要功能：

1. 支持SSL代理。可以截取分析SSL的请求。

2. 支持流量控制。可以模拟慢速网络以及等待时间（latency）较长的请求。

3. 支持AJAX调试。