如何编写一个Python抓包解析JSON数据的完整爬虫实例代码？

本文共计444个文字，预计阅读时间需要2分钟。

Python 抓包解析 JSON 爬虫，使用 Python 爬虫时，通过抓包 URL，打开 URL 可能会遇到以下类似网址，打开后会出现类似这样的界面，无法继续进行爬虫：例如，需要爬取网页中第二页的数据。

Python抓包并解析json爬虫

在使用Python爬虫的时候，通过抓包url，打开url可能会遇见以下类似网址，打开后会出现类似这样的界面，无法继续进行爬虫：

例如：

需要爬取网页中第二页的数据时，点击F12➡网络(Network)➡XHR，最好点击清除键，如下图：

通过点击“第二页”，会出现一个POST请求（有时会是GET请求），点击POST请求的url，（这里网址以POST请求为例），

如图：

然后复制参数代码

代码展示：

import requests import json url = 'm.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList?_fxpcqlniredt=09031130211378497389' header={ 'authority': 'm.ctrip.com', 'method': 'POST', 'path': '/restapi/soa2/13444/json/getCommentCollapseList?_fxpcqlniredt=09031130211378497389', 'scheme': 'you.ctrip.com', 'origin': 'you.ctrip.com', 'pragma': 'no-cache', 'referer': 'you.ctrip.com/', 'sec-fetch-dest': 'empty', 'sec-fetch-mode': 'cors', 'sec-fetch-site': 'same-site', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36' } dat = { "arg": { 'channelType': 2, 'collapseType': 0, 'commentTagId': 0, 'pageIndex': 1, 'pageSize': 10, 'poiId': 75648, 'sortType': 3, 'sourceType': 1, 'starType': 0 }, "head": { 'auth': "", 'cid': "09031117213661657011", 'ctok': "", 'cver': "1.0", 'extension': [], 'lang': "01", 'sid': "8888", 'syscode': "09", 'xsid': "" } } r = requests.post(url, data=json.dumps(dat), headers=header) s = r.json() print(s)

运行结果：

然后右击结果，再点击Show as JSON：

最后就会出现目标url的响应信息，就可以进行爬取了！！！

总结

到此这篇关于Python抓包并解析json爬虫的文章就介绍到这了,更多相关Python抓包并解析json爬虫内容请搜索易盾网络以前的文章或继续浏览下面的相关文章希望大家以后多多支持易盾网络！