如何通过Python多线程高效抓取小米应用商店中的应用信息？

本文共计1279个文字，预计阅读时间需要6分钟。

IT共享之家，关注、回复、资料，获取Python学习福利，【一、项目背景】小米应用商店为用户发现最佳安卓应用和游戏，安全可靠，是否可以？

“​IT共享之家​”，进行关注​

​回复“​资料​”可获赠Python学习福利​

​​

​小米应用商店给用户发现最好的安卓应用和游戏,安全可靠，可是要下载东西要一个一个的搜索太麻烦了。而已速度不是很快。​

​今天用多线程爬取小米应用商店的游戏模块。快速获取。​

​​

​目标 ：应用分类 - 聊天社交 应用名称， 应用链接，显示在控制台供用户下载。​

​​

​1、网址：百度搜 - 小米应用商店，进入官网。​

​2、涉及的库：​reques​​ts、threading 、queue 、json、time​​

​3、软件：​PyCharm​​

​​

​1、确认是否为动态加载。​

​通过页面局部刷新， 右键查看网页源代码，搜索关键字未搜到 。断定此网站为动态加载网站，需要抓取网络数据包分析。​

​2、使用chrome浏览器，F12抓取网络数据包。​

​1）抓取返回json数据的URL地址（Headers中的Request URL）。​

app.mi.com/categotyAllListApi?page={}&categoryId=2&pageSize=30

​2）查看并分析查询参数（headers中的Query String Parameters）。