如何撰写关于爬虫技术的详细笔记？

本文共计772个文字，预计阅读时间需要4分钟。

获取响应返回的cookie：

pythonres=requests.get(xxx)print(res.cookies)

获取响应返回的cookie:

res = requests.get("xxx")
print(res.cookies)

搜json.parse 或 var xxx

Fiddler 费德勒 飞的了

启动fiddler之后，IE浏览器代理就被fiddler改掉了
============
replace : 回放
go: 让断点向下走

stream:代理模式的选择，流模式和缓冲模式之间切换，默认是缓存模式
Decode: 将www.bm8.com.cn/jsConfusion/​​

js逆向：

火狐浏览器可以分析页面某个元素的绑定事件以及定位到具体的代码在哪一行。

PyExecJS介绍：PyExecJS 是一个可以使用 Python 来模拟运行 JavaScript 的库。我们需要pipinstallPyExecJS对其进行环境安装

1 什么是Fiddler?
Fiddler是位于客户端和服务器端的HTTP代理，也是目前最常用的www.telerik.com/fiddler​​

傻瓜式安装，一键到底。Fiddler软件界面如图所示：

2 手机APP抓包设置

a. Fiddler设置

打开Fiddler软件，打开工具的设置。(Fiddler软件菜单栏：Tools->Options)

在HTTPS中设置如下：

​​

在Connections中设置如下，这里使用默认8888端口，当然也可以自己更改，但是注意不要与已经使用的端口冲突：

Allow remote computers to connect:允许别的机器把请求发送到fiddler上来

​​

b. 安全证书下载
在电脑浏览器中输入地址：localhost:8888/，点击FiddlerRoot certificate，下载安全证书：

​​​c. 安全证书安装
证书是需要在手机上进行安装的，这样在电脑Fiddler软件抓包的时候，手机使用电脑的网卡上网才不会报错。

Android手机安装：把证书放入手机的内置或外置存储卡上，然后通过手机的"系统安全-》从存储设备安装"菜单安装证书。

然后找到拷贝的​​FiddlerRoot.cer​​​进行安装即可。安装好之后，可以在信任的凭证中找到我们已经安装好的安全证书。

苹果手机安装：

- 保证手机网络和fiddler所在机器网络是同一个网段下的

- 在safari中访问fiddle机器ip：fiddler端口，进行证书下载。然后进行安装证书操作。

- 在手机中的设置-》通用-》关于本机-》证书信任设置-》开启fiddler证书信任

d. 局域网设置
想要使用Fiddler进行手机抓包，首先要确保手机和电脑的网络在一个内网中，可以使用让电脑和手机都连接同一个路由器。当然，也可以让电脑开放WIFI热点，手机连入。这里，我使用的方法是，让手机和电脑同时连入一个路由器中。最后，让手机使用电脑的代理IP进行上网。
在手机上，点击连接的WIFI进行网络修改，添加代理。进行手动设置，ip和端口号都是fiddler机器的ip和fiddler上设置的端口号。

e. Fiddler手机抓包测试

上述步骤都设置完成之后，用手机浏览器打开百度首页，我们就可以顺利抓包了

======