如何用Python爬虫统计杭电OJ题目解题正确率？

本文共计767个文字，预计阅读时间需要4分钟。

Python爬虫主要使用两个库：Urllib和BeautifulSoup4。一个用于爬取网页，一个用于解析网页。

Urllib是Python内置的HTTP请求库，包含四个模块：

1.request：最基本、最常用的HTTP请求模块，用于模拟发送请求。

2.error：处理请求过程中可能出现的错误。

3.http：提供HTTP服务器的实现。

4.urllib.parse：用于解析URL。

例如：模拟发送一个GET请求：

pythonimport urllib.request

url=http://www.example.comresponse=urllib.request.urlopen(url)content=response.read().decode('utf-8')print(content)

　　python爬虫主要用两个库：Urllib和BeautifulSoup4。一个用来爬取网页，一个用来解析网页。

　　Urllib是Python内置的HTTP请求库，它包含四个模块：

　　1、request，最基本的 HTTP 请求模块，用来模拟发送请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入 URL 与额外的参数，就可以模拟这个过程。
　　2、error ，异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作保证程序不会意外终止。
　　3、parse ，工具模块，提供了许多 URL 处理方法，比如拆分、解析、合并等。
　　4、robotparser，主要用于识别网站的 robots.txt 文件，判断网站是否可以爬取，用的较少。

　　这里只用到了最常用的request。