如何用Python抓取一个网页的全部源代码？

本文共计286个文字，预计阅读时间需要2分钟。

1. Python中获取整个页面的代码：pythonimport requestsres=requests.get('https://blog.csdn.net/yirexiao/article/details/79092355')res.encoding='utf-8'print(res.text)

2. 运行结果及实例扩展：pythonfrom bs4 import BeautifulSoup

使用BeautifulSoup解析页面内容soup=BeautifulSoup(res.text, '.parser')

获取页面中的title=soup.find('h1').get_text()

获取页面中的所有段落paragraphs=soup.find_all('p')

打印和所有段落print(title)for p in paragraphs: print(p.get_text())

1、Python中获取整个页面的代码：

importrequests res=requests.get('blog.csdn.net/yirexiao/article/details/79092355') res.encoding='utf-8' print(res.text)

2、运行结果

实例扩展：

from bs4 import BeautifulSoup import time,re,urllib2 t=time.time() websiteurls={} def scanpage(url): websiteurl=url t=time.time() n=0 html=urllib2.urlopen(websiteurl).read() soup=BeautifulSoup(html) pageurls=[] Upageurls={} pageurls=soup.find_all("a",href=True) for links in pageurls: if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls: Upageurls[links.get("href")]=0 for links in Upageurls.keys(): try: urllib2.urlopen(links).getcode() except: print "connect failed" else: t2=time.time() Upageurls[links]=urllib2.urlopen(links).getcode() print n, print links, print Upageurls[links] t1=time.time() print t1-t2 n+=1 print ("total is "+repr(n)+" links") print time.time()-t scanpage(news.163.com/)

到此这篇关于python获取整个网页源码的方法的文章就介绍到这了,更多相关python如何获取整个页面内容请搜索易盾网络以前的文章或继续浏览下面的相关文章希望大家以后多多支持易盾网络！