如何实现Python定时简单爬取网页新闻并存入数据库?
- 内容介绍
- 文章标签
- 相关推荐
本文共计2041个文字,预计阅读时间需要9分钟。
本人小白一枚,简单记录一下学校作业项目,代码十分简单,主要是对各个库的理解。希望对不同的初学者有点启发。
一、项目需求
1.程序可以从北京工业大学首页上爬取新闻内容。
二、代码示例
pythonimport requestsfrom bs4 import BeautifulSoupdef fetch_news(): url=http://www.bjut.edu.cn/ response=requests.get(url) soup=BeautifulSoup(response.text, '.parser') news_list=soup.find_all('div', class_='news_list') for news in news_list: title=news.find('a').text link=news.find('a')['href'] print(f:{title}) print(f链接:{link}) print(- * 20)
if __name__==__main__: fetch_news()
本人小白一枚,简单记录下学校作业项目,代码十分简单,主要是对各个库的理解,希望能给别的初学者一点启发。
本文共计2041个文字,预计阅读时间需要9分钟。
本人小白一枚,简单记录一下学校作业项目,代码十分简单,主要是对各个库的理解。希望对不同的初学者有点启发。
一、项目需求
1.程序可以从北京工业大学首页上爬取新闻内容。
二、代码示例
pythonimport requestsfrom bs4 import BeautifulSoupdef fetch_news(): url=http://www.bjut.edu.cn/ response=requests.get(url) soup=BeautifulSoup(response.text, '.parser') news_list=soup.find_all('div', class_='news_list') for news in news_list: title=news.find('a').text link=news.find('a')['href'] print(f:{title}) print(f链接:{link}) print(- * 20)
if __name__==__main__: fetch_news()
本人小白一枚,简单记录下学校作业项目,代码十分简单,主要是对各个库的理解,希望能给别的初学者一点启发。

