如何编写Python爬取新浪网的分类资讯？
- 内容介绍
- 文章标签
- 相关推荐
本文共计1063个文字，预计阅读时间需要5分钟。
pythonimport scrapy
class SinaItem(scrapy.Item): # 网站导航页的所有大类链接 big_category_links=scrapy.Field() # 大类下的所有小类链接 small_category_links=scrapy.Field() # 小类下的所有小类链接 sub_category_links=scrapy.Field() # 子链接页面的新闻内容 news_content=scrapy.Field()
爬取新浪网导航页所有下所有大类、小类、小类里的子链接，以及子链接页面的新闻内容。
本文共计1063个文字，预计阅读时间需要5分钟。
pythonimport scrapy
class SinaItem(scrapy.Item): # 网站导航页的所有大类链接 big_category_links=scrapy.Field() # 大类下的所有小类链接 small_category_links=scrapy.Field() # 小类下的所有小类链接 sub_category_links=scrapy.Field() # 子链接页面的新闻内容 news_content=scrapy.Field()
爬取新浪网导航页所有下所有大类、小类、小类里的子链接，以及子链接页面的新闻内容。