如何高效利用长尾关键词优化Python爬虫项目？

本文共计508个文字，预计阅读时间需要3分钟。

关于爬虫工作者的讨论，以下是对原文的简化修改：

爬虫工作者指出，若我们想爬取更多网页，不仅是主页，还包括相关页面，这就是文本的任务。

代码修改说明：

1.修改`teamssix_blog_spider.py`文件中的相关代码，确保爬虫能够遍历并抓取主页及相关页面。

2.在已有基础上，更新爬虫逻辑，以实现更全面的页面抓取。

3.确保代码不超过100个字符，并避免使用复杂或不必要的字符。

对于爬虫工作者来说，如果我们爬虫想多爬取一些网页，不仅仅只是爬取主页，相把其他页面也爬取下来，这就是本文的任务。

修改代码

在之前的基础上，修改 teamssix_blog_spider.py 文件，首先添加 start_urls

start_urls = [ 'www.teamssix.com', 'www.teamssix.com/page/2/', 'www.teamssix.com/page/3/', 'www.teamssix.com/page/4/', 'www.teamssix.com/page/5/']

接下来在 sub_article 函数尾部添加 parse 函数的全部代码

soup = BeautifulSoup(response.text, 'html.parser')for i in soup.select('.post-title'): url = 'www.teamssix.com{}'.format(i['href']) yield scrapy.Request(url, callback=self.sub_article)

所以 sub_article 函数的完整代码就是这个样子：

def sub_article(self,response): soup = BeautifulSoup(response.text,'html.parser') title = self.article_title(soup) list = self.article_list(soup) print(title) item = TeamssixItem(_id = response.url,title = title,list = list) yield item soup = BeautifulSoup(response.text, 'html.parser') for i in soup.select('.post-title'): url = 'www.teamssix.com{}'.format(i['href']) yield scrapy.Request(url, callback=self.sub_article)

从最后一行 callback=self.sub_article 这里不难看出这里其实就是一个循环， sub_article 函数第一遍执行完，又会调用继续执行第二遍，直到 start_urls 被执行完。

运行

代码修改的就这些，接下来直接 scrapy crawl blogurl 运行代码，来到 robo 3T 看看爬取到的数据。