如何用Python编写爬取腾讯视频评论的详细长尾关键词实现步骤?
- 内容介绍
- 文章标签
- 相关推荐
本文共计1384个文字,预计阅读时间需要6分钟。
一、网站分析+查阅了网上大部分资源,大致都是通过抓包获取信息。抓包确实有点繁琐,试了F12,也能获取到评论。以电视剧《在一起》为例,评论底部有个查看更多评论的预测。
一、网址分析
查阅了网上的大部分资料,大概都是通过抓包获取。但是抓包有点麻烦,尝试了F12,也可以获取到评论。以电视剧《在一起》为例子。评论最底端有个查看更多评论猜测过去应该是 Ajax 的异步加载。
网上的大部分都是构建评论的网址,通过 requests 获取,正则表达式进行数据处理。本文也利用该方法进行数据处理,其实利用 scrapy 会更简单。
根据前辈给出的经验,顺利找到了评论所在的链接。
在新标签中打开,该网址的链接。
评论都在"content":"xxxxx"里面,所有可以通过正则表达式获取。
那么现在要开始构建网址,找到其规律。
在查找评论链接的过程中无意发现,点击影评旁边的评论总数,可以获取到更为干净的评论界面。结果是一样的。
既然是要爬取所有的评论,所以知道评论数是必不可少的。
再通过F12获取到评论链接,找到网址的规律,构建网址,加载三四个评论就行了。这里加载了四个网址。把所有网址复制到文本文件中,进行对比分析。
本文共计1384个文字,预计阅读时间需要6分钟。
一、网站分析+查阅了网上大部分资源,大致都是通过抓包获取信息。抓包确实有点繁琐,试了F12,也能获取到评论。以电视剧《在一起》为例,评论底部有个查看更多评论的预测。
一、网址分析
查阅了网上的大部分资料,大概都是通过抓包获取。但是抓包有点麻烦,尝试了F12,也可以获取到评论。以电视剧《在一起》为例子。评论最底端有个查看更多评论猜测过去应该是 Ajax 的异步加载。
网上的大部分都是构建评论的网址,通过 requests 获取,正则表达式进行数据处理。本文也利用该方法进行数据处理,其实利用 scrapy 会更简单。
根据前辈给出的经验,顺利找到了评论所在的链接。
在新标签中打开,该网址的链接。
评论都在"content":"xxxxx"里面,所有可以通过正则表达式获取。
那么现在要开始构建网址,找到其规律。
在查找评论链接的过程中无意发现,点击影评旁边的评论总数,可以获取到更为干净的评论界面。结果是一样的。
既然是要爬取所有的评论,所以知道评论数是必不可少的。
再通过F12获取到评论链接,找到网址的规律,构建网址,加载三四个评论就行了。这里加载了四个网址。把所有网址复制到文本文件中,进行对比分析。

