如何用Node.js编写高效长尾关键词抓取的爬虫程序？

本文共计363个文字，预计阅读时间需要2分钟。

1. 使用 cheerio 与 request 模拟客户端行为，对页面进行请求与解析： - cheerio 用于解析服务器返回的页面内容； - request 用于发送 HTTP 请求。 - 示例代码： javascript var cheerio=require('cheerio'); var request=require('request'); var startUrl='http://www.baidu.com';

1. cheerio 与 request

• request：模拟客户端行为，对页面进行请求
• cheerio：对服务器端返回的页面进行解析；

var cheerio = require('cheerio'); var request = require('request'); var startUrl = 'www.baidu.com' request(startUrl, function(err, response) { if (err) { console.log(err); } var $ = cheerio.load(response.body); var title = $('title').text(); console.log(title); }

2. 认识 cheerio

获取 element 位置

通过 class 属性进行匹配：

var $=cheerio.load('<div class="container"></div>'); $('.container')

取其链接：<a class="downbtn" href="mov.bn.netease.com/mobilev/2013/1/F/G/S8KTEF7FG.mp4" id="M8KTEKR84" target="_blank"></a>

$('a.downbtn').attr('href')

某一页面下的全部可链接：

var url = var $ = cheerio.load(data); $("a.downbtn").each(function(i, e) { console.log($(e).attr("href")); }); console.log("done"); } else { console.log("error"); }

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对自由互联的支持。如果你想了解更多相关内容请查看下面相关链接