Nodejs如何高效抓取长尾关键词页面信息？

本文共计135个文字，预计阅读时间需要1分钟。

plaintext使用Node.js下载网页内容：javascriptconst util=require('util');const http=require('http');const fs=require('fs');const cheerio=require('cheerio');

function download(url, callback) { http.get(url, res=> { let data=''; res.setEncoding('utf8'); res.on('data', chunk=> { data +=chunk; }); res.on('end', ()=> { callback(data); }); });}

gistfile1.txt

const util = require('util'); const my.huadict.com/' + encodeURIComponent(word); let html = await downloadAsync(url); const $ = cheerio.load(html); let $def = $('.def'); if (!$def.length) { console.log(word); writeLog(`“${word}”没有定义!`); } else { console.log(word); } } catch (error) { console.log(`处理“${word}”时出错，${error.message}`); } } function writeLog(message) { message = message + '\n'; fs.appendFileSync('./huadict.log', message); } //testOneWord('中国'); test(); //writeLog('我是的方式地方l'); //writeLog('我是的方式地方l');