如何用Node.js的readline或line-reader实现文件逐行读取并提取长尾词？

本文共计937个文字，预计阅读时间需要4分钟。

目录 + 方法一：readline + 方法二：line-reader + 方法三：通过stream的方式 + 逐行读取文件的能力 + 允许我们读取大文件，而无需将其全部存储到内存中。 + 它有助于节省资源并提高应用程序的效率。 + 它允许逐行处理数据，非常适合需要逐行分析和处理的场景。

目录

• 方法一readline
• 方法二line-reader
• 方法三通过stream的方式

逐行读取文件的能力允许我们读取大文件，而无需将其全部存储到内存中。它有助于节省资源和提高应用程序的效率。

它允许我们寻找所需的信息，一旦找到了相关的信息，我们可以停止搜索过程，可以防止不必要的内存使用。

我们将使用Readline模块和Line-Reader模块来实现这一目标。

方法一readline

使用Readline模块:Readline是Node的原生模块。它是专门为从任何可读流逐行读取内容而开发的。它可用于从命令行读取数据。

因为模块是Node的本机模块。js，它不需要任何安装，可以直接导入：

const readline = require('readline');

因为readline模块只适用于可读流，所以我们需要首先使用fs模块创建可读流。

const file = readline.createInterface({ input: fs.createReadStream('source_to_file'), output: process.stdout, terminal: false });

现在，监听file对象上的line事件。每当从流中读取新行时，事件就会触发:

file.on('line', (line) => { console.log(line); });

例：

// Importing the Required Modules const fs = require('fs'); const readline = require('readline'); // Creating a readable stream from file // readline module reads line by line // but from a readable stream only. const file = readline.createInterface({ input: fs.createReadStream('gfg.txt'), output: process.stdout, terminal: false }); // Printing the content of file line by // line to console by listening on the // line event which will triggered // whenever a new line is read from // the stream file.on('line', (line) => { console.log(line); });

其它网友的代码

const fs = require('fs'); const readline = require('readline'); let rl = readline.createInterface({ input: fs.createReadStream("./11.txt") }) rl.on('line', line => { console.log(line); })

方法二line-reader

使用line-reader模块:line-reader模块是Node.js中逐行读取文件的开源模块。它不是本地模块，所以你需要使用npm(节点包管理器)安装它，使用命令:

npm install line-reader --save

行读取器模块提供了逐行读取文件的eachLine()方法。

它有一个回调函数，该函数有两个参数:行内容和一个布尔值，该值存储是否读取的行是文件的最后一行。

const lineReader = require('line-reader'); lineReader.eachLine('source-to-file', (line, last) => { console.log(line); });

例：

// Importing required libraries const lineReader = require('line-reader'); // eachLine() method call on gfg.txt // It got a callback function // Printing content of file line by line // on the console lineReader.eachLine('gfg.txt', (line, last) => { console.log(line); });

输出：

方法三通过stream的方式

思路：通过流的形式，每次读取一个字节，然后判断这个子节是否是换行符（在mac中换行符为0xa0）

如果不是，则把该字节保存到 临时的数组中，如果是则把这些数组通过Buffer的形式转码utf8

下面的案例是：读取一个文件，然后给每行加行 “”,放到一个数组中，然后写入到新的文件中。

const fs = require("fs"); let readStream = fs.createReadStream("./11.txt"); let writeStream = fs.createWriteStream("./11_11.txt"); let buffer = []; function writeFileWithLine(line, isLastLine) { writeStream.write('\t"'); writeStream.write(line); if (isLastLine) { writeStream.write('"\n') } else { writeStream.write('",\n'); } } writeStream.write("[\n"); readStream.on("readable", () => { while ((char = readStream.read(1)) !== null) { if (char[0] === 0x0a) { writeFileWithLine(Buffer.from(buffer).toString(), false); buffer.length = 0; } else { buffer.push(char[0]); } } }); readStream.on("end", () => { writeFileWithLine(Buffer.from(buffer).toString(), true); writeStream.write("]"); });

更多关于node.js readline和line-reader逐行读取文件方法请查看下面的相关链接