Node.js中如何通过长尾词构建一个详尽的来监控事件循环异常?
- 内容介绍
- 文章标签
- 相关推荐
本文共计2124个文字,预计阅读时间需要9分钟。
开场白+最近在学习libuv,也了解了一些Node.js中使用libuv的例子。然而,这篇文章不会去介绍event loop,因为这些内容在各个论坛、技术圈中已经被介绍得过于泛滥了。本文将介绍如何正确使用E(事件)。
正确使用E(事件)在Node.js中至关重要,以下是一些关键点:
1. 理解事件驱动模型:Node.js基于事件驱动模型,这意味着它通过事件来处理异步操作。正确理解这一点是使用E的基础。
2. 监听事件:使用`eventEmitter.on('事件名', 回调函数)`来监听特定事件。确保回调函数能够正确处理事件。
3. 避免内存泄漏:确保在事件处理完成后移除事件监听器,以避免内存泄漏。
4. 使用once事件:对于一次性事件,使用`eventEmitter.once('事件名', 回调函数)`,这样事件处理完成后会自动移除监听器。
5. 合理使用异步函数:在事件回调中使用异步函数可以避免阻塞事件循环,提高程序性能。
6. 避免在事件循环中执行耗时的操作:长时间运行的操作应该异步执行,以避免阻塞事件循环。
7. 使用Promise和async/await:Node.js 8.0+引入了Promise和async/await,这使得异步代码更加易读和易于管理。
8. 了解Node.js的事件循环:虽然本文不详细介绍event loop,但了解其工作原理对于正确使用E至关重要。
9. 遵循最佳实践:遵循Node.js的最佳实践,如避免在回调中使用同步代码,使用适当的错误处理等。
通过遵循上述要点,你可以更有效地使用E(事件)在Node.js中,从而构建出高性能、可扩展的应用程序。
开场白
最近在学习 libuv,也了解了一些 Node.js 中使用 libuv 的例子。当然,这篇文章不会去介绍 event loop,毕竟这些东西在各个论坛、技术圈里都被介绍烂了。本文介绍如何正确使用 Event loop,以及即使发现程序是否异常 block。
基础
event loop 的基础想必各位读者都比较熟悉了。这里我引用官方的图,简单介绍两句,作为前置准备:
event loop是作为单线程实现异步的方式之一。简而言之,就是在一个大的 while 循环中不断遍历这些 phase,执行对应的 callbacks。这样才实现了真正的异步调用:调用时不必等着响应,等调用的资源准备好了,回调我。
以上就是基础,接下来进入正题:
问题提出
开门见山,我们提出以下问题:
- js 既然是单线程,那么总有办法 block 住整个程序,虽然用了 libuv,也可能会 block 住主程序。对吗?
- 如何知道我们的程序 block 住了?
对于问题1,答案是肯定的。任何 io 密集计算都会 block 主进程,调用任何耗时的同步系统 api(比如同步读取大文件等),也会 block。
对于第2个问题,就需要对 libuv 有个基本认识了(想想我前面说的一个大 while)。event loop 既然是 loop,那么总有循环的概念吧?想到循环,能联想到循环次数吧?对~解决方案就是使用循环次数。
方案
这里我提一个思路(并不是说不写代码😄):如果我们正常逻辑下,一秒钟能进行100W 次事件循环(数据基于我本机),那么如果有一段时间,我得到的1秒钟时间循环次数只有50W,那么是不是说明程序中有哪些地方稍微 block 住了?或者夸张地说,由正常的100W 次变为了个数次。这就很严重了。因此及时监控event loop 非常重要。
第一版代码
// 环境准备 const localhost:8888 # 出现: node.eventloop_blocked for 0secs and 175.60ms. node.eventloop_blocked for 0secs and 149.92ms. node.eventloop_blocked for 0secs and 147.25ms.
是的,基本雏形出来了。可以根据这些数值进行数据上报、排查问题等。但是!
如果读者有尝试了上面这个例子的话,会发现一个问题:电脑发烫,风扇不停转!
我看了任务管理器,发现 Node 进程的 cpu 占用率是100%左右!当我把 meature 逻辑注释掉,cpu 占用率恢复到了0%左右。看来这个版本不行。我们来修改一下~具体原因是不断地执行 setImmediate 代码,不断添加 callback,导致 cpu 一直 run!
第二版代码
我们增加一个采样的概念:每10秒,采样一个至少2秒的循环数(为什么是至少2秒?因为 setTimeout 的 timeout 的定义本来也就是至少鸭,哈哈哈哈😏)
const EVERY_SEC_MIN_LOOPS = 1000000; // 定义每秒最小循环数 let times = 0; // 一次采样中的循环数 let nowShowIncreaseTimes = false; // 当前是否应该增加 times let start = Date.now(); const CD = 10 * 1000; // 间隔 function meature(callback = () => {}) { setTimeout(function() { start = Date.now(); nowShowIncreaseTimes = true; _inter(); setTimeout(() => { endMeature(); meature(); // 开始预约下次采样 }, 2000); }, CD); } function _inter() { setImmediate(() => { if (nowShowIncreaseTimes) { ++times; return _inter(); } }); } function endMeature() { const now = Date.now(); nowShowIncreaseTimes = false; const totalMsSpan = now - start; const everySecLoops = (times / (totalMsSpan / 1000)).toFixed(0); if (everySecLoops < EVERY_SEC_MIN_LOOPS) { console.log(`当前每秒循环数${everySecLoops}`); } times = 0; return everySecLoops } meature();
测试结果:
# 当我不断:
curl localhost:8888
# 出现
➜ test node blocked.js
当前每秒循环数777574
当前每秒循环数890565
# 当我们搞事情时:
ab -c 10 -n 200 localhost:8888/# 结果是这样的:
➜ test node blocked.js
当前每秒循环数843594
当前每秒循环数913329
当前每秒循环数2
当前每秒循环数2
修改为了第2版后,电脑不再烫了,风扇不再转了。cpu 只有在采样时会上升到30、40样子,不错。
但同时也发现了问题:一秒才2次循环!!这时基本处于拉闸了。为什么呢?
因为我们的请求处理是同步的!同步地生成一个子进程,并且等到子进程运行完了,才把结果返回。可见,在 server 项目中启用耗时的同步操作,风险是多么大!!
我们把同步换为异步试试:
// non-blocked.js const max = 9999; const getComputedValueFromChildProcess = (max) => new Promise((res, rej) => { execFile('node', [path.join(__dirname, './childprocess.js'), max], (err, stdout) => { const valueFromChildProcess = Number(stdout); res(valueFromChildProcess); }); }); http.createServer(async (req, res) => { const k = await getComputedValueFromChildProcess(max); res.write('origin-text: ' + k); res.end(); }).listen(8888);
PS: 为了示范同步、异步的区别,本文用的是子进程这种方式。其实更好的应该是用 worker_thread 的方式、或者分片计算等。让我们用相同的 ab 进行测试,得到结果:
➜ test node non-blocked.js
当前每秒循环数239920
当前每秒循环数242286
可以看到,虽然比空转时的100W同样低了不是一点点。但相对于同步的方式,这个数量级简直不能对比!!
总结
到现在,大家应该对监控 event loop 有个基本认识了。本来想搞一个 npm 包的,但最近比较忙,只能先抛砖,大家有玉的使劲砸。😬😬😬
好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对易盾网络的支持。
本文共计2124个文字,预计阅读时间需要9分钟。
开场白+最近在学习libuv,也了解了一些Node.js中使用libuv的例子。然而,这篇文章不会去介绍event loop,因为这些内容在各个论坛、技术圈中已经被介绍得过于泛滥了。本文将介绍如何正确使用E(事件)。
正确使用E(事件)在Node.js中至关重要,以下是一些关键点:
1. 理解事件驱动模型:Node.js基于事件驱动模型,这意味着它通过事件来处理异步操作。正确理解这一点是使用E的基础。
2. 监听事件:使用`eventEmitter.on('事件名', 回调函数)`来监听特定事件。确保回调函数能够正确处理事件。
3. 避免内存泄漏:确保在事件处理完成后移除事件监听器,以避免内存泄漏。
4. 使用once事件:对于一次性事件,使用`eventEmitter.once('事件名', 回调函数)`,这样事件处理完成后会自动移除监听器。
5. 合理使用异步函数:在事件回调中使用异步函数可以避免阻塞事件循环,提高程序性能。
6. 避免在事件循环中执行耗时的操作:长时间运行的操作应该异步执行,以避免阻塞事件循环。
7. 使用Promise和async/await:Node.js 8.0+引入了Promise和async/await,这使得异步代码更加易读和易于管理。
8. 了解Node.js的事件循环:虽然本文不详细介绍event loop,但了解其工作原理对于正确使用E至关重要。
9. 遵循最佳实践:遵循Node.js的最佳实践,如避免在回调中使用同步代码,使用适当的错误处理等。
通过遵循上述要点,你可以更有效地使用E(事件)在Node.js中,从而构建出高性能、可扩展的应用程序。
开场白
最近在学习 libuv,也了解了一些 Node.js 中使用 libuv 的例子。当然,这篇文章不会去介绍 event loop,毕竟这些东西在各个论坛、技术圈里都被介绍烂了。本文介绍如何正确使用 Event loop,以及即使发现程序是否异常 block。
基础
event loop 的基础想必各位读者都比较熟悉了。这里我引用官方的图,简单介绍两句,作为前置准备:
event loop是作为单线程实现异步的方式之一。简而言之,就是在一个大的 while 循环中不断遍历这些 phase,执行对应的 callbacks。这样才实现了真正的异步调用:调用时不必等着响应,等调用的资源准备好了,回调我。
以上就是基础,接下来进入正题:
问题提出
开门见山,我们提出以下问题:
- js 既然是单线程,那么总有办法 block 住整个程序,虽然用了 libuv,也可能会 block 住主程序。对吗?
- 如何知道我们的程序 block 住了?
对于问题1,答案是肯定的。任何 io 密集计算都会 block 主进程,调用任何耗时的同步系统 api(比如同步读取大文件等),也会 block。
对于第2个问题,就需要对 libuv 有个基本认识了(想想我前面说的一个大 while)。event loop 既然是 loop,那么总有循环的概念吧?想到循环,能联想到循环次数吧?对~解决方案就是使用循环次数。
方案
这里我提一个思路(并不是说不写代码😄):如果我们正常逻辑下,一秒钟能进行100W 次事件循环(数据基于我本机),那么如果有一段时间,我得到的1秒钟时间循环次数只有50W,那么是不是说明程序中有哪些地方稍微 block 住了?或者夸张地说,由正常的100W 次变为了个数次。这就很严重了。因此及时监控event loop 非常重要。
第一版代码
// 环境准备 const localhost:8888 # 出现: node.eventloop_blocked for 0secs and 175.60ms. node.eventloop_blocked for 0secs and 149.92ms. node.eventloop_blocked for 0secs and 147.25ms.
是的,基本雏形出来了。可以根据这些数值进行数据上报、排查问题等。但是!
如果读者有尝试了上面这个例子的话,会发现一个问题:电脑发烫,风扇不停转!
我看了任务管理器,发现 Node 进程的 cpu 占用率是100%左右!当我把 meature 逻辑注释掉,cpu 占用率恢复到了0%左右。看来这个版本不行。我们来修改一下~具体原因是不断地执行 setImmediate 代码,不断添加 callback,导致 cpu 一直 run!
第二版代码
我们增加一个采样的概念:每10秒,采样一个至少2秒的循环数(为什么是至少2秒?因为 setTimeout 的 timeout 的定义本来也就是至少鸭,哈哈哈哈😏)
const EVERY_SEC_MIN_LOOPS = 1000000; // 定义每秒最小循环数 let times = 0; // 一次采样中的循环数 let nowShowIncreaseTimes = false; // 当前是否应该增加 times let start = Date.now(); const CD = 10 * 1000; // 间隔 function meature(callback = () => {}) { setTimeout(function() { start = Date.now(); nowShowIncreaseTimes = true; _inter(); setTimeout(() => { endMeature(); meature(); // 开始预约下次采样 }, 2000); }, CD); } function _inter() { setImmediate(() => { if (nowShowIncreaseTimes) { ++times; return _inter(); } }); } function endMeature() { const now = Date.now(); nowShowIncreaseTimes = false; const totalMsSpan = now - start; const everySecLoops = (times / (totalMsSpan / 1000)).toFixed(0); if (everySecLoops < EVERY_SEC_MIN_LOOPS) { console.log(`当前每秒循环数${everySecLoops}`); } times = 0; return everySecLoops } meature();
测试结果:
# 当我不断:
curl localhost:8888
# 出现
➜ test node blocked.js
当前每秒循环数777574
当前每秒循环数890565
# 当我们搞事情时:
ab -c 10 -n 200 localhost:8888/# 结果是这样的:
➜ test node blocked.js
当前每秒循环数843594
当前每秒循环数913329
当前每秒循环数2
当前每秒循环数2
修改为了第2版后,电脑不再烫了,风扇不再转了。cpu 只有在采样时会上升到30、40样子,不错。
但同时也发现了问题:一秒才2次循环!!这时基本处于拉闸了。为什么呢?
因为我们的请求处理是同步的!同步地生成一个子进程,并且等到子进程运行完了,才把结果返回。可见,在 server 项目中启用耗时的同步操作,风险是多么大!!
我们把同步换为异步试试:
// non-blocked.js const max = 9999; const getComputedValueFromChildProcess = (max) => new Promise((res, rej) => { execFile('node', [path.join(__dirname, './childprocess.js'), max], (err, stdout) => { const valueFromChildProcess = Number(stdout); res(valueFromChildProcess); }); }); http.createServer(async (req, res) => { const k = await getComputedValueFromChildProcess(max); res.write('origin-text: ' + k); res.end(); }).listen(8888);
PS: 为了示范同步、异步的区别,本文用的是子进程这种方式。其实更好的应该是用 worker_thread 的方式、或者分片计算等。让我们用相同的 ab 进行测试,得到结果:
➜ test node non-blocked.js
当前每秒循环数239920
当前每秒循环数242286
可以看到,虽然比空转时的100W同样低了不是一点点。但相对于同步的方式,这个数量级简直不能对比!!
总结
到现在,大家应该对监控 event loop 有个基本认识了。本来想搞一个 npm 包的,但最近比较忙,只能先抛砖,大家有玉的使劲砸。😬😬😬
好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对易盾网络的支持。

