如何实现HDFS不重启挂载新增磁盘?
- 内容介绍
- 文章标签
- 相关推荐
本文共计1935个文字,预计阅读时间需要8分钟。
在生产环境中,集群中磁盘大小和利用率各异,尽管HDFS有均衡策略,但数据分布不均的情况依然存在。某些节点磁盘过满,导致这些节点(Unhealthy Nodes)不健康。
在生产环境中,集群节点磁盘大小不同,其使用率也会不同,HDFS虽有均衡策略,但也会有数据不平衡的情况,有些节点磁盘就会被打满,然后这个节点就不健康了(Unhealthy Nodes),Yarn的磁盘阈值检查(yarn.nodemanager.disk-health-checker.min-healthy-disks),默认是90%,超过这个值就会不健康,集群有个节点不健康,就会导致任务运行缓慢,之后任务再挤压,Yarn资源被集中占用,最终影响上层服务。 背景在生产环境中,集群节点磁盘大小不同,其使用率也会不同,HDFS虽有均衡策略,但也会有数据不平衡的情况,有些节点磁盘就会被打满,然后这个节点就不健康了(Unhealthy Nodes),Yarn的磁盘阈值检查(yarn.nodemanager.disk-health-checker.min-healthy-disks),默认是90%,超过这个值就会不健康,集群有个节点不健康,就会导致任务运行缓慢,之后任务再挤压,Yarn资源被集中占用,最终影响上层服务。
问题
-
磁盘空间不足,待扩容,可动态增删磁盘
-
yarn资源不足,待优化,可动态调整
本篇内容只添加新磁盘,yarn资源优化我们在另一篇文章再专门详解。
本文共计1935个文字,预计阅读时间需要8分钟。
在生产环境中,集群中磁盘大小和利用率各异,尽管HDFS有均衡策略,但数据分布不均的情况依然存在。某些节点磁盘过满,导致这些节点(Unhealthy Nodes)不健康。
在生产环境中,集群节点磁盘大小不同,其使用率也会不同,HDFS虽有均衡策略,但也会有数据不平衡的情况,有些节点磁盘就会被打满,然后这个节点就不健康了(Unhealthy Nodes),Yarn的磁盘阈值检查(yarn.nodemanager.disk-health-checker.min-healthy-disks),默认是90%,超过这个值就会不健康,集群有个节点不健康,就会导致任务运行缓慢,之后任务再挤压,Yarn资源被集中占用,最终影响上层服务。 背景在生产环境中,集群节点磁盘大小不同,其使用率也会不同,HDFS虽有均衡策略,但也会有数据不平衡的情况,有些节点磁盘就会被打满,然后这个节点就不健康了(Unhealthy Nodes),Yarn的磁盘阈值检查(yarn.nodemanager.disk-health-checker.min-healthy-disks),默认是90%,超过这个值就会不健康,集群有个节点不健康,就会导致任务运行缓慢,之后任务再挤压,Yarn资源被集中占用,最终影响上层服务。
问题
-
磁盘空间不足,待扩容,可动态增删磁盘
-
yarn资源不足,待优化,可动态调整
本篇内容只添加新磁盘,yarn资源优化我们在另一篇文章再专门详解。

