如何实现HDFS不重启挂载新增磁盘?

2026-05-25 13:260阅读0评论SEO基础
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计1935个文字,预计阅读时间需要8分钟。

如何实现HDFS不重启挂载新增磁盘?

在生产环境中,集群中磁盘大小和利用率各异,尽管HDFS有均衡策略,但数据分布不均的情况依然存在。某些节点磁盘过满,导致这些节点(Unhealthy Nodes)不健康。

在生产环境中,集群节点磁盘大小不同,其使用率也会不同,HDFS虽有均衡策略,但也会有数据不平衡的情况,有些节点磁盘就会被打满,然后这个节点就不健康了(Unhealthy Nodes),Yarn的磁盘阈值检查(yarn.nodemanager.disk-health-checker.min-healthy-disks),默认是90%,超过这个值就会不健康,集群有个节点不健康,就会导致任务运行缓慢,之后任务再挤压,Yarn资源被集中占用,最终影响上层服务。 背景

在生产环境中,集群节点磁盘大小不同,其使用率也会不同,HDFS虽有均衡策略,但也会有数据不平衡的情况,有些节点磁盘就会被打满,然后这个节点就不健康了(Unhealthy Nodes),Yarn的磁盘阈值检查(yarn.nodemanager.disk-health-checker.min-healthy-disks),默认是90%,超过这个值就会不健康,集群有个节点不健康,就会导致任务运行缓慢,之后任务再挤压,Yarn资源被集中占用,最终影响上层服务。

问题

  • 磁盘空间不足,待扩容,可动态增删磁盘

  • yarn资源不足,待优化,可动态调整

本篇内容只添加新磁盘,yarn资源优化我们在另一篇文章再专门详解。

阅读全文

本文共计1935个文字,预计阅读时间需要8分钟。

如何实现HDFS不重启挂载新增磁盘?

在生产环境中,集群中磁盘大小和利用率各异,尽管HDFS有均衡策略,但数据分布不均的情况依然存在。某些节点磁盘过满,导致这些节点(Unhealthy Nodes)不健康。

在生产环境中,集群节点磁盘大小不同,其使用率也会不同,HDFS虽有均衡策略,但也会有数据不平衡的情况,有些节点磁盘就会被打满,然后这个节点就不健康了(Unhealthy Nodes),Yarn的磁盘阈值检查(yarn.nodemanager.disk-health-checker.min-healthy-disks),默认是90%,超过这个值就会不健康,集群有个节点不健康,就会导致任务运行缓慢,之后任务再挤压,Yarn资源被集中占用,最终影响上层服务。 背景

在生产环境中,集群节点磁盘大小不同,其使用率也会不同,HDFS虽有均衡策略,但也会有数据不平衡的情况,有些节点磁盘就会被打满,然后这个节点就不健康了(Unhealthy Nodes),Yarn的磁盘阈值检查(yarn.nodemanager.disk-health-checker.min-healthy-disks),默认是90%,超过这个值就会不健康,集群有个节点不健康,就会导致任务运行缓慢,之后任务再挤压,Yarn资源被集中占用,最终影响上层服务。

问题

  • 磁盘空间不足,待扩容,可动态增删磁盘

  • yarn资源不足,待优化,可动态调整

本篇内容只添加新磁盘,yarn资源优化我们在另一篇文章再专门详解。

阅读全文