vivo如何实现万台规模HDFS集群升级至HDFS 3.x的实战经验?
- 内容介绍
- 文章标签
- 相关推荐
本文共计4767个文字,预计阅读时间需要20分钟。
文章介绍如何将CDH 5.14.4+HDFS 2.6.0滚动升级到HDP-3.1.4.0-315+HDFS 3.1.1版本,这是业界少数从CDH集群滚动升级到HDP集群的案例。vivo互联网大数据团队Lv Jia是Hadoop 3.x的第一个稳定版本的重要贡献者。
文章介绍如何将CDH 5.14.4 HDFS 2.6.0 滚动升级到HDP-3.1.4.0-315 HDFS 3.1.1版本,是业界为数不多的从CDH集群滚动升级到HDP集群的案例。vivo 互联网大数据团队-Lv Jia
Hadoop 3.x的第一个稳定版本在2017年底就已经发布了,有很多重大的改进。
在HDFS方面,支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Standby NameNode Read、FairCallQueue、Intra-datanode balancer 等新特性。这些新特性在稳定性、性能、成本等多个方面带来诸多收益,我们打算将HDFS集群升级到HDFS 3.x 版本。
本篇文章会介绍我们是如何将CDH 5.14.4 HDFS 2.6.0 滚动升级到HDP-3.1.4.0-315 HDFS 3.1.1版本,是业界为数不多的从CDH集群滚动升级到HDP集群的案例。在升级中遇到哪些问题?这些问题是如何解决掉的?本篇文章具有非常高的参考借鉴价值。
本文共计4767个文字,预计阅读时间需要20分钟。
文章介绍如何将CDH 5.14.4+HDFS 2.6.0滚动升级到HDP-3.1.4.0-315+HDFS 3.1.1版本,这是业界少数从CDH集群滚动升级到HDP集群的案例。vivo互联网大数据团队Lv Jia是Hadoop 3.x的第一个稳定版本的重要贡献者。
文章介绍如何将CDH 5.14.4 HDFS 2.6.0 滚动升级到HDP-3.1.4.0-315 HDFS 3.1.1版本,是业界为数不多的从CDH集群滚动升级到HDP集群的案例。vivo 互联网大数据团队-Lv Jia
Hadoop 3.x的第一个稳定版本在2017年底就已经发布了,有很多重大的改进。
在HDFS方面,支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Standby NameNode Read、FairCallQueue、Intra-datanode balancer 等新特性。这些新特性在稳定性、性能、成本等多个方面带来诸多收益,我们打算将HDFS集群升级到HDFS 3.x 版本。
本篇文章会介绍我们是如何将CDH 5.14.4 HDFS 2.6.0 滚动升级到HDP-3.1.4.0-315 HDFS 3.1.1版本,是业界为数不多的从CDH集群滚动升级到HDP集群的案例。在升级中遇到哪些问题?这些问题是如何解决掉的?本篇文章具有非常高的参考借鉴价值。

