如何制定适用于大数据物理机集群的自动化运维管理策略？

本文共计1589个文字，预计阅读时间需要7分钟。

大数据集群的物理机部署形态，与公有云/混合云的云主机部署形态相比，在自动化发展、弹性伸缩等云化场景方面更具优势，但大数据集群的物理机部署形态在数据集规模更大时，能提供更高效率的利处。

大数据集群的物理机部署形态，相对于公有云/混合云的云主机部署形态，在自动化发放集群、弹性伸缩等云化场景方面处于劣势，但物理机部署形态的大数据集群能够更加充分高效的利用服务器资源，不存在云化/虚拟化的开销，同时服务器的异构能力更强。

早期交付的很多大数据集群均是物理机部署形态，如浙江移动大数据集群、广东移动大数据集群、工行大数据集群、招行大数据集群等。

针对这些存量大数据集群，以下介绍一种自动化运维管理办法，来提升运维效率、集群资源利用率，降低集群的资源消耗。

该自动化运维管理办法包含以下4个方面的功能：

1、根据组件特点选择最适合服务器类型来部署、扩容或更换：

• 部署和扩容原则是每种服务器仅部署一个上层组件，不混合部署多个组件。该原则能够使后面弹性伸缩的管理更加方便。从服务器资源池自动选择最适合组件资源负载特点的服务器类型。
• 服务器分类规则：Elasticsearch、Kafka、Clickhouse选择满配SAS盘服务器（较大容量存储、高IO吞吐量、低IO延迟），Flink、Redis选择少量SSD盘服务器（较小容量存储、高IO吞吐量、低IO延迟），Hive、Spark选择满配SATA盘服务器（大容量存储、高IO吞吐量、不追求低IO延迟）。HBase标准场景可选择满配SATA盘服务器，极致高性能场景可选择满配SAS盘服务器。