如何配置简单ELK实现生产级日志采集与查询，打造高效日志管理解决方案？

本文共计4736个文字，预计阅读时间需要19分钟。

开篇首先提出ES生产环境部署需考虑五个问题，进而逐步展开论述ES集群规划、节点类型规划、脑裂问题预防、分片和副本设置推荐，最后以一个日志采集实战案例应用说明。

开篇先提出ES生产环境部署需要考虑五个问题，进而一步步展开阐述ES集群规划、节点类型规划、脑裂问题避免、分片和副本设置推荐设置，最后以一个日志采集生产环境实战例子，应用ES索引生命周期策略、索引模板实现索引的动态管理过程。 概述 生产问题

• 集群规模如何规划？
• 集群中节点角色如何规划？
• 集群之脑裂问题如何避免？
• 索引分片如何规划？
• 分片副本如何规划？

集群规划

• 准备条件
  • 先估算当前系统的数据量和数据增长趋势情况。
  • 现有服务器的配置如CPU、内存、磁盘类型和容量的了解。
• 建议设置
  • ElasticSearch推荐的最大JVM堆空间是30~32G，一般可以设置为30Gheap ，大概能处理的数据量 10 T。单个索引数据量建议不超过5T,如果有100T数据量可以部署20个节点。
  • 官方建议:节点分片最好按照JVM内存来进行计算，每Gb内存可以为20个分片，假设我们的JVM设置为30G，那么分片数据量最大600个。如果分片数量就是非常多，那么整个集群分片数量最好不要超过10万。
  • 集群规划满足当前数据规模+一定估算适量增长规模，后续再按需扩展即可。
• 业务场景
  • 用于构建垂直领域的搜索的业务搜索功能，一般的数据量级几千万到数十亿量级，需要部署3-5台ES节点的规模。