分布式日志存储架构如何设计更高效？

本文共计2690个文字，预计阅读时间需要11分钟。

在一个完整的项目中，不仅要完成常规的业务开发。同时，为了提高开发效率、追踪系统异常、扩展系统功能等，往往需要记录系统在开发、运行过程中产生的日志。

在一个完整的项目中，不仅仅是要完成正常的业务开发。同时为了提高一些开发效率、系统异常的追踪、系统功能的扩展等等因素，往往会用到系统在开发、运行过程中所产生的日志。这就需要我们有一个完善的日志系统来存储这些数据。本文将分享如何设计一个高可用、可扩展的分布式日志系统。

1. 本文是一种理论性的方案探索，当然各种方案也是在实际的生产环境中经过实践总结而来的。
2. 本文是分布式日志存储系列的理论篇。也有实战篇，将会分享从0到1的整个过程，从0环境的搭建到真正的实践落地。文章会定期的完善，最终文章地址。

日志的重要性

在一个系统中，日志常常在下面的一些场景中占着非常大的作用：

1. 项目开发阶段的调试、线上服务异常排查。
2. 系统异常的监控。
3. 系统数据分析。

对应日志，主要分为下面三大类型：

日志服务的演进

通过上面几点，大致明白了一个日志系统的重要性。接下来，我们将进一步了解如何设计一个日志系统。

单节点部署

在项目早期，由于项目用户量小、业务数据少等特点，一般项目都会采用单节点的方式进行部署。此时的日志，一般会以文件的方式存储在对应服务器上。如下图：

当客户端向服务端发送请求，对应的服务器处理业务并将日志记录到日志文件中。这也是传统的日志记录方式，很多的后端框架默认的日志记录方式也如此。如下面PHP的Hyperf框架，默认将MySQL的操作日志记录到日志文件中。