Kafka 2017.9版最全设计原理详解，有哪些关键点？

本文共计12100个文字，预计阅读时间需要49分钟。

Kafka简介+1.1 背景+历史+当前社会各种应用系统，如商业、社交、搜索、浏览等，像信息工厂一样不间断地生产出各种信息。在大数据时代，我们面临以下挑战：

+ 如何收集这些庞大的数据？+ 如何高效处理和分析这些数据？

一、Kafka简介

1.1 背景历史

当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：

如何收集这些巨大的信息

如何分析它

如何及时做到如上两点

以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁-消息系统。从一个微观层面来说，这种需求也可理解为不同的系统之间如何传递消息。

1.2 Kafka诞生

Kafka由linked-in开源
kafka-即是解决上述这类问题的一个框架，它实现了生产者和消费者之间的无缝连接。
kafka-高产出的分布式消息系统(A high-throughput distributed messaging system)

1.3 Kafka现在

Apache kafka 是一个分布式的基于push-subscribe的消息系统，它具备快速、可扩展、可持久化的特点。它现在是Apache旗下的一个开源系统，作为hadoop生态系统的一部分，被各种商业公司广泛应用。